Как превратить данные о конкурентах в отчет по бенчмаркингу (пошагово)

Сбор данных о конкурентах — это лишь половина дела, причем самая простая. В итоге вы получаете таблицу с ценами, лимитами тарифов, галочками напротив функций и предположениями о численности штата. Но она все еще не дает ответа на единственный важный вопрос: мы впереди или отстаем?

Отчет о бенчмаркинге дает этот ответ. Он помещает ваши показатели в контекст группы аналогов и показывает, где именно вы находитесь.

Убедительность вашего отчета зависит от двух вещей: кто входит в группу аналогов и с чем вы сравниваете свои показатели — со средним значением или с распределением.

В этом руководстве мы разберем, что нужно определить в первую очередь, рассмотрим три ручных способа сравнения и объясним, в каких случаях каждый из них перестает работать.

Что необходимо подготовить перед началом работы

Вам нужна группа аналогов, выбор которой вы сможете обосновать одним предложением. Определение «Инструменты, которые покупатель включил бы в шорт-лист вместе с нами при том же бюджете» звучит убедительно. «Восемь крупнейших брендов» — нет.

Вам понадобится по одной строке на каждого конкурента и по одной колонке на каждый атрибут, причем каждый атрибут должен быть четко определен. Колонка с названием «AI-функции» — это гадание на кофейной гуще. Колонка «генерирует слайды из загруженного файла» — это конкретный факт.

Также для каждого показателя необходимо зафиксировать дату сбора данных. Цены и лимиты тарифов меняются, и без указания дат отчет о бенчмаркинге быстро и незаметно теряет актуальность.

Сначала нужно принять два решения.

Что именно вы сравниваете. Цену, возможности или результат. Для каждого из этих параметров нужны разные группы аналогов, а их смешивание в одной таблице — самая распространенная структурная ошибка.

Ранжируете вы или оцениваете в баллах. Для ранжирования требуется распределение. Для оценки в баллах нужны весовые коэффициенты, а за эти коэффициенты кто-то должен отвечать.

Одна простая привычка убережет вас от бесконечных переделок: записывайте URL-адрес источника прямо рядом с каждой ячейкой, а не на отдельной вкладке с примечаниями.

Почему сравнение — это самая сложная часть

В большинстве случаев при бенчмаркинге показатели просто сравнивают со средним значением по группе аналогов. Это самый поверхностный способ анализа данных.

Среднее значение показывает лишь середину. Оно не говорит о том, насколько плотно распределены показатели вокруг этой середины и насколько близко к краю вы находитесь.

Процентный ранг решает эту задачу. Функция PERCENTRANK.INC возвращает положение значения внутри выборки. Это позволяет сформулировать именно то утверждение, которое вам нужно: наша цена находится на уровне 30-го процентиля среди компаний из шорт-листа.

Квартили помогают разбить данные на диапазоны. Функция QUARTILE.INC делит группу аналогов на четыре части, чего обычно вполне достаточно для отчета, который читают один раз.

Здесь кроется ловушка, связанная с размером выборки, в которую многие попадаются. Варианты функций процентилей, исключающие граничные значения (exclusive), не могут рассчитать экстремальные процентили на малых выборках.

Microsoft описывает поведение функции PERCENTILE.EXC следующим образом: она «выполняет интерполяцию, если значение для указанного процентиля находится между двумя значениями в массиве», и возвращает ошибку #NUM!, если это невозможно.

Если в группе аналогов всего восемь компаний, рассчитать 95-й процентиль таким способом не получится. Для небольших выборок используйте включающие варианты функций (inclusive) и обязательно указывайте, какой именно метод вы применили.

Нормализация данных важна ничуть не меньше. Тарифы с оплатой за пользователя и за рабочее пространство невозможно сравнить, пока вы не зафиксируете размер команды. Годовые и ежемесячные цены также несопоставимы, пока вы не приведете их к единому базису.

Как сделать это вручную

Option 1: Build the attribute matrix first, rank second

Приведите таблицу в порядок до того, как начнете проводить расчеты. Одна строка на каждого конкурента, одна колонка на каждый атрибут, одно четкое определение для каждой колонки.

Затем подтяните собственные показатели с помощью функции XLOOKUP, чтобы ваша строка генерировалась автоматически, а не вводилась вручную. Данные, введенные вручную, устаревают быстрее всего.

Только после этого приступайте к ранжированию. Добавьте колонку с процентилями для каждого числового атрибута, чтобы каждое утверждение в отчете было подкреплено конкретной позицией в рейтинге.

Главный недостаток этого подхода в том, что сама по себе матрица не является выводом. Она лишь показывает условные двенадцать колонок без каких-либо приоритетов.

Option 2: Segment the peer set before you average anything

Расчет единого общего среднего значения по смешанной выборке — главная ошибка бенчмаркинга. Инструменты исключительно для сегмента Enterprise и self-serve сервисы не конкурируют друг с другом по цене.

Разделите выборку и используйте функцию AVERAGEIFS для каждого сегмента. Отражайте результаты по каждому сегменту отдельно, не объединяя их.

Следите за размером выборки при сегментации. Четыре конкурента в сегменте — это не статистика, а единичный случай, и процентиль, рассчитанный по четырем точкам, следует помечать как ориентировочный.

Ограничением здесь выступает субъективность суждений. Инструмент сделает расчеты для любых сегментов, которые вы зададите, и если вы определите их неверно, то получите убедительный, но ошибочный результат.

Option 3: Keep a provenance tab

Одна строка на каждую точку данных: атрибут, конкурент, значение, URL-адрес источника, дата сбора.

Именно благодаря этому отчет можно будет легко обновить в следующем квартале. Это также позволит вам мгновенно ответить на вопрос «откуда взялись эти данные», не проводя исследование заново.

Минус в том, что история данных не обновляется сама по себе. У каждой цифры есть свой срок годности, и кому-то придется проверять их заново.

Общий предел возможностей. Все три варианта предполагают, что атрибуты сопоставимы. Если один вендор публикует лимиты, а другой — нет, в соответствующей ячейке честнее написать «не опубликовано», чем строить догадки.

В каких случаях ручной подход начинает тормозить процесс

Подготовка первого отчета занимает неделю. Втого — почти столько же, потому что исходные цифры изменились, а кто и где их поменял — никто не зафиксировал.

Цены меняются по собственному графику. То же самое происходит с лимитами тарифов, минимальным количеством рабочих мест и наполнением пакетов услуг — и каждое такое изменение незаметно делает недействительной очередную ячейку.

Колонки с функциями устаревают быстрее, чем колонки с ценами. Возможность, которой не было в прошлом квартале, может быть запущена без лишнего шума, и теперь ваша таблица содержит недостоверную информацию о конкуренте.

В этом и заключается главный риск при бенчмаркинге. Устаревшее «нет» — это не просто безобидная ошибка. Это неподтвержденное утверждение о чужом продукте.

Вторая проблема возникает во время презентации. Кто-нибудь обязательно спросит, почему в список был включен тот или иной конкурент, и если правила формирования группы аналогов не были зафиксированы на бумаге, под сомнение можно будет поставить весь отчет.

Как составить отчет с помощью Powerdrill Bloom

Шаг 1. Загрузите таблицу с данными конкурентов

Загрузите собранную матрицу, а также файл с собственными метриками, если они хранятся отдельно. Powerdrill Bloom анализирует структуру колонок сразу после загрузки, поэтому пустые ячейки, разные единицы измерения и дублирующиеся названия конкурентов будут обнаружены еще до начала расчета рейтингов.

Шаг 2. Опишите параметры сравнения простыми словами

Вместо составления сложных формул просто укажите группу аналогов и базу для сравнения. Напишите, какие конкуренты относятся к какому сегменту, какую ценовую базу вы используете и какие атрибуты являются числовыми.

Затем задайте вопросы, которые помогут выявить ошибки. Спросите, в каких ячейках не указан источник или дата, и какие атрибуты записаны в разных единицах измерения. После этого узнайте, на уровне какого процентиля находится ваша собственная строка в каждом сегменте.

Шаг 3. Экспортируйте диаграмму, отчет или презентацию

Выгрузите ранжированную таблицу, диаграмму позиционирования или слайды, на которых определение группы аналогов приводится прямо рядом с результатами.

Почему это намного лучше, чем собирать матрицу вручную

	Ручной способ	Powerdrill Bloom
Разные ценовые базы в одной колонке	Нормализовать вручную	Указать базу и спросить систему
Позиция процентиля для каждого атрибута	Формула для каждой колонки	Запросить ранжирование
Ячейки без указания источника или даты	Выборочно проверять вкладку	Обнаруживаются при загрузке
Повторный запуск в следующем квартале	Пересобирать таблицу заново	Просто заменить файл, сохранив правила

Третья строка — это ваша страховка. Ячейка без указания источника в отчете о бенчмаркинге — это серьезный риск, а ручной поиск таких пропусков — как раз та проверка, про которую чаще всего забывают.

Распространенные ошибки

Выбор группы аналогов по размеру бренда. Покупатели составляют шорт-лист исходя из своего бюджета и задач, которые нужно решить (job to be done), а не рыночной капитализации вендора. Формируйте группу так, как это сделал бы ваш покупатель.

Сравнение со средним значением вместо распределения. Среднее значение скрывает, находитесь ли вы в гуще конкурентов или на самом краю. Указывайте процентиль вместе с общим количеством компаний в группе аналогов.

Использование цен с разной базой. Оплата за пользователя, за рабочее пространство, ежемесячные и годовые тарифы не могут находиться в одной колонке. Выберите единый базис и зафиксируйте его.

Пометка отсутствующей функции как окончательного «нет». Новые возможности часто запускаются без лишнего шума. Указывайте дату для каждой ячейки с функциями и перепроверяйте данные перед публикацией утверждений о конкурентах.

Использование исключающих функций процентилей на малых выборках. Экстремальные процентили в таком случае рассчитать невозможно, и система выдаст ошибку. Используйте включающие варианты функций и указывайте это в отчете.

Смешивание сегментов ради увеличения выборки. Большая выборка, в которой смешаны enterprise и self-serve решения, хуже, чем небольшая, но честная группа. Разделяйте сегменты и делайте соответствующие пометки.

Публикация оценки без указания весовых коэффициентов. Взвешенная оценка — это субъективное мнение, замаскированное под цифры. Публикуйте либо сами коэффициенты, либо ранги, и сопоставляйте результаты с опережающими и запаздывающими индикаторами (leading and lagging indicators), на которые вы действительно опираетесь в управлении.

Заключение

Сформулируйте определение группы аналогов одним предложением, четко определите каждую колонку с атрибутами, нормализуйте ценовую базу и используйте процентили вместо средних значений. Именно это поможет вашему отчету о бенчмаркинге успешно пройти первое же согласование.

Самая затратная часть — это не сам анализ. Дело в том, что у каждой ячейки есть свой срок годности, поэтому отчет должен быть легко обновляемым, а не переписываемым с нуля.

Если вы тратите весь квартал на пересборку этой матрицы, попробуйте Powerdrill Bloom для работы с вашей текущей таблицей. Также ознакомьтесь с подборкой AI-инструментов для конкурентного бенчмаркинга, а также со страницами, посвященными AI-анализу конкурентов и AI-аналитике конкурентной среды.

Frequently asked questions

Что должно входить в отчет о бенчмаркинге?

Четко определенная группа аналогов, по одной колонке на каждый определенный атрибут, автоматически сгенерированная строка с вашими собственными данными и позиция процентиля для каждого числового атрибута. Для каждой ячейки обязательно должны быть указаны источник и дата сбора данных.

Сколько конкурентов необходимо для анализа?

Достаточно для того, чтобы расчет процентиля имел смысл — оптимальным ориентиром будет от восьми до двенадцати компаний в одном сегменте. Если их меньше пяти, помечайте результат как ориентировочный, а не статистически достоверный.

С чем лучше сравнивать показатели — со средним значением или с медианой?

Ни то, ни другое само по себе не даст полной картины. Указывайте свое положение в виде процентиля — это отвечает на реальный вопрос бизнеса и работает даже при сильном разбросе данных в группе аналогов.

Где брать достоверные данные о конкурентах, которые можно обосновать?

Опубликованные страницы с тарифами, официальная документация по продукту и публичная отчетность — самые надежные источники, так как они содержат конкретные даты и их можно подтвердить. Записывайте URL-адрес и дату рядом с каждой цифрой.

Как часто нужно обновлять отчет?

Раз в квартал для цен и пакетов услуг, и чаще — для функциональных возможностей. Функции могут меняться без официальных анонсов, а устаревшая информация об их отсутствии — это ошибка, которая подрывает доверие к отчету.