Как создать отчет об активации пользователей: полное руководство

Две команды смотрят на одни и те же данные о продукте и сообщают о показателях активации в 22% и 61%.

Ни одна из них не ошиблась в расчетах. Они просто выбрали разные события, разные временные окна и разные знаменатели.

В этом и заключается вся сложность данной метрики. Формула представляет собой деление, и все споры сводятся к тому, какие данные в нее подставлять.

В этом руководстве мы разберем, что должно содержаться в отчете и какие три ключевых решения определяют итоговую цифру. Затем мы обсудим, почему данные в вашей электронной таблице могут расходиться с показателями аналитической системы, и как составить этот отчет на основе экспорта событий.

Что должен содержать отчет об активации

Итоговый процент — это всего лишь одна строка. Отчет же дает контекст, который делает эту цифру обоснованной.

На одном экране должны быть представлены пять элементов: событие активации, временное окно, определение когорты, значение знаменателя и сам показатель активации.

Упустите любой из них, и цифру станет невозможно проверить. Кто-нибудь вставит ее в презентацию для совета директоров, но никто не сможет ее воспроизвести.

Добавьте тренд в качестве шестого пункта. Одиночный показатель — это просто точка данных, а вот три последовательных значения при неизменных определениях — это уже то, на что стоит реагировать.

Три решения, которые определяют итоговую цифру

Каждое из этих решений само по себе влияет на результат, но ни одно из них не видно в конечном проценте.

Решение	Что оно определяет	Что произойдет при его изменении
Событие активации	Что считается успехом	Более позднее событие снижает показатель для каждой когорты
Окно активации	Сколько времени есть у пользователей	Более длинное окно повышает показатель, но замедляет подготовку отчетов
Знаменатель	Кто оценивается	Сдвиг когорты может поднять показатель выше 100%

Решение 1: Событие активации

Это самое важное экспертное решение, и его невозможно принять, просто глядя на выгрузку данных.

Событие активации должно быть самым ранним действием, которое прогнозирует возвращение пользователя. Удобство здесь не критерий, как и простота настройки отслеживания этого события.

Завершение регистрации почти никогда им не является. Регистрация — это лишь вход в воронку, а не доказательство того, что продукт принес пользователю пользу.

Выберите действие, в котором продукт впервые выполняет свое обещание. Для инструмента отчетности это может быть первый опубликованный отчет, а для мессенджера — первое отправленное другому человеку сообщение.

Зафиксируйте этот выбор письменно, добавив краткое обоснование в одну строку. Это предложение убережет определение от размывания в следующем квартале.

Решение 2: Окно активации

Любой серьезный инструмент рассматривает это как параметр, а значит, решение остается за вами.

В документации по воронкам Mixpanel это сформулировано четко. Окно конверсии «определяет, сколько времени есть у пользователя, чтобы пройти все шаги воронки после входа в нее».

По умолчанию этот период составляет семь дней с первого шага. Максимум — 366 дней или двенадцать сессий для окон на основе сессий.

Но здесь есть одна деталь, на которой многие попадаются. Mixpanel отмечает, что окно «начинается с первого появления события Шага 1 для каждого входа в воронку». Последующие появления этого события не перезапускают таймер.

Таким образом, пользователь, который зарегистрировался, исчез на месяц, а затем вернулся и активировался, может быть засчитан как «неуспешный». При коротком окне это корректное поведение системы, но оно может удивить того, кто читает ваш отчет.

Решение 3: Знаменатель

Знаменатель — это когорта, а когорты определяются тем, когда люди пришли, а не тем, когда они совершили действие.

Возьмите всех, кто зарегистрировался в определенный период. Зафиксируйте этот список, а затем измерьте, сколько из них совершили событие активации внутри выбранного окна.

Уникальный метод подсчета Mixpanel работает аналогично, регистрируя пользователя «в первый раз, когда он совершает Шаг 1 в выбранном периоде времени». Последующие входы не увеличивают это число.

Ловушка заключается в смешивании периодов. Если знаменатель — это «регистрации в этом месяце», а числитель — «активации в этом месяце», вы также посчитаете активации пользователей, которые зарегистрировались ранее.

Такая версия метрики может превысить 100%, что сразу выдает ошибку. В нашем руководстве по когортному анализу подробно описано, почему когорту необходимо сначала зафиксировать.

Почему данные в вашей таблице будут расходиться с аналитическим инструментом

На такое сравнение у большинства команд уходит целая половина дня, поэтому стоит разобраться в причинах заранее.

Три настройки внутри инструмента не видны в итоговом отчете: длина окна, метод подсчета и порядок шагов.

По умолчанию Mixpanel требует строгого порядка, при котором каждый шаг должен следовать за предыдущим. Но инструмент также предлагает вариант «в любом порядке», когда шаги учитываются в любой последовательности, если только вы их не зафиксируете.

При воссоздании логики в таблице вы неявно выбираете свои собственные ответы на все три вопроса. В итоге два правильных расчета разойдутся, и ни одна из сторон не будет ошибаться.

Решение скучное, но рабочее: зафиксируйте эти три настройки прямо в отчете и сравнивайте только сопоставимые данные.

Как сделать это вручную

Вариант 1: Два подсчета и одно деление

Составьте список всех пользователей, зарегистрировавшихся за этот период, а затем удалите дубликаты идентификаторов с помощью функции UNIQUE.

Подсчитайте количество элементов в этом списке с помощью COUNTA для получения знаменателя. Затем используйте COUNTIFS, чтобы подсчитать пользователей из того же списка, у которых событие активации произошло внутри окна.

Держите оба подсчета в видимых ячейках. Разделите их один раз в самом конце, чтобы любой желающий мог проверить оба исходных значения по отдельности.

Но вы быстро упретесь в потолок возможностей: вы получите один процент для одного окна и не увидите тех, кто не активировался.

Вариант 2: Одна строка на пользователя

Создайте таблицу, где на каждого пользователя из когорты будет приходиться одна строка. Сделайте столбцы для даты регистрации, даты первого события активации, количества дней между ними и отметки о попадании в окно активации.

Вычислите разницу в днях, вычтя более раннюю дату из более поздней. Собственное руководство Microsoft по функции DATEDIF предупреждает, что она «может вычислять неверные результаты при определенных сценариях», и рекомендует использовать обычное вычитание для подсчета дней.

Теперь отчет можно детализировать: по тарифному плану, каналу привлечения, неделе регистрации или размеру компании.

Именно в такой детализации обычно и кроются инсайты. Общий усредненный показатель часто скрывает тот факт, что один канал отлично активирует пользователей, а другой — вообще никак.

Ограничением здесь становятся объединения таблиц и объем данных. Сопоставление экспорта событий с таблицей пользователей перестает быть приятным занятием, когда объем превышает несколько сотен тысяч строк.

Вариант 3: Вкладка с определениями

Зафиксируйте событие активации, окно, правило формирования когорты и метод подсчета. Также запишите, что именно вы исключаете (например, внутренние аккаунты и тестовых пользователей).

Внутренний трафик — это скрытый исказитель данных. Команда из тридцати человек, тестирующая продукт каждую неделю, может поднять показатель небольшой когорты на несколько процентных пунктов.

Ограничение в том, что простая фиксация правила не означает его автоматического применения. В следующем месяце кому-то все равно придется заново настраивать те же фильтры.

Общий потолок возможностей. Все три варианта предполагают, что выгрузка содержит надежный идентификатор пользователя и чистое имя события. Если события были переименованы в середине квартала, то сопоставление этих данных и станет вашей основной работой.

Где ручной подход начинает буксовать

Подготовка первого отчета занимает утро. Четвертый потребует больше времени, потому что к тому моменту определения уже изменятся.

Самая частая причина — переименование событий. Наведение порядка в трекинге разделяет одно событие на два, и количество активаций падает без какого-либо изменения в поведении пользователей.

Период когорты тоже сдвигается. Кто-то перезапускает файл за прошлый квартал с фильтром дат за текущий, и на совещании сравнивают две совершенно разные цифры.

А затем поступает стандартный запрос: кто-то просит показать тот же показатель в разбивке по каналам, и весь набор фильтров приходится пересобирать вручную.

В обзоре ИИ-инструментов для продуктовой аналитики рассматривается инструментальная сторона этой проблемы.

Как построить его с помощью Powerdrill Bloom

Шаг 1: Загрузите экспорт событий

Загрузите файл событий или файлы событий и пользователей вместе. Powerdrill Bloom анализирует столбцы при загрузке, поэтому отсутствующие идентификаторы пользователей, несогласованные имена событий и выходящие за рамки временные метки обнаруживаются еще до расчета каких-либо показателей.

Шаг 2: Опишите определение на естественном языке

Сформулируйте правила текстом вместо того, чтобы настраивать их вручную. Укажите событие активации, окно в днях, период когорты и аккаунты, которые нужно исключить.

Затем задайте вопросы, которые помогут выявить пограничные случаи. Спросите, сколько пользователей активировалось через день после закрытия окна. Спросите, какие имена событий появляются только в части периода. Затем запросите разбивку показателя по каналам и неделям регистрации.

Шаг 3: Экспортируйте график, отчет или презентацию

Выгрузите показатель вместе с его знаменателем, кривую активации по дням с момента регистрации или слайды, на которых определения указаны рядом с цифрами.

Распространенные ошибки

Использование регистрации в качестве события активации. Регистрация — это лишь вход в воронку. Активацией должен быть момент, когда продукт принес реальную пользу.

Предоставление показателя без знаменателя. Процент от неизвестной базы — это просто украшение. Всегда показывайте размер когорты рядом с ним.

Смешивание периодов когорт. Подсчет активаций от более ранних регистраций по отношению к базе этого месяца искусственно завышает показатель и может увести его за пределы 100%.

Изменение окна без обновления подписи. Показатели за семь дней и за тридцать дней — это разные метрики. Выберите одну и зафиксируйте ее в отчете.

Сравнение своего показателя с опубликованными бенчмарками. Другие компании выбирают другие события и окна. В первую очередь сравнивайте данные со своим собственным трендом.

Оставление внутренних аккаунтов в когорте. Сотрудники и тестировщики активируются почти на 100%. На небольшой когорте это заметно искажает итоговую цифру.

Игнорирование переименованных событий. Изменение в трекинге может снизить показатели без реального изменения в поведении пользователей. Проверяйте имена событий, прежде чем объяснять спад.

Заключение

Выберите событие активации, зафиксируйте окно, определите когорту и покажите показатель вместе со знаменателем. Эти четыре решения позволят получить цифру, на основе которой можно принимать меры.

Сам по себе процент не является конечным результатом. Разбивка по каналам и неделям регистрации — вот что подскажет вам, куда направить ресурсы в следующем месяце.

Если воссоздание этой разбивки отнимает все ваше время, попробуйте Powerdrill Bloom для анализа экспорта событий. Также ознакомьтесь с нашим руководством по превращению данных об использовании продукта в отчет о внедрении функций и страницей генератора ИИ-отчетов.

Часто задаваемые вопросы

Какова формула показателя активации?

Подсчитайте количество пользователей в когорте, которые совершили событие активации внутри окна. Разделите это число на общее количество пользователей в когорте, а затем умножьте на 100.

Какова должна быть длина окна активации?

Достаточно длинной, чтобы зафиксировать естественное поведение пользователей, и достаточно короткой, чтобы на ее основе можно было оперативно принимать решения. По умолчанию Mixpanel устанавливает окно конверсии в семь дней и позволяет увеличивать его до 366 дней.

Какое событие должно считаться активацией?

Самое раннее действие, которое прогнозирует возвращение пользователя. Протестируйте потенциальные события, проверив, возвращаются ли совершившие их пользователи в последующие недели.

Почему мои цифры расходятся с данными аналитического инструмента?

Обычно дело в окне, методе подсчета или порядке шагов. Эти три настройки задаются внутри инструмента и не видны в экспортируемом значении.

Может ли показатель активации превышать 100%?

Только если была нарушена логика формирования когорты. Такой результат означает, что активации пользователей из более ранних регистраций учитываются в знаменателе более позднего периода.