Jak utworzyć raport aktywacji użytkowników: pełny przewodnik

Dwa zespoły analizują te same dane o produkcie i zgłaszają wskaźniki aktywacji na poziomie 22% i 61%.

Żaden z nich nie popełnił błędu rachunkowego. Wybrali po prostu inne zdarzenia, inne okna konwersji i inne mianowniki.

Na tym polega cała trudność z tym wskaźnikiem. Wzór opiera się na dzieleniu, a każda dyskusja dotyczy tego, co powinno znaleźć się w liczniku i mianowniku.

Ten przewodnik wyjaśnia, co musi zawierać raport i jakie trzy decyzje kształtują ten wskaźnik. Następnie omawia, dlaczego Twój arkusz kalkulacyjny może pokazywać inne dane niż narzędzie analityczne oraz jak przygotować taki raport na podstawie eksportu zdarzeń.

Co musi zawierać raport aktywacji

Główny wskaźnik procentowy to tylko jedna linijka. Raport dostarcza kontekstu, który pozwala go obronić.

Na tym samym widoku powinno znaleźć się pięć elementów: zdarzenie aktywacyjne, okno konwersji, definicja kohorty, liczebność mianownika oraz sam wskaźnik.

Pomiń którykolwiek z nich, a liczba stanie się nieweryfikowalna. Ktoś umieści ją w prezentacji dla zarządu, a potem nikt nie będzie w stanie jej odtworzyć.

Jako szósty element dodaj trend. Pojedynczy odczyt to tylko punkt danych, ale trzy kolejne odczyty przy niezmienionych definicjach to już sygnał, na który warto zareagować.

Trzy decyzje, które kształtują wskaźnik

Każda z tych decyzji samodzielnie wpływa na wynik, a żadna z nich nie jest bezpośrednio widoczna w końcowej wartości procentowej.

Decyzja	Co określa	Co się stanie, jeśli ją zmienisz
Zdarzenie aktywacyjne	Co uznaje się za sukces	Późniejsze zdarzenie obniża wskaźnik dla każdej kohorty
Okno aktywacji	Ile czasu mają użytkownicy	Dłuższe okno podnosi wskaźnik i opóźnia raportowanie
Mianownik	Kto jest mierzony	Przesunięcie kohorty może spowodować, że wskaźnik przekroczy 100%

Decyzja 1: Zdarzenie aktywacyjne

To najważniejsza decyzja biznesowa, której nie da się podjąć, patrząc wyłącznie na wyeksportowane dane.

Zdarzenie aktywacyjne powinno być najwcześniejszym działaniem, które pozwala przewidzieć powrót użytkownika. Wygoda nie jest tu kryterium, podobnie jak łatwość wdrożenia analityki dla danego zdarzenia.

Ukończenie rejestracji prawie nigdy nim nie jest. Rejestracja to dopiero wejście do lejka, a nie dowód na to, że produkt przyniósł komuś wartość.

Wybierz działanie, w którym produkt po raz pierwszy spełnia swoją obietnicę. Dla narzędzia do raportowania może to być pierwszy opublikowany raport, a dla komunikatora – pierwsza wiadomość wysłana do innej osoby.

Zapisz ten wybór wraz z jednozdaniowym uzasadnieniem. To zdanie zapobiegnie rozmywaniu się definicji w kolejnym kwartale.

Decyzja 2: Okno aktywacji

Każde profesjonalne narzędzie traktuje to jako parametr, co oznacza, że decyzja należy do Ciebie.

Dokumentacja lejka Mixpanel mówi o tym wprost. Okno konwersji „określa, ile czasu ma użytkownik na przejście przez wszystkie kroki lejka po wejściu do niego”.

Domyślna wartość wynosi tam siedem dni od pierwszego kroku. Maksymalna to 366 dni lub dwanaście sesji w przypadku okien opartych na sesjach.

Jeden szczegół często umyka uwadze. Mixpanel zaznacza, że okno „rozpoczyna się przy pierwszym wystąpieniu zdarzenia Krok 1 dla każdego wejścia do lejka”. Kolejne wystąpienia tego zdarzenia nie resetują zegara.

So a user who signs up, disappears for a month, returns and activates may be counted as a failure. That is correct behaviour under a short window, and it will surprise the person reading your report.

Decyzja 3: Mianownik

Mianownikiem jest kohorta, a kohorty definiuje się na podstawie czasu przybycia użytkowników, a nie czasu ich działania.

Weź wszystkich, którzy zarejestrowali się w określonym czasie. Zamroź tę listę, a następnie zmierz, ilu z nich dotarło do zdarzenia aktywacyjnego w wyznaczonym oknie.

Unikalna metoda zliczania w Mixpanel działa w ten sam sposób, wprowadzając użytkownika „przy pierwszym zarejestrowaniu Kroku 1 w wybranym okresie”. Kolejne wejścia nie zwiększają tej liczby.

Pułapką jest mieszanie okresów. Jeśli mianownikiem są „rejestracje w tym miesiącu”, a licznikiem „aktywacje w tym miesiącu”, policzysz również aktywacje użytkowników, którzy zarejestrowali się wcześniej.

Taka wersja wskaźnika może przekroczyć 100%, co jest jasnym sygnałem ostrzegawczym. Nasz artykuł wyjaśniający analizę kohortową omawia, dlaczego kohorta musi zostać najpierw zamrożona.

Dlaczego Twój arkusz kalkulacyjny nie będzie się zgadzał z narzędziem analitycznym

Porównywanie tych danych potrafi zająć większości zespołów całe popołudnie, dlatego warto zrozumieć ten problem, zanim się pojawi.

Trzy ustawienia wewnątrz narzędzia są niewidoczne w wynikach końcowych: długość okna, metoda zliczania oraz kolejność kroków.

Mixpanel domyślnie wymaga określonej kolejności, w której każdy krok musi nastąpić po poprzednim. Oferuje również opcję dowolnej kolejności, w której kroki są zliczane w dowolnej sekwencji, chyba że zostaną zakotwiczone.

Odtworzenie tego w arkuszu kalkulacyjnym w domyślny sposób narzuca własne odpowiedzi na te trzy kwestie. Dwa poprawne obliczenia dadzą różne wyniki i żadna ze stron nie będzie w błędzie.

Rozwiązanie jest nudne, ale skuteczne. Zapisz te trzy ustawienia w raporcie i porównuj tylko identycznie skonfigurowane dane.

Jak zrobić to ręcznie

Opcja 1: Dwie wartości i jedno dzielenie

Stwórz listę wszystkich użytkowników, którzy zarejestrowali się w danym okresie, a następnie usuń duplikaty identyfikatorów za pomocą funkcji UNIQUE.

Policz pozycje na tej liście za pomocą funkcji COUNTA, aby uzyskać mianownik. Następnie użyj funkcji COUNTIFS, aby policzyć użytkowników z tej samej listy, u których wystąpiło zdarzenie aktywacyjne w wyznaczonym oknie.

Umieść obie te liczby w widocznych komórkach. Podziel je dopiero na samym końcu, aby każdy mógł osobno zweryfikować obie wartości wejściowe.

Szybko jednak natrafisz na ograniczenia. Otrzymasz jeden wskaźnik procentowy dla jednego okna i nie będziesz mieć wglądu w to, kto się nie aktywował.

Opcja 2: Jeden wiersz na użytkownika

Zbuduj tabelę z jednym wierszem dla każdego użytkownika w kohorcie. Dodaj kolumny dla daty rejestracji, daty pierwszego zdarzenia aktywacyjnego, liczby dni między nimi oraz flagi oznaczającej, czy mieści się to w oknie.

Oblicz różnicę dni, odejmując wcześniejszą datę od późniejszej. Oficjalne wskazówki firmy Microsoft dotyczące funkcji DATEDIF ostrzegają, że „w pewnych scenariuszach może ona zwracać nieprawidłowe wyniki” i zalecają zwykłe odejmowanie do obliczania liczby dni.

Teraz raport można filtrować i dzielić: według planu taryfowego, kanału pozyskiwania, tygodnia rejestracji czy wielkości firmy.

To właśnie w takim podziale zazwyczaj kryją się najciekawsze wnioski. Ogólny, uśredniony wskaźnik często maskuje fakt, że jeden kanał aktywuje się świetnie, a inny wcale.

Ograniczeniem są tu złączenia i objętość danych. Łączenie eksportu zdarzeń z tabelą użytkowników przestaje być przyjemne, gdy przekracza kilkaset tysięcy wierszy.

Opcja 3: Karta definicji

Zapisz zdarzenie aktywacyjne, okno, regułę kohorty i metodę zliczania. Następnie zanotuj, co wykluczasz, na przykład konta wewnętrzne i użytkowników testowych.

Ruch wewnętrzny to cichy zaburzyciel statystyk. Trzydziestoosobowy zespół testujący produkt co tydzień może podnieść wskaźnik małej kohorty o kilka punktów procentowych.

Ograniczenie polega na tym, że samo zapisanie reguły nie oznacza jej automatycznego zastosowania. W kolejnym miesiącu ktoś i tak będzie musiał od nowa konfigurować te same filtry.

Wspólne ograniczenie. Wszystkie trzy opcje zakładają, że eksport zawiera wiarygodny identyfikator użytkownika i uporządkowane nazwy zdarzeń. Jeśli nazwy zdarzeń zostały zmienione w środku kwartału, uzgadnianie tych danych będzie Twoim głównym zadaniem.

Gdzie ręczna metoda zaczyna zawodzić

Przygotowanie pierwszego raportu zajmuje poranek. Czwarty zajmie już więcej czasu, ponieważ do tego momentu definicje zdążą się zmienić.

Najczęstszą przyczyną są zmiany nazw zdarzeń. Porządkowanie analityki dzieli jedno zdarzenie na dwa, przez co liczba aktywacji spada, mimo że zachowanie użytkowników się nie zmieniło.

Przesuwa się również okres kohorty. Ktoś ponownie uruchamia plik z zeszłego kwartału z filtrem dat dla bieżącego kwartału, a na spotkaniu porównuje się dwie zupełnie różne liczby.

Do tego dochodzi prośba, która pojawia się za każdym razem: ktoś prosi o ten sam wskaźnik w podziale na kanały i cały zestaw filtrów trzeba odbudowywać ręcznie.

Zestawienie narzędzi AI do analityki produktowej omawia technologiczną stronę tego problemu.

Jak zbudować taki raport w Powerdrill Bloom

Krok 1: Prześlij eksport zdarzeń

Prześlij plik zdarzeń lub pliki zdarzeń i użytkowników razem. Powerdrill Bloom analizuje kolumny zaraz po przesłaniu, dzięki czemu brakujące identyfikatory użytkowników, niespójne nazwy zdarzeń i znaczniki czasu spoza zakresu zostaną wykryte przed obliczeniem jakichkolwiek wskaźników.

Krok 2: Opisz definicję językiem naturalnym

Zamiast konfigurować reguły, po prostu je opisz. Podaj nazwę zdarzenia aktywacyjnego, okno w dniach, okres kohorty oraz konta, które należy wykluczyć.

Następnie zadaj pytania, które ujawnią skrajne przypadki. Zapytaj, ilu użytkowników aktywowało się dzień po zamknięciu okna. Zapytaj, które nazwy zdarzeń pojawiają się tylko w części wybranego okresu. Na koniec poproś o podział wskaźnika według kanałów i tygodni rejestracji.

Krok 3: Wyeksportuj wykres, raport lub prezentację

Wyeksportuj wskaźnik wraz z jego mianownikiem, krzywą aktywacji według dni od rejestracji lub slajdy zawierające definicje tuż obok liczb.

Najczęstsze błędy

Używanie rejestracji jako zdarzenia aktywacyjnego. Rejestracja to dopiero wejście do lejka. Aktywacją musi być moment, w którym produkt dostarczył realną wartość.

Raportowanie wskaźnika bez mianownika. Procent z nieznanej bazy to tylko ozdobnik. Zawsze pokazuj wielkość kohorty obok wskaźnika.

Mieszanie okresów kohort. Zliczanie aktywacji z wcześniejszych rejestracji w odniesieniu do bazy z bieżącego miesiąca sztucznie zawyża wskaźnik i może spowodować, że przekroczy on 100%.

Zmiana okna bez aktualizacji etykiety. Dane dla 7 dni i 30 dni to dwa różne pomiary. Zdecyduj się na jeden i wyraźnie opisz go w raporcie.

Porównywanie własnych wyników z publikowanymi benchmarkami. Inne firmy wybierają inne zdarzenia i okna konwersji. Porównuj wyniki przede wszystkim z własnym trendem.

Pozostawianie kont wewnętrznych w kohorcie. Pracownicy i użytkownicy testowi aktywują się w niemal 100%. W małej kohorcie może to wyraźnie zniekształcić wynik.

Ignorowanie zmian nazw zdarzeń. Zmiana w analityce może obniżyć liczbę aktywacji bez żadnej zmiany w zachowaniu użytkowników. Sprawdź nazwy zdarzeń, zanim zaczniesz tłumaczyć spadek wskaźników.

Podsumowanie

Wybierz zdarzenie aktywacyjne, ustal okno konwersji, zamroź kohortę i raportuj wskaźnik wraz z mianownikiem tuż obok. Te cztery decyzje pozwolą uzyskać liczbę, na podstawie której można podejmować realne działania.

Sam wskaźnik procentowy nie jest ostatecznym celem. Dopiero podział na kanały i tygodnie rejestracji podpowie Ci, na co warto przeznaczyć budżet w kolejnym miesiącu.

Jeśli ciągłe odtwarzanie tego podziału zabiera Ci cały czas, wypróbuj Powerdrill Bloom do analizy eksportu zdarzeń. Zobacz również nasz przewodnik o tym, jak przekształcić dane o korzystaniu z produktu w raport adopcji funkcji oraz stronę generatora raportów AI.

Często zadawane pytania

Jaki jest wzór na wskaźnik aktywacji?

Policz użytkowników w kohorcie, którzy osiągnęli zdarzenie aktywacyjne w wyznaczonym oknie. Podziel tę liczbę przez całkowitą liczbę użytkowników w kohorcie, a następnie pomnóż przez 100.

Jak długie powinno być okno aktywacji?

Na tyle długie, by uchwycić naturalne zachowania użytkowników, i na tyle krótkie, by umożliwiało szybkie działanie. Mixpanel domyślnie ustawia okno konwersji na siedem dni i pozwala na wydłużenie go do 366 dni.

Które zdarzenie powinno być uznawane za aktywację?

Najwcześniejsze działanie, które pozwala przewidzieć powrót użytkownika. Przetestuj potencjalne zdarzenia, sprawdzając, czy użytkownicy, którzy je wykonali, wracają w kolejnych tygodniach.

Dlaczego moje wyliczenia różnią się od danych w narzędziu analitycznym?

Zazwyczaj wynika to z długości okna, metody zliczania lub kolejności kroków. Te trzy ustawienia są skonfigurowane wewnątrz narzędzia i nie są bezpośrednio widoczne w wyeksportowanej liczbie.

Czy wskaźnik aktywacji może przekroczyć 100%?

Tylko wtedy, gdy kohorta została błędnie zdefiniowana. Taki wynik oznacza, że aktywacje z wcześniejszych rejestracji są zliczane w odniesieniu do późniejszego mianownika.