사용자 활성화 보고서 작성 방법: 전체 가이드

두 팀이 동일한 제품 데이터를 보고도 각각 22%와 61%의 활성화율을 보고합니다.

어느 팀도 계산 실수를 하지 않았습니다. 단지 서로 다른 이벤트, 서로 다른 기간(window), 그리고 서로 다른 분모를 선택했을 뿐입니다.

이것이 바로 이 지표가 가진 가장 까다로운 점입니다. 공식 자체는 단순한 나눗셈이지만, 분모와 분자에 무엇을 넣을지를 두고 끊임없는 논쟁이 벌어지기 때문입니다.

이 가이드에서는 보고서에 반드시 포함되어야 할 내용과 수치를 결정하는 세 가지 선택 사항을 다룹니다. 이어서 스프레드시트의 계산 결과가 분석 툴과 일치하지 않는 이유와 이벤트 내보내기 데이터를 활용해 보고서를 작성하는 방법을 알아봅니다.

활성화 보고서에 반드시 포함되어야 할 내용

헤드라인을 장식하는 백분율 수치는 단 한 줄에 불과합니다. 보고서는 그 수치에 타당성을 부여하는 맥락입니다.

한 화면에 다음 다섯 가지 요소가 함께 표시되어야 합니다. 활성화 이벤트, 활성화 기간(window), 코호트 정의, 분모 수, 그리고 활성화율 자체입니다.

이 중 하나라도 빠지면 수치의 신뢰성을 검증할 수 없게 됩니다. 누군가 이 수치를 이사회 보고 자료에 인용하더라도, 그 누구도 동일한 수치를 재현해내지 못할 것입니다.

여섯 번째 항목으로 트렌드(추이)를 추가하세요. 단 한 번의 측정값은 단순한 데이터 포인트에 불과하지만, 동일한 정의를 유지한 채 세 번 연속으로 측정한 값은 비로소 행동을 취할 만한 가치가 있는 정보가 됩니다.

수치를 결정하는 세 가지 선택 사항

각각의 선택은 그 자체로 결과 수치를 크게 변화시키지만, 최종 백분율 수치만 보아서는 어떤 선택을 했는지 전혀 알 수 없습니다.

선택 사항	결정되는 내용	변경 시 발생하는 현상
활성화 이벤트	무엇을 성공으로 정의할 것인가	더 늦은 시점의 이벤트를 선택할수록 모든 코호트의 활성화율이 낮아짐
활성화 기간(window)	사용자에게 주어지는 시간	기간이 길어질수록 활성화율은 높아지지만 보고서 작성 속도는 느려짐
분모	측정 대상이 누구인가	코호트 기준이 어긋나면 활성화율이 100%를 초과할 수 있음

선택 1: 활성화 이벤트

이것은 가장 중요한 주관적 판단 영역이며, 단순히 내보낸 데이터를 들여다보는 것만으로는 답을 얻을 수 없습니다.

활성화 이벤트는 사용자의 재방문을 예측할 수 있는 가장 이른 단계의 행동이어야 합니다. 측정의 편의성이나 이벤트 트래킹 구현의 용이성이 기준이 되어서는 안 됩니다.

회원가입 완료가 활성화 이벤트가 되는 경우는 거의 없습니다. 회원가입은 퍼널의 시작점일 뿐, 제품이 사용자에게 가치를 제공했다는 증거가 되지 못합니다.

제품이 약속한 가치를 처음으로 실현하는 행동을 선택하세요. 예를 들어 보고서 작성 툴이라면 '첫 번째 보고서 발행'이 될 수 있고, 메시징 툴이라면 '다른 사람에게 보낸 첫 번째 메시지'가 될 수 있습니다.

선택한 이유를 한 줄로 기록해 두세요. 이 한 문장이 다음 분기에 정의가 모호해지거나 변질되는 것을 막아줄 것입니다.

선택 2: 활성화 기간(window)

제대로 된 분석 툴은 모두 이 항목을 매개변수(parameter)로 취급합니다. 즉, 여러분이 직접 결정해야 하는 영역이라는 뜻입니다.

Mixpanel의 퍼널 문서에 명확히 설명되어 있습니다. 전환 기간(conversion window)은 "사용자가 퍼널에 진입한 후 모든 단계를 거쳐 전환하는 데 주어지는 시간"을 결정합니다.

기본값은 첫 번째 단계로부터 7일입니다. 최대값은 366일이며, 세션 기준 기간의 경우 최대 12세션까지 설정할 수 있습니다.

사람들이 자주 놓치는 디테일이 있습니다. Mixpanel은 이 기간이 "퍼널 진입당 1단계 이벤트가 처음 발생한 시점부터 시작된다"고 명시하고 있습니다. 이후에 동일한 이벤트가 다시 발생하더라도 타이머가 초기화되지 않습니다.

따라서 회원가입 후 한 달 동안 소식이 없다가 다시 돌아와 활성화 이벤트를 수행한 사용자는 미활성화(실패)로 집계될 수 있습니다. 짧은 활성화 기간을 설정했다면 이는 올바른 동작이지만, 보고서를 읽는 사람에게는 의아하게 느껴질 수 있습니다.

선택 3: 분모

분모는 코호트(cohort)를 의미하며, 코호트는 사용자가 언제 행동했는지가 아니라 언제 유입되었는지를 기준으로 정의됩니다.

특정 기간에 가입한 모든 사용자를 추출합니다. 이 목록을 고정(freeze)한 다음, 활성화 기간 내에 몇 명이 활성화 이벤트에 도달했는지 측정합니다.

Mixpanel의 고유한 카운팅 방식도 동일하게 작동하여, 사용자가 "선택한 기간 내에 1단계 이벤트를 처음 추적한 시점"에 퍼널에 진입하도록 합니다. 이후의 진입은 카운트에 추가되지 않습니다.

여기서 함정은 서로 다른 기간을 혼용하는 것입니다. 분모를 "이번 달 가입자 수"로 두고 분자를 "이번 달 활성화 수"로 설정하면, 이전 달에 가입한 사용자의 활성화 수치까지 포함되어 계산됩니다.

이러한 방식의 지표는 100%를 초과할 수 있으며, 이는 명백한 오류의 신호입니다. 코호트 분석에 관한 설명글에서 코호트를 먼저 고정해야 하는 이유를 자세히 다루고 있습니다.

스프레드시트의 계산 결과가 분석 툴과 일치하지 않는 이유

대부분의 팀에서 이 두 수치를 비교하고 맞추는 데 반나절을 허비하곤 합니다. 따라서 문제가 발생하기 전에 미리 원인을 이해해 두는 것이 좋습니다.

분석 툴 내부의 세 가지 설정은 최종 출력 결과에 표시되지 않습니다. 바로 기간의 길이, 카운팅 방식, 그리고 단계별 순서입니다.

Mixpanel은 기본적으로 각 단계를 순서대로 거쳐야 하는 특정 순서(specific order) 방식을 사용합니다. 또한, 기준을 고정하지 않는 한 단계가 어떤 순서로든 발생해도 인정하는 임의 순서(any order) 방식도 제공합니다.

스프레드시트로 수식을 다시 만들다 보면 이 세 가지 설정에 대해 자신도 모르게 임의의 기준을 적용하게 됩니다. 그 결과, 두 계산 방식 모두 논리적으로 맞더라도 서로 다른 수치가 나오게 되며, 어느 쪽도 틀린 것은 아닙니다.

해결책은 다소 번거롭지만 확실합니다. 보고서에 이 세 가지 설정을 명시하고, 동일한 기준을 적용한 데이터끼리만 비교하거나 아예 비교하지 않는 것입니다.

수동으로 보고서를 작성하는 방법

옵션 1: 두 개의 카운트와 하나의 나눗셈

해당 기간에 가입한 모든 사용자의 목록을 뽑은 다음, UNIQUE 함수를 사용해 식별자의 중복을 제거합니다.

COUNTA 함수로 해당 목록의 개수를 세어 분모를 구합니다. 그런 다음 COUNTIFS 함수를 사용하여 동일한 목록의 사용자 중 활성화 기간 내에 활성화 이벤트를 수행한 사용자의 수를 셉니다.

두 카운트 값을 모두 눈에 보이는 셀에 유지하세요. 마지막에 한 번만 나눗셈을 수행하여 누구나 두 입력값을 개별적으로 검증할 수 있도록 합니다.

하지만 이 방식은 금방 한계에 부딪힙니다. 단 하나의 기간에 대한 단 하나의 백분율만 얻을 수 있을 뿐, 누가 활성화되지 않았는지는 파악할 수 없기 때문입니다.

옵션 2: 사용자당 하나의 행 구성

코호트에 속한 사용자당 하나의 행을 갖는 테이블을 만듭니다. 열은 가입일, 첫 번째 활성화 이벤트 발생일, 두 날짜 사이의 일수, 그리고 활성화 기간 내 포함 여부를 나타내는 플래그(flag)로 구성합니다.

나중 날짜에서 이전 날짜를 빼서 일수 차이를 계산합니다. DATEDIF 함수에 대한 Microsoft의 공식 가이드에 따르면, 이 함수는 "특정 시나리오에서 잘못된 결과를 계산할 수 있으므로" 일수를 계산할 때는 단순 뺄셈을 사용할 것을 권장하고 있습니다.

이제 요금제별, 유입 채널별, 가입 주간별, 또는 회사 규모별로 보고서를 세분화(slice)하여 분석할 수 있습니다.

대개 이러한 세분화 분석에서 중요한 인사이트를 발견하게 됩니다. 전체 평균 활성화율만 보면 평탄해 보이지만, 실제로는 특정 채널의 활성화율은 매우 높은 반면 다른 채널은 전혀 활성화되지 않고 있는 상황이 가려져 있을 수 있습니다.

이 방식의 한계는 데이터 조인(join)과 용량입니다. 내보낸 이벤트 데이터와 사용자 테이블을 매칭하는 작업은 데이터가 수십만 행을 넘어가기 시작하면 매우 고통스러워집니다.

옵션 3: 정의(Definitions) 탭 활용

활성화 이벤트, 활성화 기간, 코호트 규칙, 카운팅 방식을 기록해 둡니다. 그리고 내부 계정이나 테스트 사용자와 같이 제외할 대상을 함께 기록합니다.

내부 트래픽은 수치를 왜곡하는 주범입니다. 매주 제품을 테스트하는 30명 규모의 팀이 있다면, 규모가 작은 코호트의 활성화율을 몇 퍼센트포인트나 끌어올릴 수 있습니다.

이 방식의 한계는 규칙을 적어두는 것만으로는 자동 적용되지 않는다는 점입니다. 다음 달이 되면 누군가는 결국 똑같은 필터를 수동으로 다시 만들고 있을 것입니다.

공통의 한계. 세 가지 옵션 모두 내보낸 데이터에 신뢰할 수 있는 사용자 식별자와 정제된 이벤트 이름이 포함되어 있다는 전제가 필요합니다. 분기 중간에 이벤트 이름이 변경되었다면, 데이터를 일치시키는 작업 자체가 엄청난 일거리가 됩니다.

수동 방식의 한계와 병목 현상

첫 번째 보고서를 작성하는 데는 반나절이 걸립니다. 하지만 네 번째 보고서를 작성할 때는 더 많은 시간이 걸리는데, 그사이에 정의가 바뀌었기 때문입니다.

이벤트 이름 변경이 가장 흔한 원인입니다. 트래킹 데이터를 정리하면서 하나의 이벤트를 둘로 나누면, 실제 사용자 행동에는 변화가 없는데도 활성화 카운트가 급감하게 됩니다.

코호트 기간이 어긋나기도 합니다. 누군가 지난 분기 파일에 이번 분기 날짜 필터를 적용해 다시 실행하고, 회의에서는 이 두 수치를 그대로 비교해 버리는 일이 발생합니다.

또한 매번 반복되는 요청도 있습니다. 누군가 채널별 활성화율을 요구하면, 모든 필터를 처음부터 다시 수동으로 설정해야 합니다.

제품 분석을 위한 최고의 AI 툴 소개 글에서 이 문제를 해결할 수 있는 도구적 측면을 다루고 있습니다.

Powerdrill Bloom으로 보고서를 작성하는 방법

1단계: 이벤트 내보내기 파일 업로드

이벤트 파일 또는 이벤트와 사용자 파일을 함께 업로드합니다. Powerdrill Bloom은 업로드 즉시 열(column) 데이터를 분석하므로, 활성화율을 계산하기 전에 누락된 사용자 식별자, 일관되지 않은 이벤트 이름, 범위를 벗어난 타임스탬프 등의 문제를 미리 파악할 수 있습니다.

2단계: 자연어로 정의 설명하기

복잡한 규칙을 직접 구축하는 대신 말로 설명하세요. 활성화 이벤트, 일 단위의 활성화 기간, 코호트 기간, 그리고 제외할 계정을 지정하기만 하면 됩니다.

그런 다음 세부적인 예외 상황을 파악할 수 있는 질문을 던져보세요. 활성화 기간이 끝난 바로 다음 날에 활성화된 사용자는 몇 명인지 물어보거나, 특정 기간에만 나타나는 이벤트 이름이 무엇인지 물어볼 수 있습니다. 또한 채널별, 가입 주간별로 세분화된 활성화율을 요청할 수도 있습니다.

3단계: 차트, 보고서 또는 프레젠테이션 덱으로 내보내기

분모가 포함된 활성화율, 가입 후 일자별 활성화 곡선, 또는 수치 옆에 정의가 함께 표시된 슬라이드 형태로 데이터를 내보낼 수 있습니다.

자주 하는 실수들

회원가입을 활성화 이벤트로 설정하는 것. 회원가입은 퍼널의 진입점일 뿐입니다. 활성화는 제품이 사용자에게 실질적인 가치를 제공한 순간이어야 합니다.

분모 없이 활성화율만 보고하는 것. 기준이 명시되지 않은 백분율은 단순한 장식에 불과합니다. 활성화율 옆에 항상 코호트 규모를 함께 표시하세요.

코호트 기간을 혼용하는 것. 이번 달 가입자 기준에 이전 가입자의 활성화 수치를 포함해 계산하면 활성화율이 부풀려져 100%를 초과할 수 있습니다.

라벨을 변경하지 않고 활성화 기간을 바꾸는 것. 7일 기준 수치와 30일 기준 수치는 완전히 다른 측정값입니다. 기준을 하나로 고정하고 보고서에 명확히 기재하세요.

자사의 수치를 공개된 벤치마크와 비교하는 것. 회사마다 선택하는 이벤트와 활성화 기간이 다릅니다. 외부 벤치마크보다는 자사의 이전 트렌드와 먼저 비교하세요.

코호트에 내부 계정을 남겨두는 것. 임직원과 테스트 사용자의 활성화율은 100%에 가깝습니다. 규모가 작은 코호트에서는 이들이 수치를 눈에 띄게 왜곡할 수 있습니다.

이름이 변경된 이벤트를 무시하는 것. 트래킹 설정 변경으로 인해 실제 행동 변화 없이도 카운트가 감소할 수 있습니다. 수치 하락의 원인을 설명하기 전에 이벤트 이름을 먼저 확인하세요.

결론

활성화 이벤트를 선택하고, 활성화 기간을 고정하고, 코호트를 확정한 뒤, 분모와 함께 활성화율을 보고하세요. 이 네 가지 결정이 뒷받침될 때 비로소 사람들이 신뢰하고 행동을 취할 수 있는 수치가 만들어집니다.

백분율 수치 자체는 최종 결과물이 아닙니다. 채널별, 가입 주간별 세부 분석이야말로 다음 달에 예산을 어디에 집중해야 할지 알려주는 실질적인 지표입니다.

이러한 세분화 분석을 매번 다시 만드는 데 너무 많은 리소스가 소모된다면, 이벤트 내보내기 데이터를 활용해 Powerdrill Bloom을 사용해 보세요. 또한 제품 사용 데이터를 기능 채채 보고서로 변환하는 방법 가이드와 AI 보고서 생성기 페이지도 참고해 보시기 바랍니다.

자주 묻는 질문 (FAQ)

활성화율 계산 공식은 무엇인가요?

코호트 내 사용자 중 활성화 기간 내에 활성화 이벤트에 도달한 사용자의 수를 셉니다. 이 값을 코호트의 총 사용자 수로 나눈 다음 100을 곱합니다.

활성화 기간(window)은 어느 정도로 설정해야 하나요?

일반적인 사용자 행동 패턴을 포착할 수 있을 만큼 충분히 길면서도, 실질적인 조치를 취할 수 있을 만큼 짧아야 합니다. Mixpanel은 전환 기간의 기본값을 7일로 설정하며, 최대 366일까지 설정할 수 있도록 지원합니다.

어떤 이벤트를 활성화로 간주해야 하나요?

사용자의 재방문을 예측할 수 있는 가장 이른 단계의 행동입니다. 후보 이벤트들을 대상으로 해당 이벤트를 수행한 사용자가 실제로 다음 주에 다시 방문하는지 테스트해 보세요.

제가 계산한 수치가 분석 툴의 수치와 다른 이유는 무엇인가요?

대개 활성화 기간, 카운팅 방식, 또는 단계별 순서 설정의 차이 때문입니다. 이 세 가지 설정은 분석 툴 내부에서 적용되며, 내보낸 수치 결과에는 직접적으로 표시되지 않습니다.

활성화율이 100%를 초과할 수도 있나요?

코호트 기준이 깨진 경우에만 발생합니다. 이러한 결과는 이전 가입자의 활성화 수치가 이후 시점의 분모에 잘못 반영되어 계산되었음을 의미합니다.