프레젠테이션에서 데이터 질문에 답변하는 방법 (추측 없이)
차트에 대해 받는 거의 모든 질문은 세 가지 유형으로 분류됩니다. 이 숫자가 의미하는 바는 무엇인가, 그 이면에는 무엇이 있는가, 그리고 다른 요인으로 설명할 수 있는가입니다. 각 유형에 맞춰 답변을 하나씩 준비해 두면 회의실의 질문 대부분을 매끄럽게 해결할 수 있습니다.
대답에 실패하는 이유는 무지해서가 아닙니다. 발표 자료(deck)에는 결론만 담겨 있는 반면, 질문은 그 아래 단계의 레이어에 관한 것이고, 그 레이어에 대한 검토는 이미 몇 시간 전에 끝났기 때문입니다.
이 가이드에서는 실시간 질문이 어려운 이유, 사람들이 준비하는 세 가지 방법, 그리고 준비만으로는 부족해지는 지점에 대해 다룹니다.
데이터 질문에 실시간으로 답변하기 어려운 이유
슬라이드는 압축본입니다. 오후 내내 어떤 관점(cut)이 중요한지 고민한 끝에 그 결과만을 보여주는 것입니다. 그 추론 과정은 여러분의 머릿속이나 노트북의 파일 안에만 남아 있습니다.
질문은 이 압축된 레이어를 향해 들어옵니다. 누군가는 거기에 체험판(trials)이 포함되어 있는지 묻거나, 엔터프라이즈 전용 차트는 어떻게 보이는지, 혹은 하락세가 단순히 계절성 때문인지 묻습니다. 질문 하나하나가 이미 정리해 둔 무언가를 다시 압축 해제하라고 요구하는 셈입니다.
타이밍은 상황을 더 악화시킵니다. 청중이 지켜보는 가운데 주어지는 시간은 단 몇 초뿐이며, 사람들이 기다리는 동안 분석을 다시 실행할 방법은 없습니다.
사회적 함정도 존재합니다. "잘 모르겠습니다"라고 한 번 말하는 것은 괜찮고 솔직해 보입니다. 하지만 세 번 말하면 준비가 안 된 것처럼 보입니다. 결국 사람들은 소리 내어 짐작하기 시작하고, 틀린 것으로 밝혀진 짐작은 잠시 침묵하는 것보다 더 큰 대가를 치르게 됩니다.
사람들이 이를 과소평가하는 네 번째 이유가 있습니다. 데이터 질문은 사실 차트 자체에 대한 것이 아닙니다. 발표자가 자신의 숫자를 제대로 이해하고 있는지에 대한 것입니다. 청중은 분석 결과만큼이나 분석가를 테스트하고 있는 것입니다.
이로 인해 치르게 되는 대가
의사결정이 미뤄집니다. 가장 흔한 결과는 이견이 아닙니다. "그 숫자를 확인하고 다시 이야기합시다"가 되어, 결론을 내릴 수 있었던 회의를 또 다른 회의로 만들어 버립니다.
다른 숫자들의 신뢰도까지 떨어집니다. 단 한 번의 불안정한 답변이 회의실에 있는 사람들이 나머지 발표 자료(deck)를 바라보는 시선을 바꾸어 놓으며, 여기에는 탄탄했던 부분까지 포함됩니다.
계획에 없던 후속 작업(follow-up)을 떠안게 됩니다. 즉흥적인 약속은 모두 업무가 됩니다. 질문 세 개가 서면으로 요청한 적도 없는 하루 치의 업무를 만들어낼 수 있습니다.
이 세 가지 대가는 서로 연결되어 있습니다. 미뤄진 의사결정은 후속 작업을 낳고, 그 후속 작업은 원래 회의 때보다 낮아진 신뢰도를 안고 시작하게 됩니다.
사람들이 시도하는 임시방편들
아래의 세 가지 접근 방식은 모두 동일한 문제를 해결하고자 합니다. 즉, 데이터 질문을 실시간 즉흥 연주가 아니라 이미 적어둔 답변으로 바꾸는 것입니다.
옵션 1: 세 가지 질문 유형에 대해 사전 분석(Pre-mortem)하기
회의 전에 보여줄 모든 차트에 대해 각 질문 유형별로 답변을 작성해 두세요.
정의의 경우, 지표에 정확히 무엇이 포함되고 제외되는지 적어두세요. 깊이의 경우, 그 아래 단계의 수준을 파악해 두세요. 어떤 세그먼트, 어떤 계정, 어떤 주차가 그 숫자를 구성하는지 알아야 합니다. 대안적 설명의 경우, 회의론자가 제기할 만한 경쟁력 있는 가설 하나를 꼽아보고 이를 검증했는지 여부를 밝히세요.
이는 가장 가치 있으면서도 비용이 적게 드는 준비 방법입니다. 한계는 커버리지입니다. 어떤 관점(cut)의 질문이 나올지 추측해야 하므로 일부는 놓칠 수밖에 없습니다.
옵션 2: 한 페이지짜리 정의 및 가정 시트 준비하기
모든 지표 정의, 필터, 제외 기준을 옆에 있는 한 페이지에 정리해 두세요. 날짜 범위, 통화, 환불의 순액 처리 여부, 어떤 레코드가 왜 누락되었는지 등을 포함합니다.
시트에서 정의를 읽는 것이 기억을 더듬어 재구성하는 것보다 빠르고 신뢰성이 높습니다. 또한 한 회의에서 동일한 질문에 대해 서로 다르게 답변하는 실수를 방지해 줍니다.
한계는 정의 시트가 첫 번째 질문 유형에는 잘 대답하지만, 나머지 두 유형에는 거의 도움이 되지 않는다는 점입니다.
옵션 3: 그 아래 단계의 레이어 가져오기
각 차트의 배후에 있는 세부 정보(테이블, 피벗, 로우 레벨 추출 데이터)를 다른 창에 열어두세요. 누군가 숫자 안에 무엇이 들어있는지 물으면, 설명하는 대신 직접 보여주는 것입니다.
제대로만 된다면 이것이 가장 강력한 옵션입니다. 질문을 데이터를 함께 살펴보는 기회로 전환하기 때문입니다. 월간 비즈니스 리뷰 덱(deck) 구축 방법 가이드에서는 슬라이드와 함께 이러한 자료를 구성하는 방법을 다룹니다.
얼마나 깊이 들어갈지 미리 결정하세요. 보통 차트보다 한 단계 아래 수준이면 충분하며, 두 단계 아래로 내려가면 회의가 디버깅 세션으로 변질됩니다.
단점은 준비 시간이며, 이 역시 예상한 관점(cut)만 커버할 수 있다는 점입니다. 완전히 새로운 질문에는 새로운 분석이 필요하며, 이것이 세 가지 옵션 모두가 부딪히는 벽입니다.
공통의 한계. 위의 모든 방법은 질문을 예측하는 데 의존합니다. 예측은 다섯 질문 중 네 개 정도에는 통하지만, 의사결정을 좌우하는 것은 대개 다섯 번째 질문입니다.
Powerdrill Bloom으로 데이터 질문에 대비하는 방법
1단계: 데이터 업로드하기
요약본이 아니라 발표 자료(deck)를 만드는 데 사용된 원본 파일을 업로드하세요. Powerdrill Bloom은 파일이 업로드되는 즉시 열(column)을 분석하므로, 질문을 받을 만한 정의들을 기억에 의존하지 않고 눈으로 직접 확인할 수 있습니다.
2단계: 예상 질문을 자연어로 물어보기
회의실에 들어가기 전에 스스로의 결론에 질문을 던져보세요. 체험판(trials)을 제외했을 때 동일한 차트가 어떻게 보이는지, 어떤 세그먼트가 전체 수치를 견인하는지 물어보세요. 그런 다음 작년 동기에도 동일한 패턴이 유지되었는지 물어보세요.
답변을 적어두세요. 데이터 질문에 대해 연습된 답변은 즉흥적인 답변과 느낌이 다르기 때문입니다.
then ask the sceptic's question directly. Ask what alternative explanation the data is compatible with, and what would have to be true for the opposite conclusion to hold.
3단계: 차트, 보고서 또는 덱(deck) 내보내기
백업 차트, 정의 및 주의 사항을 간략히 적은 메모, 또는 부록(appendix)용 추가 슬라이드를 꺼내어 활용하세요.
이것이 회의실에서 짐작하는 것보다 나은 이유
| 수동 준비 | Powerdrill Bloom | |
|---|---|---|
| 예상되는 관점(cut) | 각각 수동으로 빌드 | 한 번에 여러 개 질문 |
| 예상치 못한 관점(cut) | 후속 작업 약속 | 동일한 파일에 대해 실시간으로 질문 |
| 지표 정의 | 별도 시트로 관리 | 분석된 데이터에서 바로 확인 가능 |
| 다음 달 발표 자료(deck) | 준비 과정 반복 | 새로 내보낸 파일 업로드 |
세 번째 행은 보기보다 중요합니다. 정의에 대한 논쟁은 잘못된 숫자보다 더 빠르게 회의를 끝내버릴 수 있기 때문입니다.
두 번째 행은 회의의 판도를 바꾸는 부분입니다. 새로운 질문에 대한 대답이 후속 이메일 대신 단 한 문장으로 해결될 때, 모두가 회의실에 있는 동안 의사결정이 이루어집니다.
흔히 하는 실수들
소리 내어 짐작하기. 어설프게 기억하는 숫자는 나중에 그대로 부메랑이 되어 돌아옵니다. 확인해 보겠다고 말하고, 적어둔 뒤 넘어가세요.
이해하지 못한 질문에 답변하기. 답변하기 전에 상대방이 말한 용어의 의미가 무엇인지 물어보세요. "활성 사용자(active user)"라는 용어를 서로 다르게 사용하는 두 사람은 결국 둘 다 잘못된 결론을 안고 회의실을 나서게 됩니다.
기록하는 대신 방어하기. 지적이 타당하다면, 이를 인정하는 것이 억지로 수습하려는 것보다 더 많은 신뢰를 얻을 수 있습니다. 기록해 두고 계속 진행하세요.
질문이 나올 때까지 주의 사항 숨기기. 차트를 보여줄 때 제외 기준을 미리 밝히세요. 자발적으로 밝힌 주의 사항은 철저함으로 비춰지지만, 질문을 통해 드러난 주의 사항은 은폐로 비춰집니다.
지도 없이 원본 파일 가져오기. 청중 앞에서 제대로 다루지도 못할 스프레드시트를 여는 것은 아예 없는 것보다 못합니다. 답변이 어디에 있는지 정확히 파악해 두세요.
데이터 질문을 공격으로 받아들이기. 대부분은 진심으로 이해하려는 시도입니다. 방어적으로 답변하면 호기심 가득했던 회의실 분위기가 회의적인 분위기로 바뀝니다.
이행하지 못할 후속 작업 약속하기. 무심코 한 세 번의 약속이 하루 치 업무가 됩니다. 하나만 확실히 약속하고, 나머지는 범위 검토가 필요하다고 말하세요.
결론
차트에 대한 질문은 세 가지 유형으로 나뉘며, 각각 준비 방법이 다릅니다. 정의를 적어두고, 그 아래 단계의 레이어를 파악하며, 다른 사람이 제기하기 전에 대안적 설명을 먼저 언급하세요.
사전에 세 가지 질문 유형을 소리 내어 한 번 연습해 보세요. 데이터 질문을 리허설하는 것이 아무 준비 없이 현장에서 맞닥뜨리는 것보다 비용이 적게 듭니다.
준비만으로 커버할 수 없는 것은 아무도 예측하지 못한 질문이며, 대개 그것이 가장 중요한 질문입니다. 후속 작업을 약속하는 대신 실시간으로 답변하고 싶다면, 다음 발표 자료(deck)의 기반이 되는 파일에 Powerdrill Bloom을 사용해 보세요. 데이터 스토리텔링 방법 및 CSV를 차트로 변환하는 방법 가이드와 auto insights 페이지도 함께 확인해 보세요.
자주 묻는 질문
프레젠테이션에서 데이터 질문에 어떻게 대비해야 하나요?
모든 차트에 대해 세 가지 답변을 작성해 두세요. 지표에 포함되는 내용, 그 다음 단계의 세부 정보가 보여주는 것, 그리고 배제한 대안적 설명이 무엇인지입니다. 이 세 가지만 준비하면 질문의 대부분을 커버할 수 있습니다.
숫자를 모를 때는 어떻게 말해야 하나요?
확인해 보겠다고 말하고 질문을 적어두세요. 소리 내어 짐작하면 나중에 그대로 인용될 숫자를 만들게 되며, 잘못된 숫자는 잠시 침묵하는 것보다 더 큰 대가를 치르게 됩니다.
주의 사항을 슬라이드에 표시해야 하나요, 아니면 질문이 나올 때까지 기다려야 하나요?
슬라이드에 해당 숫자가 영향을 받는 위치 옆에 표시해 두세요. 명시된 제외 기준은 철저함으로 비춰지지만, 질문을 받는 과정에서 드러난 제외 기준은 피하고 싶었던 사실을 들킨 것처럼 비춰집니다.
백업 세부 정보는 얼마나 많이 준비해야 하나요?
발표하는 모든 차트의 한 단계 아래 수준을 보여줄 수 있을 정도면 충분하며, 그 이상은 필요 없습니다. 양이 중요한 것이 아니라, 답변을 얼마나 빨리 찾을 수 있는지가 중요합니다.
누군가 제 방법론에 이의를 제기하면 어떻게 해야 하나요?
지적이 타당하다면 솔직하게 인정하고, 기록한 뒤 계속 진행하세요. 실시간으로 방법론을 방어하려 애쓰는 것은 타당한 비판을 수용하는 것보다 대개 더 많은 신뢰를 잃게 만듭니다.