실행을 이끌어내는 CSAT 보고서 작성 방법

두 팀이 같은 날 동일한 고객들을 대상으로 설문을 진행했습니다. 한 팀은 82%라고 보고했고, 다른 팀은 4.1이라고 보고했습니다.

둘 다 맞습니다. 한 팀은 백분율 방식을 사용했고 다른 팀은 점수를 평균 내었으며, 해당 지표를 정의하는 출처에서는 두 가지 방식 모두 허용하기 때문입니다.

이것이 보고서를 작성하기 전에 가장 먼저 정해야 할 사항입니다. 계산 공식은 선택의 문제이지 표준이 아닙니다.

이 가이드에서는 보고서에 반드시 포함되어야 할 내용과 두 가지 타당한 공식을 다룹니다. 그런 다음 척도와 타이밍이 조사 결과에 어떤 영향을 미치는지, 그리고 설문 내보내기 데이터를 활용해 보고서를 작성하는 방법을 알아봅니다.

CSAT 보고서에 반드시 포함되어야 할 내용

점수 자체는 한 줄에 불과합니다. 보고서는 그 점수를 실질적으로 활용할 수 있게 만들어 주는 도구입니다.

한 화면에 다음 여섯 가지 요소가 함께 표시되어야 합니다. 점수, 사용된 공식, 척도, 응답 수, 조사 대상 모집단, 그리고 트리거 시점입니다.

트리거는 대부분의 보고서에서 누락하는 항목입니다. 고객 지원 통화 직후에 수집된 점수와 제품을 소유한 지 30일 후에 수집된 점수는 이름만 같을 뿐 서로 다른 측정값입니다.

분포도 함께 추가하세요. 척도의 각 점수별 응답 수를 유지해야 합니다. 단일 수치로 축소해 버리면 데이터의 전반적인 형태를 영구적으로 잃게 되기 때문입니다.

응답 수는 생각보다 더 큰 비중을 차지합니다. 응답 수가 40개인 경우, 단 몇 명만 점수를 1점 움직여도 전체 점수가 몇 점씩 요동치게 됩니다.

두 가지 타당한 공식, 두 가지 다른 수치

Qualtrics는 자사의 CSAT 페이지에서 이 지표와 계산 방식을 정의하며, 두 가지 접근 방식을 모두 언급하고 있습니다.

백분율 방식은 해당 페이지에서 자세히 설명하는 방식입니다. "4점(만족)과 5점(매우 만족)의 응답을 사용"한 다음, 공개된 공식을 적용합니다.

공식은 다음과 같습니다. 만족한 고객 수를 전체 설문 응답 수로 나눈 뒤 100을 곱합니다.

상위 2개 항목(Top-Two) 규칙을 사용하는 데는 명확한 이유가 있습니다. 해당 페이지에서는 "피드백 설문조사에서 가장 높은 두 개의 값을 사용하는 것이 고객 유지율을 가장 정확하게 예측하는 방법"이라고 설명합니다.

평균 방식 역시 동일한 페이지에서 인정하고 있습니다. 점수는 "보통 백분율 척도로 더 자주 표현"되지만, 결과를 "평균 내어 종합 고객 만족도 점수를 산출할 수도 있습니다."

	백분율 방식	평균 방식
결과값	0% ~ 100%	설정한 척도 내의 수치
3점을 처리하는 방식	만족하지 않음	보통
민감하게 반응하는 부분	3점과 4점 경계 사이의 이동	모든 구간에서의 이동
공개된 벤치마크와의 비교 가능 여부	대체로 가능	거의 불가능

하나를 선택하여 보고서에 명시하세요. 이 두 방식은 서로 호환되지 않으며, 연도 중간에 방식을 바꾸는 팀은 스스로 트렌드 분석 데이터를 망치는 셈입니다.

관련 있는 다른 지표는 다른 규칙을 따릅니다. NPS는 두 백분율 계산에서 중간 그룹을 제외하는 반면, CSAT는 분모에 모든 응답자를 포함합니다. 이에 대한 비교는 NPS 보고서 작성 방법 가이드에서 다루고 있습니다.

척도 결정이 미치는 영향

Qualtrics는 CSAT를 '매우 불만족'부터 '매우 만족'까지의 5점 척도로 제시합니다.

표준 질문 문구도 공개되어 있습니다. 고객에게 "받으신 [제품/서비스]에 대한 전반적인 만족도를 어떻게 평가하십니까?"라고 묻는 방식입니다.

많은 도구들이 대신 7점 또는 10점 척도를 기본값으로 제공합니다. 이것이 잘못된 것은 아니지만, 산출 방식에는 변화가 생깁니다.

상위 2개 항목 규칙은 척도가 바뀌면 그대로 유지될 수 없습니다. 5개 중 2개 항목은 상위 40%에 해당하지만, 10개 중 2개 항목은 상위 20%에 불과하기 때문입니다.

따라서 동일한 고객 정서라 하더라도, 상위 2개 항목으로 점수를 매긴 10점 척도 설문조사는 5점 척도 설문조사보다 더 낮은 CSAT를 기록하게 됩니다. 이는 측정 방식의 왜곡일 뿐, 실제 고객의 신호가 아닙니다.

이에 따라 두 가지 규칙이 도출되며, 둘 다 쉽게 적용할 수 있습니다. 척도를 고정하고, 발표하는 모든 점수 옆에 이를 기록해 두는 것입니다.

척도를 반드시 변경해야 한다면, 이를 새로운 데이터 시리즈로 취급하세요. 변경 날짜를 기록하고 이전 데이터와의 비교를 중단해야 합니다.

질문하는 타이밍이 배움을 바꾼다

타이밍은 동일한 출처에서도 핵심적으로 다루는 설계상의 결정 사항입니다.

Qualtrics는 CSAT를 "지속적인 고객 관계보다는 특정 경험과 관련된" "바로 지금, 여기"의 지표로 설명합니다.

이 점이 질문이 유효한 타이밍을 결정합니다. 고객 센터 통화와 같은 개별적인 상호작용의 경우, 대화의 기억이 생생할 때 즉시 질문할 것을 권장합니다.

반면 장기간 사용하는 대상의 경우에는 조언이 정반대가 됩니다. 구독 서비스나 내구재의 경우, 고객이 이를 평가하기까지 며칠 또는 몇 주가 필요할 수 있습니다.

이에 따라 두 가지 실질적인 결과가 도출됩니다. 두 가지 유형의 접점을 하나로 혼합한 단일 CSAT는 무의미에 가까우며, 해결책은 트리거별로 보고서를 작성하는 것입니다.

해당 페이지는 질문 빈도에 대해서도 경고합니다. 재방문 고객에게 너무 자주 질문하는 것은 "그 자체로 문제를 야기할 수 있으며", 이는 데이터상에서 응답률 하락으로 나타납니다.

응답률 자체를 하나의 독립된 지표로 주시해야 합니다. 응답 수는 줄어드는데 점수가 오르는 것은 대개 개선이 아니라 생존 편향 때문입니다.

수동으로 작성하는 방법

옵션 1: 두 개의 카운트와 하나의 나눗셈

COUNTIFS를 사용하여 4점과 5점 응답 수를 세고, 평가 열에 COUNTA를 적용하여 전체 응답 수를 셉니다.

행 수가 아닌 평가 열에 COUNTA를 사용하는 것이 중요합니다. 빈 평가는 0점이 아니며, 이를 분모에 포함하면 점수가 깎이게 됩니다.

마지막에 한 번 나누고 두 카운트 값을 모두 표시해 두세요. 누구나 그 위의 두 셀을 보고 점수를 다시 계산해 볼 수 있어야 합니다.

이 방식의 한계는 특정 기간에 대한 단 하나의 점수만 얻을 수 있어, 어떤 접점이나 세그먼트가 변화했는지 파악할 수 없다는 점입니다.

옵션 2: 전체 분포 파악하기

척도의 모든 점수별로 응답 수를 유지한 다음, 동일한 테이블에서 백분율과 평균을 모두 도출합니다.

두 가지를 모두 보여주는 것은 일종의 정합성 검사(sanity check)로서 유용합니다. 만약 두 수치가 상반된 결과를 가리킨다면 데이터가 양봉 분포를 띠고 있는 것이며, 이 경우 단일 수치만 사용하면 어떤 방식을 택하든 왜곡된 결론에 도달하게 됩니다.

이제 보고서를 트리거별, 제품별, 채널별, 상담사별 또는 고객 유지 기간(tenure)별로 세분화하여 분석할 수 있습니다.

유의미한 발견은 대개 이렇게 세분화된 데이터 속에 있습니다. 겉보기에는 건강해 보이는 통합 점수 뒤에, 다른 채널보다 무려 1점이나 낮은 특정 채널이 숨겨져 있을 수 있습니다.

한계는 데이터 결합(join)과 용량입니다. 설문 응답을 계정이나 티켓 데이터와 매칭하는 작업은 일반적인 수식으로 처리하기에는 한계가 있습니다.

옵션 3: 정의 탭 만들기

공식, 척도, 질문 문구, 트리거, 모집단을 기록해 둡니다.

질문 문구가 이 목록에 포함되어야 하는 데는 이유가 있습니다. 질문의 문구가 바뀌면 점수도 달라지며, 이는 고객 정서의 변화로 오해받을 수 있습니다.

제외 대상도 기록하세요. 내부 테스터, 중복 제출, 유효 범위를 벗어난 응답 등은 각각 어떻게 처리할지 명시해야 합니다.

한계는 우리에게 익숙한 문제입니다. 규칙을 적어둔다고 해서 자동으로 적용되는 것은 아니며, 다음 주기에도 누군가는 똑같은 필터를 다시 만들고 있을 것입니다.

공통의 한계. 세 가지 옵션 모두 내보낸 데이터에 트리거 또는 설문 식별자가 포함되어 있다고 가정합니다. 이것이 없다면 혼합된 점수를 원래의 개별 경험 데이터로 다시 분리할 수 없습니다.

수동 방식의 한계와 비효율성

첫 번째 보고서를 작성하는 데는 한 시간이 걸립니다. 하지만 네 번째 보고서는 더 오래 걸립니다. 그 사이에 세 가지 요소가 바뀌었기 때문입니다.

설문 도구 개편 과정에서 척도가 변경되었는데, 아무도 점수 변화의 원인이 설문 양식 변경에 있다는 것을 알아채지 못합니다.

조사 대상 모집단이 소리 없이 확장됩니다. 최근 구매자가 아닌 모든 연락처로 설문조사를 보내면, 최근에 평가할 만한 경험이 없는 사람들까지 포함되게 됩니다.

그러고 나면 벤치마크가 인용되기 시작합니다. Qualtrics는 CSAT 벤치마킹이 "정밀한 과학이 아니다"라고 언급하며, 업계 수치로 ACSI를 제시하면서도 모든 비즈니스와 제품은 서로 다르다는 점을 강조합니다.

이보다 더 유용한 조언은 간단합니다. 점수가 낮음에서 높음으로 이동하고 있다면, 무언가 올바르게 하고 있는 것입니다.

마감 직전에 발생하는 네 번째 비용도 있습니다. 누군가 82%가 좋은 점수인지 물어볼 때, 이에 답하려면 준비하지 않은 트렌드 분석, 트리거별 세분화 데이터, 응답 수 등이 필요하게 됩니다.

도구 측면의 정리는 설문 데이터 분석을 위한 최고의 AI 소프트웨어에서 확인할 수 있습니다.

Powerdrill Bloom으로 보고서 작성하기

1단계: 설문 내보내기 파일 업로드하기

설문 도구에서 내보낸 응답 파일을 바로 업로드하세요. Powerdrill Bloom은 업로드 즉시 열 데이터를 분석하므로, 점수가 계산되기 전에 빈 평가, 범위를 벗어난 값, 중복된 응답자 식별자 등을 미리 파악할 수 있습니다.

2단계: 자연어로 보고서 설명하기

규칙을 직접 설정하는 대신 말로 설명해 보세요. 평가 열, 척도, 공식, 기간, 모집단, 트리거 필드의 이름을 지정하기만 하면 됩니다.

그런 다음 오류를 잡아낼 수 있는 질문을 던져보세요. 빈 응답이나 척도를 벗어난 응답이 몇 개인지 물어보세요. 동일한 데이터에서 백분율과 평균을 모두 구해달라고 요청해 보세요. 그런 다음 트리거별, 세그먼트별로 점수를 세분화해 달라고 요청해 보세요.

3단계: 차트, 보고서 또는 슬라이드 덱 내보내기

전체 분포가 포함된 점수, 기간별 트렌드, 또는 수치 옆에 공식과 응답 수가 함께 표시된 슬라이드를 내보낼 수 있습니다.

흔히 하는 실수들

공식을 명시하지 않음. 백분율과 평균은 둘 다 타당한 방식이지만 서로 비교할 수 없습니다. 어떤 방식을 사용했는지 명확히 표시하세요.

시리즈 중간에 척도를 변경함. 5점 척도와 10점 척도 설문조사는 동일한 고객 정서에 대해 서로 다른 점수를 생성합니다. 변경 사항은 새로운 시리즈로 취급하세요.

빈 응답을 0점으로 처리함. 무응답이 불만족을 의미하는 것은 아닙니다. 분자와 분모 모두에서 빈 응답을 제외하세요.

트리거 시점을 혼합함. 통화 직후 점수와 30일 후 점수는 서로 다른 것을 측정합니다. 따로 보고하세요.

응답 수 없이 점수만 보고함. 표본 크기가 작으면 점수가 크게 요동칩니다. 항상 점수 옆에 응답 수를 함께 표시하세요.

응답 수가 감소하는데 점수가 상승하는 것을 개선으로 해석함. 이러한 패턴은 대개 생존 편향입니다. 응답률을 함께 추적하세요.

다른 업계의 벤치마크를 목표로 인용함. 이 분야에서 벤치마킹은 정밀한 과학이 아닙니다. 자체적인 트렌드를 기준으로 삼으세요.

결론

공식을 선택하고, 척도와 문구를 고정하며, 트리거별로 보고하고, 응답 수 및 분포와 함께 점수를 발표하세요.

점수 자체가 최종 결과물은 아닙니다. 다른 항목보다 유독 처져 있는 트리거 나 세그먼트야말로 다음 달에 어디에 리소스를 집중해야 할지 알려주는 나침반입니다.

매 주기마다 이러한 뷰를 구성하느라 일주일을 다 허비하고 있다면, 설문 내보내기 파일에 Powerdrill Bloom을 사용해 보세요. 또한 복잡한 설문 데이터를 명확한 차트로 변환하는 방법 가이드와 voice of customer summarizer 및 CSV AI assistant 페이지도 참고해 보세요.

자주 묻는 질문

CSAT는 어떻게 계산하나요?

일반적인 방법은 4점과 5점 응답 수를 전체 응답 수로 나눈 다음 100을 곱하는 것입니다. 원시 점수를 평균 내는 방식도 허용되지만, 이 경우 다른 수치가 나옵니다.

왜 상위 2개 응답만 사용하나요?

Qualtrics는 가장 높은 두 개의 값을 사용하는 것이 고객 유지율을 가장 정확하게 예측하는 방법이라고 설명합니다. 또한 결과를 백분율로 쉽게 읽을 수 있게 해줍니다.

CSAT 설문조사에는 어떤 척도를 사용해야 하나요?

'매우 불만족'부터 '매우 만족'까지의 5점 척도가 널리 알려진 표준입니다. 척도를 고정하고 기록해 두기만 한다면 더 긴 척도를 사용해도 무방합니다.

설문조사는 언제 발송해야 하나요?

개별적인 상호작용 직후에 발송하거나, 장기간 사용하는 제품의 경우 며칠 또는 몇 주 후에 발송하는 것이 좋습니다. CSAT는 전반적인 관계보다는 특정 경험을 측정합니다.

CSAT는 NPS와 같나요?

아닙니다. CSAT는 분모에 모든 응답자를 포함하는 반면, NPS는 추천 고객(promoter) 백분율에서 비추천 고객(detractor) 백분율을 빼고 두 백분율 계산에서 중간 그룹을 제외합니다.