Как создать CSAT-отчет, который побуждает к действию

Две команды опрашивают одних и тех же клиентов в один и тот же день. Одна сообщает о 82%, другая — о 4.1.

Обе правы. Одна использовала метод процентов, а другая усреднила оценки, и первоисточник, определяющий эту метрику, допускает оба варианта.

Это первое, с чем нужно определиться перед составлением отчета. Формула — это выбор, а не жесткий стандарт.

В этом руководстве рассказывается о том, что должен содержать отчет, и о двух допустимых формулах. Затем мы разберем, почему шкала и время проведения опроса определяют получаемые выводы, и как сформировать отчет на основе выгрузки результатов опроса.

Что должен содержать отчет CSAT

Сама оценка — это всего лишь одна строка. Отчет — это то, что делает ее полезной.

На одном экране должны быть представлены шесть элементов: сама оценка, используемая формула, шкала, количество ответов, целевая аудитория опроса и триггерное событие.

Триггер — это то, что упускается в большинстве отчетов. Оценка, полученная сразу после звонка в службу поддержки, и оценка, полученная через 30 дней владения продуктом, — это разные показатели с одинаковым названием.

Добавьте также распределение оценок. Сохраняйте количество ответов по каждой точке шкалы, так как сведение всего к одной цифре безвозвратно стирает общую картину.

Количество ответов имеет гораздо большее значение, чем принято думать. При 40 ответах изменение мнения всего нескольких человек на один балл может сдвинуть итоговую оценку на несколько пунктов.

Две легитимные формулы — два разных числа

Qualtrics определяет эту метрику и метод ее расчета на своей странице CSAT, приводя оба подхода.

Метод процентов — это тот, который подробно разбирается на сайте. Вы «используете ответы 4 (удовлетворен) и 5 (очень удовлетворен)», а затем применяете опубликованную формулу.

Формула выглядит следующим образом: количество удовлетворенных клиентов, деленное на общее количество ответов на опрос, умноженное на 100.

Для правила «двух высших оценок» есть веское обоснование. На странице отмечается, что «использование двух наивысших значений в опросах обратной связи является наиболее точным предиктором удержания клиентов».

Метод усреднения также упоминается на той же странице. Результаты «могут быть усреднены для получения совокупного показателя удовлетворенности клиентов», хотя оценки «обычно выражаются в процентах».

	Метод процентов	Метод усреднения
Результат	от 0% до 100%	Число по вашей шкале
Оценка 3 трактуется как	Не удовлетворен	Средне
Чувствительность к	Переходу через границу между 3 и 4	Любым изменениям оценок
Сопоставимость с опубликованными бенчмарками	Обычно да	Редко

Выберите один метод и зафиксируйте его в отчете. Эти два показателя нельзя конвертировать один в другой, и команда, сменившая метод в середине года, просто разрушит собственную динамику тренда.

Схожая метрика подчиняется другому правилу. NPS исключает среднюю группу из обоих процентов, в то время как CSAT сохраняет всех респондентов в знаменателе. В нашем руководстве по созданию отчета NPS подробно рассматривается это сравнение.

В чем коварство выбора шкалы

Qualtrics представляет CSAT по пятибалльной шкале, от «очень неудовлетворен» до «очень удовлетворен».

Стандартная формулировка вопроса также опубликована. В ней клиента просят «оценить общую удовлетворенность полученными [товарами/услугами]».

Многие инструменты по умолчанию предлагают семи- или десятибалльную шкалу. Это не ошибка, но это меняет всю арифметику.

Правило «двух высших оценок» не работает одинаково при изменении шкалы. Две верхние оценки из пяти — это верхние 40% шкалы, тогда как две из десяти — это лишь верхние 20%.

Таким образом, десятибалльный опрос, оцениваемый по двум высшим баллам, покажет более низкий CSAT, чем пятибалльный, при абсолютно одинаковом отношении клиентов. Это погрешность измерения, а не реальный сигнал от клиентов.

Отсюда следуют два простых правила, внедрение которых ничего не стоит: зафиксируйте шкалу и указывайте ее рядом с каждым публикуемым показателем.

Если вам все же необходимо изменить шкалу, относитесь к новым данным как к новому ряду показателей. Зафиксируйте дату изменений и прекратите сравнивать новые данные со старыми.

Время проведения опроса меняет суть выводов

Время отправки опроса — это ключевое проектное решение, которое тот же первоисточник считает центральным.

Qualtrics описывает CSAT как метрику «здесь и сейчас», которая «относится к конкретному опыту взаимодействия, а не к долгосрочным отношениям с клиентом».

Это определяет, когда именно вопрос имеет смысл. Для разовых взаимодействий, таких как звонок в контакт-центр, рекомендуется проводить опрос незамедлительно, пока воспоминания еще свежи.

Для продуктов длительного использования совет будет противоположным. В случае с подпиской или товаром длительного пользования могут потребоваться дни или недели, прежде чем клиент сможет дать им оценку.

Из этого вытекают два практических следствия. Единый смешанный показатель CSAT для обоих типов точек контакта практически лишен смысла; решение проблемы — разделение отчетов по триггерам.

На странице также содержится предупреждение о частоте опросов. Слишком частые опросы постоянных клиентов «могут создать дополнительные проблемы», что отразится на ваших данных в виде снижения процента ответов.

Следите за долей ответивших как за самостоятельной метрикой. Рост оценки на фоне падения количества ответов — это обычно «систематическая ошибка выжившего», а не реальное улучшение.

Как сделать это вручную

Вариант 1: Два подсчета и одно деление

Подсчитайте количество ответов с оценками 4 и 5 с помощью функции COUNTIFS, а затем подсчитайте общее количество ответов с помощью COUNTA по столбцу с оценками.

Важно использовать COUNTA именно для столбца оценок, а не просто считать количество строк. Пустые значения — это не нули, и их попадание в знаменатель искусственно занизит итоговый балл.

В самом конце выполните деление и оставьте оба промежуточных значения на виду. Любой человек должен иметь возможность перепроверить вашу цифру на основе двух ячеек над ней.

Главное ограничение этого подхода в том, что вы получаете одну общую оценку за период, не видя, какая именно точка контакта или сегмент повлияли на изменения.

Вариант 2: Полное распределение

Ведите учет количества ответов по каждой точке шкалы, а затем вычисляйте и процент, и среднее значение на основе одной таблицы.

Показ обоих вариантов полезен хотя бы раз в качестве проверки на адекватность. Если они показывают противоположную динамику, у вас бимодальное распределение, и любая единая цифра будет вводить в заблуждение, какой бы метод вы ни выбрали.

Теперь отчет можно детализировать: по триггеру, продукту, каналу, агенту или «стажу» клиента.

Самые важные инсайты обычно кроются в деталях. За отличным общим показателем часто скрывается один канал, который отстает от остальных на целый балл.

Ограничением здесь выступают объединение данных и их объем. Сопоставление ответов на опросы с данными учетных записей или тикетов — это уровень сложности, на котором обычные формулы перестают быть удобными.

Вариант 3: Вкладка с определениями

Зафиксируйте формулу, шкалу, формулировку вопроса, триггер и целевую аудиторию.

Формулировка вопроса находится в этом списке не просто так. Изменение формулировки вопроса приводит к изменению оценки, что может быть ошибочно истолковано как изменение отношения клиентов.

Зафиксируйте также правила исключения данных. Внутренние тестировщики, дубликаты ответов и оценки вне допустимого диапазона — для каждого случая должен быть прописан свой сценарий обработки.

Ограничение здесь вполне очевидно: сама по себе запись правила не означает его автоматического применения, и в следующем цикле кому-то придется заново настраивать те же фильтры.

Общий предел возможностей. Все три варианта предполагают, что выгрузка содержит идентификатор триггера или опроса. Без него смешанную оценку невозможно разделить обратно на составляющие ее клиентские сценарии.

В каких случаях ручной подход начинает буксовать

Подготовка первого отчета занимает час. Четвертый займет больше времени, потому что изменятся сразу три параметра.

Инструмент опроса меняет шкалу в ходе редизайна, и никто не связывает изменение оценки с изменением самой формы.

Аудитория незаметно расширяется. Опрос, разосланный всем контактам, а не только недавним покупателям, привлекает людей, которым просто нечего оценивать за последнее время.

Затем начинают приводиться бенчмарки. Qualtrics отмечает, что бенчмаркинг CSAT — «не точная наука», указывая на ACSI для получения отраслевых показателей, но подчеркивая при этом, что каждый бизнес и продукт уникальны.

Их более полезный совет звучит проще: если ваш показатель растет, значит, вы все делаете правильно.

Есть и четвертая проблема, которая возникает в условиях дедлайна. Кто-то спрашивает, хорош ли показатель в 82%, а для ответа требуются тренд, разбивка по триггерам и количество ответов, которые вы не подготовили.

Обзор инструментов представлен в нашей статье AI software for survey data analysis.

Как построить отчет с помощью Powerdrill Bloom

Шаг 1: Загрузите выгрузку опроса

Загрузите файл экспорта ответов напрямую из вашего инструмента опросов. Powerdrill Bloom анализирует столбцы при загрузке, поэтому пустые оценки, значения вне диапазона и дубликаты идентификаторов респондентов выявляются еще до расчета каких-либо показателей.

Шаг 2: Опишите отчет на естественном языке

Сформулируйте правила текстом вместо того, чтобы настраивать их вручную. Укажите столбец с оценками, шкалу, формулу, период, аудиторию и поле триггера.

Затем задайте вопросы, которые помогают выявить ошибки. Спросите, сколько ответов оказались пустыми или вышли за пределы шкалы. Запросите расчет и в процентах, и в виде среднего значения на основе одних и тех же данных. Затем попросите разбить оценку по триггерам и сегментам.

Шаг 3: Экспортируйте диаграмму, отчет или презентацию

Выгрузите итоговую оценку с полным распределением, тренд по периодам или слайды, содержащие формулу и количество ответов рядом с итоговой цифрой.

Распространенные ошибки

Неуказание формулы. Процентный метод и метод усреднения легитимны, но несопоставимы. Обязательно указывайте, какой именно метод вы использовали.

Изменение шкалы в середине временного ряда. Пятибалльный и десятибалльный опросы дают разные результаты при одинаковом отношении клиентов. Относитесь к изменению шкалы как к новому ряду данных.

Учет пустых ответов как нулей. Отсутствие ответа — это не признак неудовлетворенности. Исключайте пустые значения как из числителя, так и из знаменателя.

Смешивание разных триггерных точек. Оценки после звонка и оценки после 30 дней использования измеряют разные вещи. Отражайте их в отчетах раздельно.

Предоставление оценки без указания количества ответов. Малые выборки подвержены сильным колебаниям. Всегда указывайте количество ответов рядом с итоговым показателем.

Интерпретация роста оценки при падении числа ответов как улучшения. Такая динамика обычно указывает на «ошибку выжившего». Отслеживайте долю ответивших параллельно.

Использование бенчмарков других отраслей в качестве целевых ориентиров. Бенчмаркинг в этой сфере — не точная наука. Используйте собственный исторический тренд в качестве ориентира.

Заключение

Выберите формулу, зафиксируйте шкалу и формулировку вопроса, разделяйте отчеты по триггерам и публикуйте оценку вместе с количеством ответов и их распределением.

Сама оценка — это не конечный результат. Именно триггер или сегмент, показатели которого отстают от остальных, подсказывают вам, на что направить усилия в следующем месяце.

Если сборка такого отчета в каждом цикле отнимает у вас целую неделю, попробуйте Powerdrill Bloom для обработки выгрузки вашего опроса. См. также наше руководство по превращению хаотичных данных опросов в понятные диаграммы, а также страницы voice of customer summarizer и CSV AI assistant.

Часто задаваемые вопросы

Как рассчитывается CSAT?

Стандартный метод делит количество ответов с оценками 4 и 5 на общее количество ответов, а затем умножает результат на 100. Усреднение исходных оценок также допускается и дает другое число.

Почему используются только две высшие оценки?

Qualtrics отмечает, что использование двух наивысших значений является наиболее точным предиктором удержания клиентов. Это также позволяет представить результат в виде понятного процента.

Какую шкалу следует использовать в опросе CSAT?

Пятибалльная шкала от «очень неудовлетворен» до «очень удовлетворен» является общепринятым стандартом. Более длинные шкалы тоже работают, при условии, что вы зафиксируете шкалу и будете указывать ее в отчетах.

Когда следует отправлять опрос?

Сразу после разовых взаимодействий, и через несколько дней или недель для продуктов длительного использования. CSAT измеряет конкретный опыт взаимодействия, а не общие взаимоотношения в целом.

CSAT — это то же самое, что и NPS?

Нет. CSAT сохраняет каждого респондента в знаменателе, в то время как NPS вычитает процент критиков из процента сторонников и исключает среднюю группу из обоих показателей.