Манипулирование результатами: как предотвратить саботаж опросов

Содержание:

• Что такое игровые опросы?
• Понимание игровых опросов и лежащих в их основе механизмов.
• Влияние игровых опросов на бизнес и доверие
• Стратегии борьбы с манипуляциями при проведении опросов
• Практические шаги для организаций: победа в борьбе с фальсификацией результатов опросов.

Что такое игровые опросы?

Задумывались ли вы когда-нибудь о том, как организации действительно обеспечивают исключительное качество обслуживания клиентов? Они часто в значительной степени полагаются на инструменты обратной связи, такие как Net Promoter Score® (NPS)*, Customer Satisfaction (CSAT) и Customer Effort Score (CES), для измерения эффективности и определения направлений улучшения. Эти показатели, если они точны и собраны честно, предоставляют полезную информацию о том, насколько хорошо бизнес соответствует ожиданиям клиентов. Однако существует все более распространенная угроза, которая может подорвать целостность этих показателей: манипулирование результатами опросов .

Манипулирование результатами опросов — это манипуляция или вмешательство в сбор отзывов клиентов со стороны сотрудников или внутренних заинтересованных сторон с целью искусственного завышения оценок эффективности. Это может быть что угодно: от вмешательства сотрудников (например, просьба поставить 5 звезд) до недостаточной тщательности в сборе отзывов (например, автомат с улыбающимися лицами в туалете, где не контролируется, кто и сколько раз нажимает кнопки).

Исторический пример хорошо это иллюстрирует. В Индии правительство начало кампанию по сокращению популяции кобр, предлагая вознаграждение за каждую убитую кобру. Первоначально программа работала, но вскоре люди начали разводить кобр исключительно для того, чтобы убивать их и получать вознаграждение. После того, как схема была раскрыта, правительство отменило вознаграждение.

В ответ заводчики выпустили своих теперь уже ничего не стоящих кобр, что привело к увеличению их популяции. Это непредвиденное последствие, известное теперь как «эффект кобры ^» , демонстрирует, что происходит, когда системы поощрения производительности разработаны плохо — система используется не по назначению, и проблема усугубляется.

В контексте измерения качества обслуживания клиентов могут применяться те же принципы. Независимо от того, обусловлены ли они системами поощрения, давлением на производительность или даже благими намерениями защитить репутацию команды, манипулирование результатами опросов искажает реальность, подрывает доверие к данным и препятствует достижению целей этих программ. Это приводит к тому, что организации действуют «вслепую», что может повлечь за собой нецелевые инвестиции и неудачные попытки улучшения качества обслуживания – в конечном итоге, это принесет больше вреда, чем пользы.

Цель этой статьи — привлечь внимание к широко распространенной проблеме манипулирования результатами опросов, показав, как это влияет на бизнес и клиентов. Что еще важнее, это призыв к действию: мы предлагаем практические рекомендации и четкие советы о том, как мы можем решить эту проблему и раскрыть потенциал честной обратной связи от клиентов .

Понимание игровых опросов и лежащих в их основе механизмов.

Манипулирование результатами опросов происходит, когда сотрудники преднамеренно или непреднамеренно влияют на отзывы клиентов таким образом, что это приводит к предвзятым или вводящим в заблуждение результатам. Это представляет собой несоответствие между целью измерения качества обслуживания клиентов — сбором подлинных мнений клиентов — и личными или организационными мотивами тех, кто разрабатывает программу измерения, или некоторых из тех, чьи отзывы оцениваются.

Например, водитель такси может попросить пассажира «поставить пятизвездочную оценку», прежде чем клиент успеет обдумать свой опыт. Аналогично, менеджер по работе с клиентами может выборочно запрашивать отзывы только у давних, довольных клиентов, избегая недавних взаимодействий, которые могли пройти неудачно. В каждом случае достоверность отзывов ставится под сомнение, и полученные данные больше не отражают истинную точку зрения клиента.

Зачастую такая практика не носит злонамеренного характера. На самом деле, многие сотрудники считают её безобидной — или даже оправданной — особенно когда оценки удовлетворенности клиентов связаны с бонусами, аттестацией или гарантией занятости. Но независимо от намерений, последствия манипулирования результатами опросов значительны и далеко идущие.

Когда показатель становится целью, он перестаёт быть хорошим показателем.

- Закон Гудхарта ^II

Манипулирование результатами опросов проявляется в нескольких различных формах, каждая из которых подрывает достоверность данных обратной связи:

1. Запрос оценок (подготовка, инструктаж или просьба предоставить оценки)

Сотрудники напрямую просят клиентов поставить высокие оценки или предупреждают их о предстоящем опросе. Чаще всего это встречается в сфере услуг, таких как управление счетами, гостиничный бизнес, транспорт и розничная торговля. Такие фразы, как «Пожалуйста, оцените меня на 10» или «У меня будут проблемы, если оценка будет не идеальной», используются для получения более высоких оценок. Эффект может усилиться, если сотрудник будет оглядываться через плечо во время ответа.

2. Выборочная геодезическая съемка

Сотрудники или отделы влияют на то, каким клиентам будут отправлены опросы, часто исключая тех, от кого ожидают негативных отзывов. Это может быть достигнуто путем манипулирования системами CRM, задержки проведения опросов или направления в каналы оценки только позитивных взаимодействий.

3. Стимулированные ответы

В некоторых случаях сотрудники предлагают клиентам скидки, бесплатные услуги или бонусы в обмен на высокие оценки. Эта практика фактически покупает положительные отзывы, сводя на нет достоверность данных.

4. Фальсифицированные ответы

В самом крайнем случае, манипулирование результатами опросов может заключаться в том, что сотрудники сами заполняют анкеты или инструктируют клиентов отвечать определенным образом. В цифровой среде это может включать в себя прохождение веб-опросов от имени клиента, в физической среде — это может быть более частое нажатие сотрудниками на значок смайлика.

5. Манипуляции со временем

Опросы могут запускаться в моменты, наиболее вероятно приводящие к положительной обратной связи, например, сразу после успешной транзакции, прежде чем что-то может пойти не так, или для задержки или избежания обратной связи после негативных событий.

6. Сфальсифицированные процессы

Сотрудники, осведомленные о методе проведения опроса, могут вмешаться в процесс опроса, чтобы помешать клиентам получить анкету. Например, если на телефоне находится расстроенный клиент, и сотрудник знает, что опрос запускается в конце разговора, он может приложить дополнительные усилия, чтобы заставить клиента завершить звонок, в результате чего клиент не получит анкету.

7. Смещенная методология исследования

На дизайн опроса можно повлиять таким образом, чтобы исказить ответы – например, путем исключения вопросов, которые, вероятно, вызовут больше негативных отзывов, или путем формулировки вопросов, побуждающей к более благоприятным ответам. Распространенный пример – использование визуальных подсказок, таких как цветовая кодировка шкалы от 0 до 10, где оценки от 0 до 6 выделены красным (отрицательные), а от 9 до 10 – зеленым (положительные) – незаметно направляя респондентов к более высоким оценкам.

Влияние игровых опросов на бизнес и доверие

Хотя на первый взгляд это может показаться безобидным или даже логичным способом «защитить» свой рейтинг в опросах, манипулирование результатами опросов имеет серьезные и системные последствия:

Искаженное принятие решений и застой в усилиях по улучшению.

Руководители полагаются на данные опросов для выявления проблемных моментов, определения приоритетов инвестиций и улучшения предоставляемых услуг. Когда эти данные искажены, решения принимаются на основе ложных сигналов. Проблемы остаются без внимания, а ресурсы могут быть распределены неэффективно.

Кроме того, команды могут не испытывать острой необходимости в совершенствовании, что приводит к самоуспокоению и застопоривает цикл непрерывного улучшения.

Утрата доверия

Как только манипуляции с результатами опросов становятся широко распространены или становятся достоянием общественности, как сотрудники, так и клиенты теряют веру в систему обратной связи. Сотрудники могут воспринимать ее как игру, а не как осмысленный процесс, а клиенты могут чувствовать себя обманутыми.

Сотрудники, которые манипулируют системой, могут также получать несправедливое вознаграждение по сравнению с теми, кто собирает честные — пусть и менее лестные — отзывы. Это препятствует этичному поведению и деморализует персонал, поступающий правильно.

В конечном итоге, если мнение клиента не будет услышано должным образом, компании с меньшей вероятностью смогут предоставить услуги, соответствующие реальным ожиданиям, что приведет к разочарованию, оттоку клиентов и ущербу для репутации.

Стратегии борьбы с манипуляциями при проведении опросов

Для успешной борьбы с манипуляциями при проведении опросов необходим комплексный подход, сочетающий технологии, корпоративную культуру, обучение и структурные изменения в системе поощрений и процессах. Ниже приведены некоторые из наиболее эффективных стратегий:

1. Как правило, мы рекомендуем начать с детального аудита измерений и программы, чтобы лучше понять процесс сбора данных . Это позволит получить информацию, которая даст следующие возможности:

• Разработка опросов, основанная на передовых методах, гарантирует объективность собираемых данных и достоверное отражение опыта клиентов.
• Централизованное распространение опросов с использованием независимых систем, которые автоматически запускают опросы на основе действий клиента или моментов в его отношениях с компанией, например, годовщины регистрации, дня рождения и т. д.
• Рандомизированная выборка гарантирует, что опросы рассылаются случайной, но статистически достоверной выборке клиентов, охватывающей все точки контакта, а не только те, с которыми у них сложилось благоприятное впечатление.

2. Мы также рекомендуем использовать аналитику для выявления признаков, которые могут указывать на игровое поведение . Аналитика также может быть использована для повышения надежности метрик:

• Проведите анализ на наличие аномалий , выявите закономерности, которые могут указывать на манипуляции, а затем отметьте и исследуйте эти отклонения.
• Используйте многоканальную обратную связь для проверки данных опроса по другим каналам, таким как социальные сети, отзывы в магазинах приложений или жалобы.

3. Крайне важно понимать, как сотрудники вовлечены в процесс оценки качества обслуживания клиентов и какова их роль в продвижении этичных методов измерения качества обслуживания клиентов. Мы рекомендуем разработать специальную программу изменений, которая включает в себя:

• Пересмотр и реформирование систем стимулирования. Разработка систем стимулирования — это глубокая и очень сложная тема, но хорошей отправной точкой является отказ от привязки бонусов или гарантий занятости исключительно к показателям NPS или CSAT. Программы стимулирования должны быть ориентированы на долгосрочную перспективу результатов деятельности или на итоговые результаты, а не только на показатели эффективности.
• Обучение сотрудников ценности честной обратной связи и объяснение того, почему важна подлинная обратная связь, как используются данные и каковы долгосрочные последствия манипулирования информацией.
• Обеспечение подотчетности в отношении азартных игр посредством четких правил, запрещающих азартные игры, и эффективных санкций, применяемых в соответствующих случаях, — при этом оставаясь в рамках этических и правовых норм.
• Лидерство сверху, где руководители отстаивают ценность подлинной информации от клиентов, а не краткосрочных результатов. Подавая пример, они демонстрируют, что негативные отзывы так же важны, если не важнее, чем позитивные, и что информация о клиентах используется для улучшения, а не для поиска виновных или раздачи наград.

Манипулирование результатами опросов — это не просто неприятность; это системный риск, подрывающий целостность программ по улучшению клиентского опыта. Хотя мотивы для манипулирования результатами часто понятны — например, желание достичь целевых показателей или избежать негативных последствий — долгосрочные последствия разрушительны. Неточные данные приводят к ошибочным решениям, недовольству клиентов и снижению вовлеченности сотрудников.

Решение заключается в создании программ, использующих надежные методы измерения и подходы к вовлечению, которые формируют культуру, ценящую честную обратную связь больше, чем завышенные оценки.

Практические шаги для организаций: победа в борьбе с фальсификацией результатов опросов.

Вот практический, действенный контрольный список шагов, которые организации могут немедленно предпринять:

1. Пересмотрите систему поощрения сотрудников, сместив акцент с оценок в опросах на истории успеха и позитивное поведение. Сосредоточьтесь на долгосрочном успехе позитивного поведения в сфере клиентского опыта.
2. Удалите или пересмотрите все опросы, инициированные сотрудниками.
3. Обучите сотрудников этике и целям проведения опросов.
4. Проанализируйте данные опроса на наличие аномалий.
5. Разработать и обеспечить соблюдение политики противодействия азартным играм.

Свяжитесь с нами , чтобы узнать больше о том, как Ipsos может помочь вам бороться с манипуляциями в опросах и укрепить доверие к вашим программам оценки результатов.

Если вам понравилась эта статья, вас также может заинтересовать The Experience Perspective — наш подкаст от Ipsos и серия прямых эфиров на LinkedIn, посвященные самым разным темам, от клиентского и сотрудника опыта до эффективности каналов продаж.

Ролло Грейсон — глобальный руководитель отдела продуктов и клиентского опыта компании Ipsos, проживает в Австралии.

* Net Promoter®, NPS®, NPS Prism® и связанные с NPS смайлики являются зарегистрированными товарными знаками Bain & Company, Inc., NICE Systems, Inc. и Фреда Райхельда. Net Promoter ScoreSM и Net Promoter SystemSM являются знаками обслуживания Bain & Company, Inc., NICE Systems, Inc. и Фреда Райхельда.

Ссылки:

Зиберт , Х. 2001. Эффект кобры: как избежать ловушек экономической политики. Deutsche Verlags-Anstalt
ii Гудхарт, Чарльз, Проблемы управления денежной системой: опыт Великобритании, Статьи по денежной экономике 1975; 1; 1. - [Сидней]. - 1975, с. 1-20

Дополнительная литература и аудиоматериалы