설문 점수 조작(Gaming the Score): 고객 피드백이 왜곡될 때

Contents:

• 설문 점수 조작(Survey Gaming)이란 무엇인가
• 설문 점수 조작은 어떻게 발생하는가
• 설문 점수 조작이 비즈니스와 신뢰에 미치는 영향
• 설문 점수 조작에 대응하는 전략
• 조직이 바로 실행할 수 있는 대응 방안

설문 점수 조작(Survey Gaming)이란 무엇인가

탁월한 고객 경험은 과연 어떻게 만들어질까요? 많은 조직은 성과를 측정하고 개선 우선순위를 정하기 위해 Net Promoter Score®(NPS), 고객만족도(CSAT), 고객 노력도(CES) 같은 피드백 지표에 크게 의존합니다. 이런 지표는 정확하고 정직하게 수집될 때, 기업이 고객 기대에 얼마나 잘 부응하고 있는지 보여주는 유의미한 인사이트를 제공합니다. 문제는 이런 지표의 신뢰성을 흔드는 위협이 점점 더 흔해지고 있다는 점입니다. 바로 survey gaming, 즉 설문 점수 조작입니다

설문 점수 조작이란, 직원이나 내부 이해관계자가 성과 점수를 인위적으로 높이기 위해 고객 피드백 수집 과정에 개입하거나 이를 왜곡하는 행위를 말합니다. 예를 들어 직원이 직접 “별 5개 부탁드립니다”라고 요청하는 행동부터, 누가 몇 번 눌렀는지조차 통제되지 않는 화장실 스마일 버튼처럼 피드백 수집 방식 자체가 허술한 경우까지 모두 여기에 포함될 수 있습니다.

이를 잘 보여주는 역사적 사례가 있습니다. 인도에서는 과거 코브라 개체 수를 줄이기 위해 죽은 코브라 한 마리당 현상금을 지급한 적이 있습니다. 처음에는 효과가 있는 듯 보였지만, 곧 사람들은 현상금을 받기 위해 코브라를 일부러 사육하기 시작했습니다. 이 계획이 발각되자 정부는 현상금 지급을 중단했습니다.

결국 제도가 중단되자, 가치가 없어진 코브라들이 풀려났고 개체 수는 오히려 더 늘어났습니다. 이처럼 잘못 설계된 성과 인센티브는 제도의 취지를 무너뜨리고 문제를 더 키울 수 있습니다.

고객 경험 측정에서도 같은 일이 벌어질 수 있습니다. 인센티브 구조, 성과 압박, 혹은 팀의 평판을 지키고 싶다는 선의에서 비롯됐더라도, 설문 점수 조작은 현실을 왜곡하고 데이터에 대한 신뢰를 무너뜨리며, 결국 프로그램이 원래 달성하려던 목표 자체를 훼손합니다. 그 결과 조직은 제대로 보지 못한 채 의사결정을 하게 되고, 잘못된 투자와 빗나간 개선으로 이어질 수 있습니다.

이 글은 너무도 흔하지만 충분히 주목받지 못했던 설문 점수 조작 문제를 드러내고, 그것이 기업과 고객에게 어떤 영향을 미치는지 짚어봅니다. 더 나아가, 정직한 고객 피드백의 힘을 되찾기 위해 조직이 지금 무엇을 해야 하는지 실질적인 방향을 제시합니다.

설문 점수 조작은 어떻게 발생하는가

설문 점수 조작은 직원이 의도적으로든 무의식적으로든 고객 피드백에 영향을 미쳐 편향되거나 왜곡된 결과를 만들어내는 현상입니다. 이는 CX 측정의 본래 목적, 즉 고객의 진짜 목소리를 수집하는 일과, 측정 프로그램을 설계하거나 평가받는 사람들의 개인적·조직적 동기 사이에 어긋남이 생겼다는 뜻이기도 합니다

예를 들어 택시 기사가 승객이 경험을 충분히 돌아보기 전에 “별 5개 부탁드려요”라고 말할 수 있습니다. 또 어떤 어카운트 매니저는 최근 좋지 않았던 접점은 피하고, 오랜 기간 만족해온 고객에게만 선택적으로 피드백을 요청할 수도 있습니다. 이런 경우, 피드백의 진정성은 훼손되고 데이터 역시 더 이상 고객의 실제 인식을 정확히 보여주지 못하게 됩니다.

이런 행동이 항상 악의적인 것은 아닙니다. 오히려 많은 직원들은 이를 대수롭지 않게 여기거나, 정당한 행동이라고 생각하기도 합니다. 특히 고객 경험 지표가 보너스, 성과평가, 고용 안정성과 연결되어 있을 때 더욱 그렇습니다. 그러나 의도가 무엇이든, 설문 점수 조작의 결과는 결코 가볍지 않습니다.

측정 지표가 목표가 되는 순간, 그 지표는 더 이상 좋은 지표가 아니다.

- 굿하트의 법칙(Goodhart’s Law) ²

설문 점수 조작은 여러 형태로 나타나며, 그 하나하나가 피드백 데이터의 신뢰성을 약화시킵니다..

1. 점수 유도 (사전 암시, 코칭, 점수 요청)

직원이 고객에게 직접 높은 점수를 요청하거나, 곧 설문이 발송될 것이라고 미리 알려주는 방식입니다. 어카운트 관리, 호텔·외식, 운송, 리테일 등 서비스 업종에서 특히 흔합니다. “10점 부탁드립니다”, “만점이 아니면 문제가 생깁니다” 같은 말로 더 좋은 평가를 유도하는 식입니다. 심지어 설문 응답을 하는 동안 직원이 곁에서 지켜보고 있다면 그 효과는 더 커질 수 있습니다.

2. 선택적 설문 발송

직원이나 부서가 설문을 받을 고객을 선별해, 부정적인 피드백을 줄 가능성이 높은 고객은 제외하는 방식입니다. CRM 시스템을 조정하거나, 설문 발송을 지연하거나, 긍정적인 접점만 측정 채널로 연결하는 식으로 이루어질 수 있습니다.

3. 인센티브 제공을 조건으로 한 응답 유도

고객에게 높은 점수를 주는 대가로 할인, 무료 서비스, 혜택을 제공하는 경우입니다. 사실상 좋은 피드백을 사는 것이기 때문에 데이터의 진정성을 무너뜨립니다.

4. 허위 응답

가장 극단적인 경우에는 직원이 직접 설문을 대신 작성하거나, 고객에게 특정 방식으로 답하도록 유도하기도 합니다. 온라인에서는 고객 대신 웹 설문을 클릭해 응답할 수 있고, 오프라인에서는 직원이 스마일 버튼을 더 자주 누르는 식으로 나타날 수 있습니다.

5. 응답 시점 조정

긍정적인 피드백이 나올 가능성이 높은 순간에만 설문을 발송하는 방식입니다. 예를 들어 문제가 생기기 전에, 긍정적인 거래 직후 바로 설문을 보내거나, 부정적인 사건 뒤에는 설문을 미루거나 아예 발송하지 않는 식입니다.

6. 설문 프로세스 개입

직원이 설문 발송 조건을 알고 있을 경우, 고객이 설문을 받지 못하도록 과정에 개입할 수 있습니다. 예를 들어 통화 종료 직후 설문이 나가는 구조임을 알고 있다면, 불만을 가진 고객이 먼저 전화를 끊도록 유도해 설문이 발송되지 않게 만들 수 있습니다.

7. 편향된 설문 조사 설계

설문 문항 자체를 더 긍정적인 응답이 나오도록 설계하는 경우입니다. 예를 들어 부정적인 반응을 끌어낼 수 있는 문항을 제외하거나, 응답을 유도하는 방식으로 질문을 구성하는 것입니다. 대표적인 예가 0~10점 척도에서 0~6점을 빨간색, 9~10점을 초록색으로 표시해 응답자가 더 높은 점수를 택하도록 은근히 유도하는 방식입니다.

설문 점수 조작이 비즈니스와 신뢰에 미치는 영향

겉으로는 자신의 성과 점수를 “지키기 위한” 합리적인 행동처럼 보일 수 있지만, 설문 점수 조작은 조직 전반에 심각한 영향을 미칩니다.

왜곡된 의사결정, 멈춰버린 개선

리더들은 설문 데이터를 바탕으로 pain point를 찾고, 투자 우선순위를 정하고, 서비스를 개선합니다. 그런데 데이터가 왜곡되면 의사결정 역시 잘못된 신호를 기반으로 내려지게 됩니다. 문제는 해결되지 않은 채 남고, 자원은 엉뚱한 곳에 배분될 수 있습니다.

팀 역시 실제 문제가 드러나지 않으면 개선의 긴급성을 느끼지 못하게 됩니다. 결국 안주하는 분위기가 생기고, 지속적인 개선의 선순환도 멈추게 됩니다.

신뢰의 훼손

설문 점수 조작이 조직 내에서 만연해지거나 외부에 알려지면, 직원과 고객 모두 피드백 시스템을 신뢰하지 않게 됩니다. 직원은 이를 의미 있는 과정이 아니라 “게임”처럼 여기게 되고, 고객은 자신이 조작당하고 있다고 느낄 수 있습니다.

또 시스템을 교묘하게 활용한 직원이, 정직하지만 점수가 상대적으로 낮은 피드백을 모은 직원보다 더 큰 보상을 받을 수도 있습니다. 이는 윤리적인 행동을 위축시키고, 원칙을 지키는 직원들의 사기를 떨어뜨립니다.

결국 고객의 목소리가 정확하게 반영되지 않으면, 기업은 실제 기대에 부합하는 경험을 제공하기 어려워지고, 이는 불만, 이탈, 평판 훼손으로 이어집니다.

설문 점수 조작에 대응하는 전략

설문 점수 조작 문제에 제대로 대응하려면 기술, 문화, 교육, 그리고 인센티브와 프로세스 구조를 함께 손봐야 합니다. 다음은 가장 효과적인 대응 전략입니다.

1. 측정 체계와 프로그램에 대한 점검부터 시작하기 

우선 데이터 수집 방식 전반을 점검하는 Measurement & Programme Audit부터 시작하는 것이 좋습니다. 이를 통해 다음과 같은 개선이 가능합니다.

• Best practice에 기반한 설문 설계: 수집 데이터가 편향되지 않도록 하고, 인사이트가 고객 경험을 진정성 있게 반영하도록 설계합니다.
• 중앙집중형 설문 발송 체계 구축: 고객의 행동이나 관계 여정의 특정 시점(가입 기념일, 생일 등)에 따라 독립적인 시스템이 자동으로 설문을 발송하도록 합니다.
• 무작위 표본 추출 적용: 긍정적인 접점만이 아니라 모든 터치포인트를 포함하는, 통계적으로 타당한 무작위 표본에 설문을 발송합니다.

2. 분석을 통해 이상 징후 포착하기

분석은 점수 조작 행위를 의심할 수 있는 신호를 포착하는 데 도움이 되며, 지표 자체를 더 견고하게 만드는 데도 활용할 수 있습니다.

• 이상치와 패턴 분석: 점수 조작이 의심되는 패턴을 탐지하고, 이상값을 표시한 뒤 조사합니다.
• 멀티채널 피드백 연계: 설문 데이터가 소셜미디어, 앱스토어 리뷰, VOC, 불만 접수 등 다른 채널과도 일치하는지 함께 검증합니다.

3. 윤리적 측정 문화를 조직 안에 심기

직원들이 CX를 어떻게 이해하고, 윤리적인 CX 측정을 위해 어떤 역할을 하는지 파악하는 것이 중요합니다. 이를 위해서는 전사적 변화 프로그램이 필요합니다.

• 인센티브 구조 재검토: 보너스나 고용 안정성을 NPS나 CSAT 같은 단일 점수에만 연결하지 않도록 설계를 바꿔야 합니다. 단기 점수보다 장기 성과와 바람직한 결과에 초점을 맞춰야 합니다.
• 정직한 피드백의 가치 교육: 왜 진짜 고객 피드백이 중요한지, 데이터가 어떻게 쓰이는지, 점수 조작이 장기적으로 어떤 문제를 일으키는지 직원들이 이해하도록 해야 합니다.
• 명확한 책임과 제재 체계 마련: 점수 조작을 금지하는 명확한 정책과, 윤리적·법적 범위 안에서 실제로 집행되는 제재가 필요합니다.
• 리더십의 분명한 메시지: 경영진이 단기 점수보다 고객의 진짜 목소리가 더 중요하다는 점을 분명히 보여줘야 합니다. 부정적인 피드백 역시 중요한 인사이트이며, 고객 데이터는 비난이나 보상을 위한 도구가 아니라 개선을 위한 자산이라는 점을 직접 보여줄 필요가 있습니다.

설문 점수 조작은 단순한 불편 요소가 아닙니다. 이는 고객 경험 프로그램의 신뢰성을 무너뜨리는 구조적 리스크입니다. 그 배경에는 목표 달성 압박이나 부정적 결과 회피 같은 이해 가능한 동기가 있을 수 있지만, 장기적 결과는 파괴적입니다. 부정확한 데이터는 잘못된 판단, 불만족한 고객, 몰입도 낮은 직원을 낳습니다.

해결책은 분명합니다. 더 견고한 측정 방식과 더 건강한 참여 구조를 갖춘 프로그램을 만들고, 부풀려진 점수보다 정직한 피드백을 더 높이 평가하는 조직문화를 세우는 것입니다.

조직이 바로 실행할 수 있는 대응 방안

조직이 지금 바로 실행할 수 있는 실질적인 체크리스트는 다음과 같습니다.

1. 직원 인센티브를 설문 점수 중심에서 성공 사례와 바람직한 행동 중심으로 재설계합니다.
2. 직원이 직접 설문 발송에 개입할 수 있는 구조를 없애거나 통제합니다.
3. 설문 윤리와 목적에 대해 직원을 교육합니다.
4. 설문 데이터에서 이상 징후를 분석합니다.
5. 설문 점수 조작 금지 정책을 수립하고 실제로 집행합니다.

입소스가 survey gaming에 대응하고 측정 프로그램에 대한 신뢰를 높이는 데 어떻게 도움을 드릴 수 있는지 알고 싶으시다면 문의해 주세요.

이 글을 흥미롭게 읽으셨다면, Customer Experience와 Employee Experience, Channel Performance까지 폭넓게 다루는 입소스의 팟캐스트 및 LinkedIn Live 시리즈 '경험의 관점(The Experience Perspective)'도 함께 확인해보세요. 

롤로 그레이슨(Rollo Grayson)은입소스 고객 경험(Customer Experience) 부문 글로벌 제품 총괄이며, 호주에 기반을 두고 있습니다.

* Net Promoter®, NPS®, NPS Prism®, 그리고 NPS 관련 이모티콘은 Bain & Company, Inc., NICE Systems, Inc., Fred Reichheld의 등록상표입니다. Net Promoter ScoreSM 및 Net Promoter SystemSM은 Bain & Company, Inc., NICE Systems, Inc., Fred Reichheld의 서비스표입니다.

참고 자료:

i Siebert, H. 2001. The Cobra Effect: How to avoid the pitfalls of economic policy. Deutsche Verlags-Anstalt
ii Goodhart, Charles, Problems of Monetary Management: the U.K. experience, Papers in monetary economics 1975 ; 1 ; 1. - [Sydney]. - 1975, p. 1-20

Further Reading and Listening