スコアを操作する：フィードバックが作り話になるとき
コンテンツ：
- サーベイ・ゲーミングとは？
- サーベイ・ゲーミングとその仕組みを理解する
- サーベイ・ゲーミングがビジネスと信頼に与える影響
- サーベイ・ゲーミングに対抗するための戦略
- 組織が実行できる具体的なステップ：サーベイ・ゲーミングとの戦いに勝利する
サーベイ・ゲーミングとは？
組織がどのようにして真に優れた顧客体験を提供しているのか疑問に思ったことはありませんか？多くの場合、組織はパフォーマンスを測定し、改善活動の指針とするために、Net Promoter Score®（NPS）*、顧客満足度（CSAT）、顧客努力指標（CES）などのフィードバックツールに大きく依存しています。これらの指標は、正確かつ正直に収集された場合、企業が顧客の期待にどれだけ応えているかについての実用的なインサイトを提供します。しかし、これらの指標の信頼性を損なう可能性のある脅威がますます蔓延しています。それが、サーベイ・ゲーミング（調査スコアの操作）です。
サーベイ・ゲーミングとは、従業員や社内関係者が顧客からのフィードバック収集を操作または妨害し、業績評価を人為的に水増しすることを指します。これには、従業員による介入（例えば、5つ星評価を求めるなど）から、フィードバック収集方法の厳密性の欠如（例えば、トイレに設置されたスマイリーフェイスの機械で、誰がボタンを押すか、何回押されるかが管理されていないなど）まで、あらゆるものが含まれます。
この現象をよく表す歴史的な例があります。インドでは、政府がコブラの個体数を減らすため、コブラを1匹殺すごとに報奨金を与えるキャンペーンを開始しました。当初、このプログラムは効果を発揮しましたが、人々はすぐに報奨金目当てにコブラを繁殖させ始めました。この企みが発覚すると、政府は報奨金制度を廃止しました。
これに対し、ブリーダーたちは価値を失ったコブラを放し、結果として以前よりも個体数が増加しました。この意図せざる結果は、現在「コブラ効果」として知られており、成果報酬制度の設計が不適切だとどうなるかを示しています。つまり、制度が悪用され、問題が悪化するのです。
顧客体験測定の分野においても、同様の現象が起こり得ます。インセンティブ制度、業績へのプレッシャー、あるいはチームの評判を守りたいという善意からであっても、サーベイ・ゲーミングは現実を歪め、データへの信頼を損ない、これらのプログラムが本来達成しようとしている成果そのものを阻害します。組織は「手探り状態」に陥り、投資の方向を誤り、顧客体験の改善に失敗する可能性があり、最終的には良い結果よりも悪い結果をもたらすことになります。
この記事は、あまりにも蔓延しているサーベイ・ゲーミングという問題に光を当て、それが企業と顧客にどのような影響を与えるかを明らかにすることを目的としています。さらに重要なのは、この問題に対処し、正直な顧客フィードバックの力を引き出すための実践的なガイダンスと明確なアドバイスを提供することで、行動を促すことです。
サーベイ・ゲーミングとその仕組みを理解する
サーベイ・ゲーミングとは、従業員が意図的または非意図的に顧客からのフィードバックに影響を与え、偏った結果や誤解を招く結果を生み出す行為を指します。これは、顧客体験（CX）測定の本来の目的である「顧客の真の感情を収集する」ことと、測定プログラムを設計する側、あるいは測定対象者の一部が持つ個人的または組織的な動機との間に乖離や不一致が生じている状態を表しています。
例えば、タクシー運転手は、乗客が体験を振り返る時間もないまま、「星5つの評価をお願いします」と求めるかもしれません。同様に、アカウントマネージャーは、長年満足している顧客からのみフィードバックを求め、最近のやり取りで問題があった顧客は避けるかもしれません。いずれの場合も、フィードバックの信憑性が損なわれ、得られたデータは顧客の真の視点を正確に反映しなくなります。
この行為は必ずしも悪意によるものではありません。実際、多くの従業員は、特に顧客満足度スコアがボーナス、業績評価、あるいは雇用の安定性に結びついている場合、これを無害、あるいは正当化される行為だと考えています。しかし、意図に関わらず、サーベイ・ゲーミングによる影響は重大かつ広範囲に及びます。
指標が目標になると、それはもはや良い指標ではなくなる。
- グッドハートの法則ii
サーベイ・ゲーミングはいくつかの異なる形態で現れ、それぞれがフィードバックデータの信頼性を損ないます。
1. スコア誘導（事前準備、指導、またはスコアの要求）
従業員が顧客に直接高評価を求めたり、アンケート実施を事前に知らせたりするケースが見られます。アカウント管理、接客業、運輸業、小売業などのサービス業でよく見られる手法で、「10点満点をつけてください」「満点じゃないと困ります」といったフレーズを使って、より好意的な評価を引き出そうとします。さらに、従業員が顧客の回答を後ろから見ている場合、その効果は増幅される可能性があります。
2. 選択的調査配信
従業員や部署は、どの顧客にアンケートを送るかを左右し、否定的なフィードバックを返しそうな顧客を意図的に除外することがよくあります。これは、CRMシステムを操作したり、アンケートの送信を遅らせたり、肯定的なやり取りだけを測定チャネルに誘導したりすることで行われます。
3. インセンティブによる回答
従業員が顧客に高評価と引き換えに割引、無料サービス、または特典を提供するケースです。このような行為は事実上、良いフィードバックを金で買うことになり、データの信憑性を損ないます。
4. 回答の捏造
極端な場合、サーベイ・ゲーミングには、従業員が自らアンケートに回答したり、顧客に特定の回答方法を指示したりすることが含まれます。デジタル環境では、顧客に代わってウェブアンケートをクリックすることがこれに該当し、実店舗環境では、スタッフがスマイリーフェイスアイコンを頻繁にタップすることがこれに該当します。
5. タイミング操作
アンケートを、好ましいフィードバックが得られる可能性が最も高いタイミングで実施するケースです。例えば、何らかの問題が発生する前の、良好な取引の直後や、否定的な出来事の後でフィードバックを遅らせたり避けたりする場合などです。
6. プロセス操作
従業員は、アンケートの実施方法を認識している場合、顧客がアンケートを受け取らないようにするために、アンケートプロセスに介入する可能性があります。例えば、電話で怒っている顧客に対応していて、通話終了時にアンケートが開始されることを知っている場合、従業員は顧客に電話を切らせるように仕向け、結果として顧客がアンケートを受け取らないようにすることです。
7. バイアスのある調査設計
アンケートの設計は、回答に偏りをもたらすような方法で影響を受ける可能性があります。例えば、否定的なフィードバックを引き出しそうな質問を省略したり、より好ましい回答を促すような質問の仕方を工夫したりすることが挙げられます。よくある例としては、視覚的な手がかりを用いることが挙げられます。例えば、0～10の尺度を色分けし、0～6のスコアを赤色（否定的）で、9～10のスコアを緑色（肯定的）で表示することで、回答者をより高い評価へとさりげなく誘導するのです。
サーベイ・ゲーミングがビジネスと信頼に与える影響
自分の成績を「守る」ための無害で論理的な方法のように思えるかもしれませんが、アンケート操作は深刻かつ組織的な影響を及ぼします。
歪んだ意思決定と停滞した改善努力
リーダーは、課題を特定し、投資の優先順位を決定し、サービスを改善するために、調査データに頼っています。しかし、このデータが偏っていると、誤った情報に基づいて意思決定が行われてしまいます。その結果、問題が未解決のまま放置され、資源が誤って配分される可能性があります。
チームは改善への切迫感を感じなくなる可能性があり、その結果、現状に満足してしまい、継続的な改善のサイクルが停滞してしまいます。
信頼の喪失
サーベイ・ゲーミングが蔓延したり、公に知られるようになると、従業員も顧客もフィードバックシステムへの信頼を失います。従業員はそれを有意義なプロセスではなくゲームと捉えるようになり、顧客は操作されていると感じるようになるでしょう。
システムを悪用する従業員は、たとえ好ましくない内容であっても正直なフィードバックを収集する従業員よりも不当に優遇される可能性があります。これは倫理的な行動を阻害し、正しいことをしている従業員の士気を低下させます。
結局のところ、顧客の声を正確に聞き取ることができなければ、企業は顧客の真の期待に応える体験を提供できなくなり、結果として顧客の不満、離脱、そして評判の低下につながります。
サーベイ・ゲーミングに対抗するための戦略
サーベイ・ゲーミングに効果的に対処するには、テクノロジー、企業文化、研修、そしてインセンティブやプロセスの構造的変更を組み合わせた多角的なアプローチが必要です。以下に、最も効果的な戦略をいくつかご紹介します。
1. 通常、データ収集をより深く理解するために、詳細な測定およびプログラム監査から始めることをお勧めします。これにより、以下のことが可能になります。
- 最良の調査設計方法により、収集されるデータが偏りのないものであり、得られた知見が顧客の体験を真に反映していることを保証します。
- 集中型アンケート配信により、顧客の行動や継続的な関係における節目（例：入会記念日、誕生日など）に基づいてアンケートを自動的にトリガーする独立したシステムを使用します。
- 無作為抽出法を用いることで、調査対象者の中から統計的に妥当な無作為抽出されたサンプルにアンケートを送付し、好ましい接点だけでなく、すべての接点を網羅することを保証します。
2. また、不正行為を示唆する可能性のある兆候を特定するために、分析ツールの使用をお勧めします。分析ツールは、指標の信頼性を高めるためにも使用できます。
- 異常を分析し、不正行為を示唆する可能性のあるパターンを検出し、これらの異常値を特定して調査します。
- マルチチャネルのフィードバックを取り入れ、アンケートデータをソーシャルメディア、アプリストアのレビュー、苦情などの他のチャネルと照合して検証します。
3.従業員が顧客体験（CX）にどのように関わっているか、また倫理的なCX測定の促進において従業員がどのような役割を果たしているかを理解することは非常に重要です。当社が推奨するアプローチは、以下の内容を含む専用の変革プログラムです。
- インセンティブ制度の見直しと改革。インセンティブ設計は奥深く複雑なテーマですが、まずはボーナスや雇用保障をNPS（ネットプロモータースコア）やCSAT（顧客満足度）だけに連動させないことから始めるのが良いでしょう。インセンティブプログラムは、業績を長期的な視点で捉え、単なるアウトプットではなく成果に焦点を当てるべきです。
- 従業員に対し、正直なフィードバックの価値を教育し、なぜ本物のフィードバックが重要なのか、データがどのように使用されるのか、そしてゲーミングの長期的な影響について説明します。
- 明確な方針でゲーミングを禁止し、効果的な制裁措置を伴う結果的な措置を講じることで、ゲーミングに対する責任を徹底します。ただし、倫理的および法的に許容される範囲内にとどめます。
- 経営陣が率先して、短期的な評価よりも顧客の真の声を重視する姿勢を示すことで、トップダウンのリーダーシップが発揮されます。自ら模範を示し、否定的なフィードバックは肯定的なフィードバックと同等、あるいはそれ以上に重要であり、顧客からのインサイトは責任転嫁や報酬を与えるためではなく、改善を推進するために活用されるべきであることを示します。
サーベイ・ゲーミングは単なる迷惑行為にとどまらず、顧客体験プログラムの信頼性を損なうシステムリスクです。目標達成や不都合な結果の回避といった動機は理解できる場合もありますが、長期的な影響は甚大です。不正確なデータは、誤った意思決定、顧客満足度の低下、従業員の意欲低下につながります。
解決策は、確実な測定手法と、誇張された点数よりも正直なフィードバックを重視する文化を醸成するエンゲージメント手法を活用したプログラムを作成することにあります。
組織が実行できる具体的なステップ：サーベイ・ゲーミングとの戦いに勝利する
組織がすぐに実行できる、実践的で具体的な手順をまとめたチェックリストを以下に示します。
- 従業員へのインセンティブ制度を、アンケートの点数に基づくものから、成功事例や優れた行動に基づくものへと再設計します。ポジティブな顧客体験（CX）行動が長期的に成功につながるよう注力しましょう。
- 従業員主導で配布されたアンケートはすべて削除するか、適切な対応を取ります。
- 従業員に対し、アンケート調査の倫理と目的について教育します。
- 調査データにおける異常値を分析します。
- 賭博防止策を策定し、施行します。
イプソスがどのようにして調査不正行為への対策や測定プログラムへの信頼構築を支援できるかについて、詳しくはお問い合わせください。
この記事をお楽しみいただけたなら、顧客体験や従業員体験からチャネルパフォーマンスまで、あらゆるトピックを網羅したイプソスのポッドキャストおよびLinkedIn Liveシリーズ「The Experience Perspective」にもご興味をお持ちいただけるかもしれません。
Rollo Graysonは、イプソスのカスタマーエクスペリエンス部門のグローバル製品責任者であり、オーストラリアを拠点としています。
* Net Promoter®、NPS®、NPS Prism®、およびNPS関連の絵文字は、Bain & Company, Inc.、NICE Systems, Inc.、およびFred Reichheldの登録商標です。Net Promoter ScoreSMおよびNet Promoter SystemSMは、Bain & Company, Inc.、NICE Systems, Inc.、およびFred Reichheldのサービスマークです。
参考文献：
i Siebert, H. 2001. The Cobra Effect: How to avoid the pitfalls of economic policy. Deutsche Verlags-Anstalt
ii Goodhart, Charles, Problems of Monetary Management: the U.K. experience, Papers in monetary economics 1975 ; 1 ; 1. - [Sydney]. - 1975, p. 1-20
