Spiel mit dem Ergebnis: Wenn Feedback zur Fiktion wird

Inhalt:

• Was ist Survey Gaming?
• Umfragespiele und ihre zugrunde liegenden Mechanismen verstehen
• Die Auswirkungen von Umfragemanipulation auf Wirtschaft und Vertrauen
• Strategien zur Bekämpfung von Umfragemanipulationen
• Konkrete Schritte für Organisationen: Den Kampf gegen Umfragemanipulationen gewinnen

Was ist Survey Gaming?

Haben Sie sich jemals gefragt, wie Unternehmen wirklich herausragende Kundenerlebnisse schaffen? Oftmals verlassen sie sich stark auf Feedback-Tools wie den Net Promoter Score® (NPS)*, die Kundenzufriedenheit (CSAT) und den Customer Effort Score (CES), um die Leistung zu messen und Verbesserungsmaßnahmen zu steuern. Diese Kennzahlen liefern, sofern sie korrekt und ehrlich erhoben werden, wertvolle Erkenntnisse darüber, wie gut ein Unternehmen die Kundenerwartungen erfüllt. Allerdings gibt es eine zunehmend verbreitete Bedrohung, die die Integrität dieser Kennzahlen untergraben kann: die Manipulation von Umfragen .

Unter „Survey-Gaming“ versteht man die Manipulation oder Beeinflussung der Kundenfeedback-Erhebung durch Mitarbeiter oder interne Beteiligte, um Leistungsbewertungen künstlich zu erhöhen. Dies kann von der Beeinflussung durch Mitarbeiter (z. B. durch die Aufforderung zu einer 5-Sterne-Bewertung) bis hin zu mangelnder Sorgfalt bei der Feedback-Erhebung reichen (z. B. ein Smiley-Automat in einer Toilette, bei dem nicht kontrolliert wird, wer die Knöpfe drückt oder wie oft).

Ein historisches Beispiel verdeutlicht dies gut. In Indien startete die Regierung eine Kampagne zur Reduzierung der Kobrapopulation und setzte für jede getötete Kobra eine Prämie aus. Anfangs war das Programm erfolgreich – doch schon bald begannen Menschen, Kobras gezielt zu züchten, um sie zu töten und die Prämie zu kassieren. Nachdem der Betrug aufgedeckt worden war, beendete die Regierung die Auslobung der Prämie.

Als Reaktion darauf ließen die Züchter ihre nun wertlosen Kobras frei, was zu einer größeren Population als zuvor führte. Diese unbeabsichtigte Folge, heute bekannt als Kobra-Effekt ^, verdeutlicht, was passiert, wenn Leistungsanreize schlecht konzipiert sind – das System wird ausgenutzt und das Problem verschärft sich.

Auch im Bereich der Kundenerlebnismessung können ähnliche Dynamiken auftreten. Ob aus Gründen der Anreizsysteme, des Leistungsdrucks oder gar des wohlmeinenden Wunsches, den Ruf eines Teams zu schützen – Manipulation von Umfragen verzerrt die Realität, untergräbt das Vertrauen in die Daten und gefährdet die eigentlichen Ziele dieser Programme. Unternehmen tappen dadurch im Dunkeln und es kann zu Fehlinvestitionen und gescheiterten Verbesserungen des Kundenerlebnisses kommen – was letztendlich mehr schadet als nützt.

Dieser Artikel beleuchtet das allzu häufige Problem der Manipulation von Kundenumfragen und zeigt dessen Auswirkungen auf Unternehmen und Kunden auf. Vor allem aber ist er ein Aufruf zum Handeln: Er bietet praktische Anleitungen und klare Ratschläge, wie wir dieses Problem angehen und das Potenzial ehrlichen Kundenfeedbacks nutzen können.

Umfragespiele und ihre zugrunde liegenden Mechanismen verstehen

Umfragemanipulation liegt vor, wenn Mitarbeiter absichtlich oder unabsichtlich Kundenfeedback so beeinflussen, dass verzerrte oder irreführende Ergebnisse entstehen. Sie verdeutlicht eine Diskrepanz zwischen dem eigentlichen Ziel der CX-Messung – der Erfassung authentischer Kundenmeinungen – und den persönlichen oder organisatorischen Motiven derjenigen, die das Messprogramm entwickeln oder an der Messung beteiligt sind.

Ein Taxifahrer könnte beispielsweise einen Fahrgast um eine Fünf-Sterne-Bewertung bitten, bevor dieser Zeit hat, über seine Erfahrung nachzudenken. Ebenso könnte ein Kundenbetreuer gezielt nur langjährige, zufriedene Kunden um Feedback bitten und dabei kürzlich aufgetretene, möglicherweise ungünstig verlaufene Interaktionen ausblenden. In beiden Fällen wird die Authentizität des Feedbacks beeinträchtigt, und die resultierenden Daten spiegeln nicht mehr die tatsächliche Kundensicht wider.

Diese Praxis ist oft nicht böswillig. Viele Angestellte halten sie sogar für harmlos oder gar gerechtfertigt, insbesondere wenn die Kundenzufriedenheitswerte mit Boni, Leistungsbeurteilungen oder der Arbeitsplatzsicherheit verknüpft sind. Doch unabhängig von der Absicht sind die Folgen der Manipulation von Umfragen erheblich und weitreichend.

Wenn eine Messgröße zum Ziel wird, verliert sie ihre Funktion als sinnvolle Messgröße.

- Goodharts Gesetz ⁱⁱ

Manipulation von Umfragen tritt in verschiedenen Formen auf, die allesamt die Integrität der Feedbackdaten untergraben:

1. Punkteeinholung (Priming, Coaching oder Bitten um Punkte)

Mitarbeiter bitten Kunden direkt um hohe Bewertungen oder kündigen an, dass eine Umfrage bevorsteht. Besonders verbreitet in Dienstleistungsbranchen wie Kundenbetreuung, Gastgewerbe, Transport und Einzelhandel, sind Formulierungen wie „Bitte geben Sie mir 10 Punkte“ oder „Ich bekomme Ärger, wenn es keine perfekte Bewertung ist“, die darauf abzielen, positivere Bewertungen zu erzielen. Dieser Effekt kann sich noch verstärken, wenn der Mitarbeiter während der Beantwortung der Frage ständig über die Schulter schaut.

2. Selektive Erhebung

Mitarbeiter oder Abteilungen beeinflussen, welche Kunden Umfragen erhalten, und lassen dabei oft diejenigen aus, von denen sie negatives Feedback erwarten. Dies kann durch Manipulation von CRM-Systemen, Verzögerung von Umfragen oder die gezielte Weiterleitung ausschließlich positiver Interaktionen an entsprechende Messkanäle geschehen.

3. Anreizbasierte Reaktionen

In einigen Fällen bieten Mitarbeiter Kunden Rabatte, kostenlose Dienstleistungen oder Vergünstigungen im Austausch für gute Bewertungen an. Diese Praxis erkauft faktisch positives Feedback und untergräbt somit die Authentizität der Daten.

4. Gefälschte Antworten

Im Extremfall kann die Manipulation von Umfragen darin bestehen, dass Mitarbeiter Umfragen selbst ausfüllen oder Kunden anleiten, bestimmte Antworten zu geben. In digitalen Umgebungen kann dies bedeuten, dass sie im Namen des Kunden Online-Umfragen anklicken; in physischen Umgebungen könnte es sich beispielsweise darum handeln, dass Mitarbeiter häufiger auf das Smiley-Symbol tippen.

5. Manipulation des Timings

Umfragen können zu Zeitpunkten ausgelöst werden, die am ehesten zu positivem Feedback führen – beispielsweise unmittelbar nach einer positiven Transaktion, bevor etwas schiefgehen kann, oder um Feedback nach negativen Ereignissen hinauszuzögern oder zu vermeiden.

6. Manipulierte Prozesse

Wenn Mitarbeiter über das Vorgehen bei der Umfrage informiert sind, können sie in den Umfrageprozess eingreifen, um zu verhindern, dass Kunden an einer Umfrage teilnehmen. Wenn sie beispielsweise einen verärgerten Kunden am Telefon haben und wissen, dass am Ende des Gesprächs eine Umfrage ausgelöst wird, könnten sie alles daransetzen, den Kunden zum Beenden des Gesprächs zu bewegen – wodurch der Kunde keine Umfrage erhält.

7. Voreingenommene Umfragegestaltung

Die Gestaltung von Umfragen kann so beeinflusst werden, dass die Antworten verzerrt werden – beispielsweise durch das Weglassen von Fragen, die eher negatives Feedback hervorrufen, oder durch die Formulierung von Fragen, die positivere Antworten begünstigen. Ein gängiges Beispiel ist die Verwendung visueller Hinweise, etwa die farbliche Kennzeichnung einer Skala von 0 bis 10, wobei Werte von 0 bis 6 rot (negativ) und Werte von 9 bis 10 grün (positiv) dargestellt werden – wodurch die Befragten subtil zu höheren Bewertungen gelenkt werden.

Die Auswirkungen von Umfragemanipulation auf Wirtschaft und Vertrauen

Auch wenn es wie eine harmlose oder gar logische Methode erscheinen mag, die eigene Leistungsbewertung zu „schützen“, hat die Manipulation von Umfragen schwerwiegende und systemische Konsequenzen:

Verzerrte Entscheidungsfindung und ins Stocken geratene Verbesserungsbemühungen

Führungskräfte nutzen Umfragedaten, um Schwachstellen zu identifizieren, Investitionen zu priorisieren und Dienstleistungen zu verbessern. Sind diese Daten verzerrt, basieren Entscheidungen auf falschen Signalen. Probleme bleiben ungelöst, und Ressourcen werden möglicherweise falsch eingesetzt.

Teams verspüren möglicherweise auch nicht die Dringlichkeit, sich zu verbessern – was zu Selbstzufriedenheit führt und den Zyklus der kontinuierlichen Verbesserung zum Stillstand bringt.

Vertrauensverlust

Sobald Manipulationen an Umfragen weit verbreitet oder öffentlich bekannt werden, verlieren sowohl Mitarbeiter als auch Kunden das Vertrauen in das Feedbacksystem. Mitarbeiter könnten es als Spiel und nicht als sinnvollen Prozess betrachten, und Kunden könnten sich manipuliert fühlen.

Mitarbeiter, die das System ausnutzen, werden möglicherweise ungerechtfertigt gegenüber jenen belohnt, die ehrliches – wenn auch weniger schmeichelhaftes – Feedback einholen. Dies hemmt ethisches Verhalten und demotiviert Mitarbeiter, die das Richtige tun.

Wenn die Stimme des Kunden nicht richtig gehört wird, ist es letztendlich unwahrscheinlicher, dass Unternehmen Erlebnisse bieten, die den tatsächlichen Erwartungen entsprechen, was zu Frustration, Kundenabwanderung und Reputationsschäden führt.

Strategien zur Bekämpfung von Umfragemanipulationen

Die erfolgreiche Bekämpfung von Umfragemanipulationen erfordert einen vielschichtigen Ansatz, der Technologie, Unternehmenskultur, Schulungen und strukturelle Veränderungen von Anreizen und Prozessen kombiniert. Im Folgenden werden einige der effektivsten Strategien aufgeführt:

1. In der Regel empfehlen wir, mit einem detaillierten Mess- und Programm-Audit zu beginnen, um die Datenerfassung besser zu verstehen . Dies liefert Erkenntnisse, die Folgendes ermöglichen:

• Best-Practice-Umfragedesign, das sicherstellt, dass die erhobenen Daten unvoreingenommen sind und die Erkenntnisse die Kundenerfahrung tatsächlich widerspiegeln.
• Zentralisierte Umfrageverteilung mittels unabhängiger Systeme, die Umfragen automatisch auslösen, basierend auf Kundenaktionen oder Ereignissen in der laufenden Kundenbeziehung, z. B. Jahrestag des Beitritts, Geburtstag usw.
• Randomisierte Stichprobenziehung gewährleistet, dass die Umfragen an eine zufällige, aber statistisch valide Stichprobe von Kunden gesendet werden, die alle Kontaktpunkte abdeckt – nicht nur die positiven.

2. Wir empfehlen außerdem den Einsatz von Analysetools, um Indikatoren für kriminelles Spielverhalten zu identifizieren . Analysetools können auch dazu beitragen, die Aussagekraft von Kennzahlen zu verbessern.

• Analysieren Sie die Daten auf Anomalien , erkennen Sie Muster, die auf Manipulation hindeuten könnten, und kennzeichnen und untersuchen Sie diese Ausreißer.
• Beziehen Sie Feedback aus verschiedenen Kanälen ein , um die Umfragedaten mit anderen Kanälen wie sozialen Medien, App-Store-Bewertungen oder Beschwerden abzugleichen.

3. Es ist entscheidend zu verstehen , wie Mitarbeiter in den Bereich Customer Experience (CX) eingebunden werden und welche Rolle sie bei der Förderung ethischer CX-Messungen spielen. Wir empfehlen ein spezielles Veränderungsprogramm, das Folgendes umfasst:

• Überprüfung und Reform von Anreizsystemen. Die Gestaltung von Anreizsystemen ist ein tiefgreifendes und komplexes Thema. Ein guter Ausgangspunkt ist jedoch, Boni oder Arbeitsplatzsicherheit nicht ausschließlich an den Net Promoter Score (NPS) oder die Kundenzufriedenheit (CSAT) zu koppeln. Anreizprogramme sollten eine langfristige Leistungsbetrachtung oder ergebnisorientierte Ansätze anstelle reiner Outputs in den Mittelpunkt stellen.
• Die Mitarbeiter werden über den Wert von ehrlichem Feedback aufgeklärt und es wird erklärt, warum authentisches Feedback wichtig ist, wie Daten verwendet werden und welche langfristigen Folgen das Spielen mit dem Feedback haben kann.
• Durchsetzung der Verantwortlichkeit für Glücksspiele durch klare Richtlinien, die Glücksspiele verbieten, und Konsequenzen, die mit wirksamen Sanktionen durchgesetzt werden – und zwar im Rahmen dessen, was ethisch und rechtlich zulässig ist.
• Führung von der Spitze: Führungskräfte setzen sich für echte Kundenwahrheiten ein und stellen kurzfristige Erfolge in den Hintergrund. Sie leben vor, dass negatives Feedback genauso wichtig ist – wenn nicht sogar wichtiger – als positives, und dass Kundeneinblicke genutzt werden, um Verbesserungen voranzutreiben, anstatt Schuldzuweisungen vorzunehmen oder Belohnungen zu verteilen.

Manipulation von Umfrageergebnissen ist mehr als nur lästig; sie stellt ein systemisches Risiko dar, das die Integrität von Kundenerlebnisprogrammen untergräbt. Auch wenn die Beweggründe für diese Manipulationen oft nachvollziehbar sind – etwa der Wunsch, Ziele zu erreichen oder negative Ergebnisse zu vermeiden –, sind die langfristigen Folgen verheerend. Ungenaue Daten führen zu Fehlentscheidungen, unzufriedenen Kunden und demotivierten Mitarbeitern.

Die Lösung liegt in der Entwicklung von Programmen, die robuste Messtechniken und Beteiligungsansätze nutzen, um eine Kultur zu schaffen, die ehrliches Feedback höher bewertet als überhöhte Punktzahlen.

Konkrete Schritte für Organisationen: Den Kampf gegen Umfragemanipulationen gewinnen

Hier finden Sie eine praktische Checkliste mit umsetzbaren Schritten, die Organisationen sofort realisieren können:

1. Gestalten Sie die Mitarbeiteranreize neu: Weg von Umfrageergebnissen hin zu Erfolgsgeschichten und positivem Verhalten. Fokus auf den langfristigen Erfolg von kundenorientiertem Verhalten.
2. Jegliche von Mitarbeitern initiierte Umfrageverteilung entfernen oder thematisieren.
3. Schulen Sie die Mitarbeiter in Bezug auf Ethik und Zweck von Umfragen.
4. Analysiere die Umfragedaten auf Anomalien.
5. Anti-Glücksspiel-Richtlinien einführen und durchsetzen.

Kontaktieren Sie uns , um mehr darüber zu erfahren, wie Ipsos Sie dabei unterstützen kann, Umfragemanipulationen zu bekämpfen und Vertrauen in Ihre Messprogramme aufzubauen.

Wenn Ihnen dieser Artikel gefallen hat, könnten Sie auch an „The Experience Perspective“ interessiert sein, unserem Ipsos-Podcast und unserer LinkedIn Live-Serie, die alles von Kunden- und Mitarbeitererfahrung bis hin zur Kanalperformance abdeckt.

Rollo Grayson ist globaler Leiter für Produkte und Kundenerfahrung bei Ipsos und arbeitet in Australien.

* Net Promoter®, NPS®, NPS Prism® und die zugehörigen NPS-Emoticons sind eingetragene Marken von Bain & Company, Inc., NICE Systems, Inc. und Fred Reichheld. Net Promoter ScoreSM und Net Promoter SystemSM sind Dienstleistungsmarken von Bain & Company, Inc., NICE Systems, Inc. und Fred Reichheld.

Referenzen:

Siebert , H. 2001. Der Kobra-Effekt: Wie man die Fallstricke der Wirtschaftspolitik vermeidet. Deutsche Verlags-Anstalt
ii Goodhart, Charles, Probleme der Geldpolitik: Die Erfahrungen Großbritanniens, Papers in monetary economics 1975 ; 1 ; 1. - [Sydney]. - 1975, S. 1-20

Weiterführende Lektüre und Hörtipps

This is an automatic translation, for the original version, please click here: https://www.ipsos.com/en-ch/gaming-score-when-feedback-becomes-fiction