Enquêtes en ligne : le contrôle qualité d'Ipsos

La gestion des panels : une expertise Ipsos qui remonte aux panels postaux des années 70/80.

L'engagement d'Ipsos en faveur de la qualité des études par panel est une tradition qui remonte aux panels postaux que nous réalisions dans les années 1970 et 1980. Loin d'être anecdotique, cette expérience nous a servi de base méthodologique pour développer les panels en ligne, notamment en ce qui concerne la qualité des données recueillies et l'engagement des répondants. Peu d'entreprises de par le monde peuvent se prévaloir d'une telle expertise et d'un tel héritage.

Ipsos Interactive Services (IIS), la branche d'Ipsos qui gère le recueil online, dispose aujourd'hui de panels dans plus de 65 pays, en Amérique du Nord, en Europe, en Amérique latine, en Asie-Pacifique et au Moyen-Orient. Chacun d'eux répond aux mêmes exigences méthodologiques et techniques. Ipsos a commencé à réaliser des enquêtes en ligne en 1999 et gère des panels online depuis plus de 20 ans, pour tous types d'études : concepts marketing, tests produits ou packaging, évaluations de sites web, opinion publique, sondages électoraux, tests publicitaires, etc.

Les panels sont gérés par des experts expérimentés, qui tout en intégrant l'expérience d'Ipsos en matière d'algorithmes d'échantillonnage et d'automatisation, développent en permanence des solutions innovantes. Celles-ci s'appuient sur les dernières avancées technologiques, un travail de "research on research" sur les enquêtes réalisées, l'analyse concurrentielle, la veille et la surveillance des tendances de notre industrie.

Les équipes opérationnelles ont une connaissance approfondie des fondements théoriques de l'échantillonnage, des différents modes de recrutement et de la gestion des panélistes, qui leur permettent de concevoir les stratégies optimales pour répondre aux exigences des différents projets.

Qui sont les personnes interrogées par Ipsos

Les personnes interrogées pour nos enquêtes en ligne sont recrutées au sein d'un panel mondial géré par IIS (i-Say) et parfois de panels additionnels locaux gérés par les équipes pays. Ipsos s'appuie aussi sur son canal Direct-to-Survey, qui permet d'accéder directement aux répondants via les plateformes de médias sociaux. Le panel i-Say est utilisé en priorité car Ipsos a une visibilité totale de sa qualité, avec notamment un grand nombre d'informations sur les panélistes.

Tout le monde peut demander à intégrer le panel i-Say. En Europe, 38 % des panélistes sont recrutés via les réseaux sociaux, 26 % par auto-recrutement et recommandations et 36 % par les réseaux d'affiliation et les agences médias. Ce recrutement multi-sources est la meilleure option pour maintenir une base représentative de répondants.

Il arrive, lorsque cela est nécessaire pour répondre aux exigences d'un projet, qu'Ipsos s'associe à des fournisseurs externes, pour des enquêtes sur des cibles ou marchés particuliers. Avant d'être autorisés à contribuer aux études Ipsos, ces partenaires sont soumis à un processus rigoureux de vérification de la qualité de leur panel. Ils sont ensuite régulièrement recontrôlés et réévalués.

Les contrôles sur les candidats panélistes

Le contrôle qualité d'Ipsos recouvre l'ensemble du cycle de vie d'une étude, et commence par le recrutement des répondants. Si tout le monde peut postuler pour intégrer nos panels, les candidats ne sont ajoutés que sous certaines conditions. La liste ci-dessous présente les principaux tests effectués :

• Email unique : nos panélistes ne peuvent pas créer plusieurs comptes avec la même adresse électronique.
• Coordonnées uniques : lors de l'inscription au panel, les répondants fournissent leurs nom, prénom, adresse postale, numéro de téléphone et adresse électronique. Grâce à ces informations, nous pouvons identifier les comptes des panélistes qui sont très probablement des doublons.
• Comptes ne figurant pas sur la "liste de blocage" d'Ipsos. Les comptes connectés à la "liste de blocage" ne sont pas autorisés. Cette liste comprend les e-mails des clients, des concurrents et des employés d'Ipsos.
• Nous n'autorisons pas plus d'un compte panéliste par appareil (ordinateur / tablette / smartphone…) : un outil externe d'empreinte numérique compile un grand nombre de caractéristiques provenant de chaque appareil (version du système d'exploitation, version du navigateur, plug-in utilisés...). Ces données sont ensuite soumises à des modèles et des algorithmes d'apprentissage automatique afin de créer une empreinte numérique unique pour chaque ordinateur.
• Empreinte numérique : notre outil d'empreintes numériques attribue également un score de fraude ou de risque à tous les appareils, en utilisant des algorithmes d'apprentissage automatique et des technologies de réseau d'identité globale. Les répondants ayant un score de risque élevé se voient refuser l'entrée dans le panel.
• Validation de la géo-IP du pays : un répondant connecté depuis une IP située en dehors du pays de l'enquête n'est pas autorisé à participer.
• Détection de proxy ouvert anonyme : une personne connectée à partir d'un proxy anonyme ouvert cache l'identité de son appareil et sa géolocalisation. Ce comportement est fortement corrélé à des tentatives de fraude délibérées.
• Combinaison appareil / géolocalisation : certaines combinaisons de paramètres d'appareils et de géolocalisation se sont avérées être de bons prédicteurs de comportements frauduleux. Des règles ont été établies afin de prévenir les tentatives de fraude.
• Validation via le code de sécurité CAPTCHA : il empêche l'enregistrement automatisé et stoppe les réponses de robots.
• Confirmation de l'email par double option : cela garantit la validité de l'adresse électronique fournie. Les répondants qui souhaitent rejoindre notre panel reçoivent un lien de confirmation à l'adresse électronique fournie.
• Contrôles par SMS : sur certains marchés, les répondants doivent fournir un numéro de téléphone mobile et activer leur compte en utilisant un code fourni par SMS.
• Validation du domaine de l'e-mail : les fournisseurs "d'emails jetables" (sites web qui génèrent des adresses email qui ne sont disponibles que pendant quelques minutes ou seulement pour un nombre limité de messages reçus) ne sont pas autorisés ; les comptes utilisant ces domaines sont bloqués.
• Détection d'anomalies dans les renseignements fournis : les comptes ayant plusieurs éléments en commun sont désactivés. Des procédures automatisées basées sur l'IA, construites et maintenues en interne, sont utilisées à un stade précoce du panel.
• Ville et code postal / zip valides, selon les listes officielles.

Echantillonnage

Pour faire partie du panel Ipsos, tous les panélistes doivent fournir un certain nombre d'informations lors de l'inscription telles que leurs nom, adresse électronique, genre, année et mois de naissance, code postal (à partir duquel diverses variables régionales sont dérivées), taille du ménage, âge et sexe des enfants à charge, niveau d'éducation, niveau de revenu. Au-delà des données démographiques, nous proposons également aux panélistes de fournir un ensemble d'informations de profilage supplémentaires pour la constitution d'échantillons spécifiques (par exemple animaux domestiques, boissons préférées, finances, appareils électroniques, véhicules, santé, etc.). Pour chaque question, une date d'expiration spécifique est définie dans le système, allant d'un mois à deux ans. Quand la date d'expiration est dépassée, la question est automatiquement reposée.

Toutes ces informations nous servent à constituer des échantillons représentatifs de la population ciblée pour chaque enquête. On commence par définir précisément les proportions de personnes à interroger dans chaque catégorie, en fonction des statistiques officielles de recensement ou des profils recherchés par le client. Une application d'échantillonnage propriétaire nous permet ensuite de construire des échantillons complexes en fonction des exigences. Le logiciel sélectionne les répondants potentiels correspondant aux cibles, au moyen d'un algorithme qui équilibre l'échantillon variable par variable.

Certains panélistes peuvent être exclus de la participation aux enquêtes pendant des périodes déterminées. Ipsos applique ses propres règles d'exclusion qui tiennent compte du type d'étude, du nombre d'enquêtes auxquelles un répondant a déjà participé, etc. Ces règles sont basées sur notre expertise en matière de gestion de panels et visent à éliminer les biais résultant de la surutilisation des mêmes répondants, tout en maintenant l'engagement des panélistes.

Une plateforme de gestion de terrain nous autorise en outre à diversifier les sources de répondants disponibles : nos propres panels, les sites de réseaux sociaux, les panels partenaires, les communautés en ligne, les réseaux affiliés, etc. Le routage et la réaffectation offrent de multiples avantages au cours du processus d'enquête - de la gestion du terrain à l'engagement des répondants, en passant par la précision des résultats. Ce système offre aux répondants des enquêtes mieux ciblées sur leurs centres d'intérêts, et nous permet surtout, via les quotas imbriqués, d'obtenir une plus grande précision et une meilleure correspondance avec les cibles de l'échantillon. On remplit plus facilement les quotas sur des cibles difficiles à atteindre ou à faible taux de réponse (les 18-24 ans par exemple) et il y a ainsi moins besoin de pondérer les données.

Qualité des enquêtes et comportements suspects : les "speeder", les "straight-liner", les hyper-actifs, les dormants, le "pot de miel"…

Chez Ipsos, la qualité des enquêtes est une priorité, qui prime sur le calendrier ou le budget. Tout au long du cycle de vie d'une étude, nous suivons un ensemble de valeurs / principes directeurs clairs.

En premier lieu sur les données recueillies. Les répondants sont avant tout des humains, qui doivent se sentir à l'aise et respectés pour nous donner des réponses sérieuses et réfléchies. Nous nous concentrons sur la clarté et l'ergonomie des questionnaires. Nous travaillons constamment sur l'engagement global des répondants, en envisageant de nouveaux modèles d'interaction, des mesures incitatives, etc. Des règles d'exclusion sont bien sûr appliquées afin de ne pas sur-solliciter les panélistes, de minimiser leur fatigue et de réduire les biais causés par la répétition d'enquêtes sur des sujets similaires. Pour ce faire, nous conservons pour chaque panéliste l'historique des invitations qui lui ont été envoyées et des enquêtes auxquelles il a répondu.

Évidemment, nos panélistes font dans le même temps l'objet d'un suivi actif dès leur inscription. Nous surveillons en particulier :

• L'hyperactivité : Les répondants trop actifs sont considérés comme suspects, même si rien dans leurs données de réponse n'est particulièrement étrange.
• Les comportements non engagés / suspects : Les répondants qui font de "l'excès de vitesse" (les "speeder", personnes qui répondent beaucoup plus rapidement que la vitesse médiane) ou de la "ligne droite" ("straight-liner", personnes qui cochent les réponses de façon systématique) à plusieurs reprises sont automatiquement purgés une fois qu'ils atteignent un certain seuil de "mauvais comportement". Les répondants qui sont pris en flagrant délit de donner ce que nous pensons être des réponses carrément frauduleuses sont supprimés immédiatement.
• Les "dormants" : Certains comptes panélistes ne répondent presque jamais aux enquêtes que nous leur soumettons. Bien que cela ne pose pas techniquement de problème, nous préférons les éliminer parce qu'ils ne devraient pas compter dans notre pool actif, mais aussi parce que nous préférons éviter le risque de comptes "dormants" - comptes créés spécifiquement pour infiltrer un panel, où l'activité est maintenue très faible pour éviter la détection jusqu'à ce qu'ils soient prêts "pour l'action".

Les panélistes hyperactifs, non engagés (ou soupçonnés de fraude) ou inactifs sont purement et simplement supprimés du panel, de sorte qu'ils ne peuvent plus accéder aux enquêtes. Nous identifions aussi les comportements qui suggèrent que le répondant n'est pas humain (vitesse de réaction ou de frappe irréaliste, signes de copier-coller ou d'insertion de texte, etc.). Nous intégrons encore aux questionnaires des questions pièges, des "pots de miel", c'est-à-dire une question avec laquelle les humains ne devraient pas pouvoir interagir, mais à laquelle un robot tentera de répondre, ainsi qu'une recherche par rapport à une liste de questions ouvertes suspectes connues (questions ouvertes associées à des répondants frauduleux connus, vérification du charabia).

Au-delà du suivi particulier des réponses participant par participant, le contrôle qualité s'intègre dans un processus plus large, élaboré au niveau du groupe par des experts dédiés, qui établissent les grands principes, publient la documentation référente, sont responsables de la formation et du respect des procédures, etc. Ces équipes centralisées sont spécialisées sur chacune de ces tâches : engagement des répondants, gestion des fournisseurs, gestion de l'approvisionnement en échantillons, produits et plateformes connexes, devis, excellence opérationnelle (production, innovation, juridique), research on research, y compris travail sur les nouvelles approches méthodologiques (sciences comportementales, apprentissage automatique, IA). Elles définissent les "bonnes pratiques" et établissent les normes à suivre. Tous les contrôles relatifs au recueil online sont automatisés et entièrement normalisés, pour toutes les régions, pour tous les types d'enquêtes et toutes les sources d'échantillons. A noter que ces normes de qualité évoluent sans cesse : les experts de l'IIS surveillent et examinent constamment les performances de nos modèles, les mettent à jour et intègrent de nouveaux éléments, au fur et à mesure que l'environnement online et les comportements des répondants évoluent.

La protection des données

Comme tout fournisseur d'échantillons, nous sommes soumis à des exigences très strictes en matière de protection et de sécurité des données, imposées par les lois et réglementations en vigueur dans chaque pays.

Nos panélistes peuvent consulter notre politique de confidentialité détaillée au moment de l'inscription au panel. La politique de confidentialité est disponible sur notre site web dédié aux panels Ipsos : https://www.ipsosisay.com/fr-fr/privacy-policy

Elle aborde les points suivants :

• 1. Raisons pour lesquelles nous collectons des informations vous concernant
• 2. Quelles informations personnelles vous concernant collectons-nous ?
• 3. Quelle utilisation faisons-nous de vos informations ?
• 4. Enfants
• 5. Utilisation de cookies et codes similaires
• 6. Utilisation des empreintes numériques, données de l'appareil et autres informations de votre appareil
• 7. Combien de temps conservons-nous vos informations ?
• 8. Comment garantissons-nous la sécurité de vos informations personnelles ?
• 9. Prises de décisions individuelles automatisées, y compris la création de profils
• 10. Comment accéder à vos informations et/ou les corriger et/ou demander leur transfert et/ou leur suppression et/ou déposer une réclamation
• 11. Représentant pour l’UE
• 12. Modifications de notre Politique de confidentialité
• 13. Liens utiles

Nous nous conformons aux normes du CRIC, du MRA et de l'ARF en Amérique du Nord, et aux normes de l'ESOMAR, de l'AIMRI et de l'EFAMRO en Europe. En outre, en Amérique du Nord, nous respectons strictement toutes les lois et politiques en matière d'éthique, de confidentialité et d'anti-spam des organisations suivantes : ARF, PIPEDA, CAN-SPAM.

Nos pratiques en matière de collecte d'informations d'identification personnelle et d'envoi d'e-mails ont fait l'objet d'un audit et sont certifiées conformes à toutes les lois pertinentes en matière de confidentialité et de spam par les deux principales autorités de confiance en ligne : TRUSTe et Sender Score Certified.

Au final et en toute mauvaise foi, il sera toujours possible à un internaute de s'inscrire dans notre panel sous une fausse identité, de participer à quelques enquêtes et de répondre plus ou moins n'importe quoi. A terme, cet internaute sera démasqué par l'une ou l'autre de nos procédures de contrôle, qui relèvera des comportements atypiques, sur la cohérence des réponses, la façon dont les questionnaires sont remplis, la fréquence des enquêtes auxquelles il aura participé, etc. Surtout, ce "travail" de faux panéliste coûtera beaucoup de temps à cet internaute, on ne voit pas très bien quel pourrait être le but recherché. Sur les centaines de milliers de panélistes d'Ipsos, ce type de comportement restera forcément toujours très marginal, et certainement pas à même d'influencer les rapports de force mesurés pour chaque enquête sur des échantillons de plus de 1000 répondants.

Retrouvez notre dossier spécial Présidentielle 2022