Mener à bien une enquête aléatoire en population générale par téléphone

Les enquêtes construites à partir d’un échantillon aléatoire sont, par définition, celles pour lesquelles chaque individu de la population étudiée a une probabilité d’inclusion connue par avance.Cette technique, très peu utilisée par les instituts de sondages en France, repose sur le principe que la personne tirée au sort réponde au questionnaire. Dans cette logique chaque individu est donc unique et irremplaçable…

Les enquêtes aléatoires, c’est quoi ?

La méthode des enquêtes aléatoires impliquent :

  • De constituer une base de sondage la plus exhaustive possible en tenant compte des comportements actuels selon l’usage du téléphone utilisé (fixe ou mobile)
  • De mettre en place un protocole d’appel ainsi qu’un ensemble d’actions visant à maximiser le taux de participation, dans un contexte où ce dernier est en baisse depuis quelques années

Habituellement plus coûteuses à la fois en termes de temps et d’argent, elles laissent souvent place aux méthodes par quotas.
Toutefois, comme les unités de la population sont sélectionnées au hasard et qu'il est possible de calculer la probabilité d'inclusion de chaque unité dans l'échantillon, on peut, grâce à un échantillonnage probabiliste, produire des estimations fiables, ainsi que des estimations de l'erreur d'échantillonnage (1).

L’utilisation des méthodes aléatoires permettent notamment d’augmenter la probabilité d’interroger des individus habituellement difficiles à joindre dans les enquêtes réalisées actuellement dans les instituts de sondages français.
Elles cherchent également à limiter les refus grâce à un jeu d’argumentaire visant à persuader la personne sélectionnée d’accepter de répondre à l’enquête.
Cependant la mise en place d’une telle méthode complexifie le processus de collecte qui doit répondre à une double contrainte : celles de la qualité statistique et de l’opérationnalité.

Le cas du Baromètre santé 2014

Descriptif de l’enquête

L’INPES (2), acteur de santé publique, mène depuis 1992 une série d’enquêtes nommées, les Baromètres santé, mesurant les perceptions, attitudes et comportements en matière de santé des personnes résidant en France. Depuis plus de 20 ans, ces enquêtes menées au téléphone alimentent une base de données permettant d’établir un état des lieux sur différents thèmes de santé tels que le tabagisme, l’alcoolisation, les consommations de drogues illicites, les pratiques vaccinales…

Les résultats issus des Baromètres santé sont mis à la disposition de l’ensemble des acteurs concernés par la prévention, l’éducation et la promotion de la santé. Ils disposent ainsi d’éléments scientifiques pour communiquer sur les grandes questions de santé et engager des actions sur la foi de faits validés par la communauté scientifique (3).
Dans ce cadre, le dispositif prévu pour réaliser le Baromètre santé doit garantir une grande qualité et fiabilité des données recueillies permettant de maximiser le taux de participation à l’enquête, de limiter les refus et les injoignables.

Le septième exercice de ces Baromètres santé a été réalisé entre les mois de novembre 2013 et mai 2014 auprès d’un échantillon de plus de 15 000 personnes âgées de 15 à 75 ans. Les personnes interrogées ont été sélectionnées au moyen de numéros de téléphone générés aléatoirement. Deux échantillons ont été générés : un échantillon de numéros de téléphone dits « géographiques » (en 01,… 05) et un échantillon de numéros de téléphones mobiles (06, 07).

Enfin, les ménages disposant d’une ligne fixe mais uniquement joignables par un numéro non géographique (commençant par 08 ou 09), ont été interrogés à partir de leur mobile.

Analyse d’un changement majeur dans la constitution de la base de sondage

Compte tenu de l’évolution de la téléphonie en France et des nouveaux usages, il nous a semblé important de ne pas restreindre la base des téléphones mobiles aux seuls « exclusifs mobiles » mais de lui donner une part équivalente à celle du téléphone fixe. L’a priori que le profil des ‘multi équipés’ (fixe&mobile) soit identique selon que l’appel soit réalisé sur téléphone fixe ou mobile n’a jamais été démontré.

Une analyse des deux échantillons sera présentée :

  • Profil socio démographique des deux échantillons
  • Etude des sous populations :

- Exclusifs mobiles
- Exclusifs filaires
- Multi équipés (fixe & mobile) selon qu’ils soient contactés sur fixe ou mobile
- Etc.

Analyse du protocole d’appel et actions menées sur le terrain

Notre démarche consiste à appréhender le processus d’interrogation dès le premier contact avec le ménage jusqu’à la réalisation du questionnaire avec la personne sélectionnée. L’objectif étant de dresser à la fois un profil des personnes contactées ainsi que celui des personnes interrogées, ce qui permettra, in fine, d’amener des pistes de réflexion quant au protocole à utiliser pour les enquêtes aléatoires.
Pour ce faire, notre analyse portera sur différents dispositifs mis en place sur le Baromètre Santé 2013-2014, qui sont :

  • Les moments d’appel
  • Le nombre d’appels
  • L’envoi d’un SMS
  • Le message sur répondeur
  • Et le rappel des refusants

Certains d’entre eux ont été définis en amont de la réalisation de l’enquête dans la continuité de ce qui est produit aujourd’hui dans les études en aléatoire comme les moments et nombre d’appels. D’autres ont été introduits en cours de terrain pour s’adapter aux nouveaux comportements de la population (4) comme le recours au SMS et au message sur répondeur.

A travers cette analyse, nous cherchons à mesurer l’impact de ces dispositifs sur notre échantillon aléatoire pour en dégager des profils, définis en fonction de certaines variables renseignées lors de la composition du ménage, qui sont :

  • Le type de téléphone (fixe/mobile)
  • Le sexe
  • L’âge
  • La situation d’emploi (actif/inactif)
  • Et le nombre de personnes dans le ménage

Nous effectuerons cette analyse sur deux niveaux :

  • Un premier niveau dit « ménage », sur la base des personnes ayant décroché et décrit le ménage
  • Et un second niveau dit « individu », sur la base des personnes sélectionnées via la méthode Kish

 

Les moments d’appel

Nous avons défini lors de la construction du protocole d’appel cinq moments, en fonction du jour et de la plage horaire de l’appel.
Ces tranches ont été construites de façon à multiplier les chances de contacter un ménage en imposant au minimum un passage sur chacun des moments et en priorisant ceux où le taux de décrochés est le plus élevé.

Ce que nous souhaitons mettre en avant à travers ce dispositif :

  • Quelles sont les moments les plus propices pour établir un contact ? Ou réaliser une interview ?
  • Le moment d’appel détermine-t-il la réalisation d’une interview ? Ou un refus ?
  • Lorsque l’individu sélectionné est celui qui a décroché, est-il plus enclin à répondre à l’enquête?
  • Les interviews sur mobile sont-elles réalisables à n’importe quel moment de la journée ?
  • Les actifs répondent-ils mieux en fin de journée ?
  • Les femmes répondent elles mieux en journée que les hommes ?
  • Les 18-25 ans sont-ils joignables plus joignables en journée ou en soirée ?
  • Les familles nombreuses sont-elles joignables entre 18h et 21h ?

 

Le nombre d’appels

Dans la majorité des enquêtes aléatoires téléphoniques actuelles, le nombre d’appels pour une adresse est compris entre 12 et 20 appels. Cependant pour le Baromètre Santé 2013-2014, nous avons poussé le coefficient d’insistance jusqu’à 40 appels avant d’abandonné un numéro.

Ce que nous souhaitons mettre en avant à travers ce dispositif :

  • Au-delà de 15 appels, qui arrivons-nous à contacter ? Et au-delà de 25 appels ?
  • Quel est le nombre d’appels nécessaire pour optimiser le taux de réponse, sans aller jusqu’au harcèlement ?
  • Pour aboutir à un contact ou à une interview, le nombre d’appels est-il différent s’il s’agit d’un téléphone fixe ou mobile ?
  • Qui arrive-t-on à joindre lors du premier contact avec le ménage ?

 

Le message sur répondeur

Pour les numéros de mobile appelés au minimum 7 fois et pour lesquels nous n’avions pas eu de réponses, un message les informant de l’étude a été déposé sur leur répondeur :
« Bonjour, Je vous appelle de la part de l’I.N.P.E.S, l’Institut National de Prévention et d’Education pour la Santé, nous cherchons à vous joindre pour une enquête scientifique d’intérêt général sur les comportements liés à la santé. La participation de toutes les personnes tirées au sort assurera la qualité des résultats. Nous essaierons de vous recontacter ultérieurement »

Par la suite, cette action a été généralisée auprès de l’ensemble des individus disposant d’un mobile ayant été appelés au moins 4 fois sans avoir décroché.
La décision de laisser un message uniquement sur mobile a été prise en cours de terrain, lorsque la proportion de code « Répondeur » semblait bien trop importante par rapport au téléphone fixe.
En effet, sur mobile le numéro étant inconnu à l’utilisateur et s’affichant à répétition sur son écran il est possible que la non-réponse soit volontaire. Une fois le message laissé, le numéro est ainsi explicitement associé à l’étude.

Ce que nous souhaitons mettre en avant à travers ce dispositif :

  • Le numéro n’étant plus inconnu suite au message vocal, quel en est l’impact sur le taux de décrochés ?
  • Quel contact obtenons-nous directement après ce message ?
  • Une sous-population est-elle plus réceptive aux messages sur répondeur ?

 

L’envoi d’un SMS

Toujours dans un souci d’optimisation du taux de réponse, l’envoi de SMS a été opté lors de la réalisation de la collecte. Ce procédé intervient après le dépôt du message vocal.
Ces messages sont destinés aux personnes qui ont été appelés plus de 8 fois.
Le format du sms étant limité à 160 caractères, deux SMS ont été envoyés l’un après l’autre :
Premier SMS :
« L’INPES, organisme public, cherche à vous joindre dans le cadre de sa grande enquête Baromètre Santé. Merci par avance de votre participation »
Second SMS :
« L’INPES vous appellera prochainement. Pour plus d’informations : http:// www.inpes.sante.fr/Barometres/BS2014 et notre hotline : 01.XX.XX.XX.XX »

Ce que nous souhaitons mettre en avant à travers ce dispositif :

  • Quel est l’impact de ces SMS sur le taux de réponse ?
  • Une sous-population est-elle plus réceptive à ce dispositif ?

 

Le rappel des refusants

Les personnes ayant manifesté leur refus de participer à l’enquête ont été recontactées par un autre enquêteur. Ce rappel fait l’objet d’une seconde étude dans le dispositif d’enquête.

Si le refus reste une des réponses possible dans les enquêtes probabilistes nous souhaitons les réduire le plus possible. Le premier refus enregistré n’est pas considéré comme définitif. En effet, les numéros dont le premier résultat est un refus ont été rappelés après un certain délai par une équipe spécialement formée, en respectant certaines règles (enquêteur différent, moment d’appel différent …) et en connaissant la raison du premier refus pour être mieux armé pour adapter son discours et argumenter en faveur de l’enquête.

Ce que nous souhaitons mettre en avant à travers ce dispositif :

  • Quel est l’impact du rappel des refusants sur le taux de réponse ?
  • Comment mieux comprendre les raisons de refus pour adapter son discours lors du rappel ?
  • Quel est le profil des personnes répondant suite au second appel ?
  • Les hommes refusent-ils plus de répondre aux enquêtes lorsque nous les contactons sur leur mobile?

(1) Site internet Statistiques Canada : Méthodes d'échantillonnage
(2) INPES - Direction des affaires scientifiques
(3) Site internet INPES
(4) CREDOC 2013 enquête sur les conditions de vie et les Aspirations : 89% des 12 ans et plus possède en 2013 un téléphone mobile et 39% sont équipés en smartphone

Société