Persbericht: NMO Luisteronderzoek voldoet aan eisen en levert betrouwbare currency

Amsterdam, 25 September 2023 

NMO Luisteronderzoek voldoet aan eisen en levert betrouwbare currency

Onafhankelijke audit door CESP onderschrijft de kwaliteit van de meting

Begin 2023 werd het totaal vernieuwde NMO Luisteronderzoek gelanceerd. NMO gaf het onafhankelijke auditbureau CESP de opdracht om het nieuwe luisteronderzoek, uitgevoerd door Ipsos en Kantar Media, te evalueren. CESP stelt na uitgebreid onderzoek vast dat de nieuwe meting aan de hand van de MediaCell+ app van Ipsos betrouwbaar is, methodologisch voldoet en een bruikbare currency voor de Nederlandse media-industrie oplevert.

Innovatie voor de Nederlandse media-industrie

CESP beschouwt het nieuwe NMO Luisteronderzoek als een echte innovatie voor de Nederlandse media-industrie. De keuze voor de elektronische passieve meter levert een fijnmazig inzicht op in het luistergedrag van de Nederlandse bevolking (minuten versus kwartieren), wat nieuwe mogelijkheden voor analyses opent. CESP concludeert dat de nieuwe meting geschikt is voor het beoogde doel (“fit-for-purpose”) en een betrouwbare currency oplevert die door de Nederlandse media-industrie kan worden gebruikt. CESP heeft enkele kanttekeningen geplaatst bij de wijze waarop de data van 13-17-jarigen (o.b.v. een dagboekmethode) worden toegevoegd aan de data van 18+ (o.b.v. de MediaCell+ app) en vraagt NMO om een alternatieve methode te overwegen. CESP doet ook een aantal suggesties voor mogelijke verbeteringen en heroverwegingen. NMO, Ipsos en Kantar Media hebben een aantal verbeteringen al doorgevoerd en werken samen om de andere suggesties van CESP op te volgen.  Vanwege de grote methodologische veranderingen adviseert CESP om de uitkomsten van het luisteronderzoek niet te vergelijken met de resultaten van het voorgaande onderzoek.

Naast de audit van het systeem, voerde CESP een uitgebreide technische test uit met betrekking tot de kwaliteit van de MediaCell+-app om het luistergedrag via FM, DAB+ en IP te meten en te rapporteren. De technische test bestond uit meer dan zeshonderd tests van radiosessies in verschillende omgevingen (thuis, op het werk, in een open ruimte en in een auto) en configuraties (verschillende geluidsniveaus, soorten smartphones, diverse opbergplekken van smartphones, verschillende ontvangstwijzen en typen radiostations). De tests leveren een positief resultaat op met een matchingspercentage van 97% van alle radiosessies en een rapportage van 98% van de luistertijd. Dit is ruim boven de internationale standaard van 95% accuratesse. De tests waren gebaseerd op uitsluitend audiomatching. Wanneer encoding voor alle zenders wordt ingezet (naar verwachting in 2024), mag worden aangenomen dat het rapportagepercentage zelfs nog hoger komt te liggen.

CESP is vooral te spreken over de volgende onderdelen van het nieuwe luisteronderzoek:

• De single-source-aanpak om al het (lineaire) luistergedrag te meten, en in een latere fase het crossmediale gedrag.
• De combinatie van verschillende technologieën om het luistergedrag te meten, d.w.z. MediaCell en RealityMine in dezelfde app.
• De mogelijkheid om met verschillende technieken radiozenders te herkennen, zowel op basis van audiomatching als encoding.
• De reference-site die zeer goed beveiligd en redundant uitgevoerd is.
• De combinatie van verschillende bronnen om het Multimedia Panel (het panel waarin het luistergedrag wordt gemeten) te werven en de talrijke acties die zijn uitgevoerd om het panelbeheer en de inzet van vragenlijsten te verbeteren. Dit heeft geleid tot een zeer gering verloop van het panel.

Ruimte voor verdere optimalisaties

Het nieuwe onderzoek is innovatief van aard, wat per definitie inhoudt dat er ruimte is voor verbeteringen en optimalisaties. De CESP-auditors dragen twee methodologische verbeterpunten aan:

• Onderzoek een alternatieve methodologie om het luistergedrag van 13-17 jaar te meten of overweeg deze jongeren uit te sluiten van de onderzoekspopulatie. Hier speelt dat de doelgroep van 13-17-jarigen niet gemeten kan worden aan de hand van de MediaCell+ app. Daarom is voor hen een dagboekmethode ontwikkeld. Bij het combineren van de dataset van de 13-17-jarigen en de dataset van 18+ wordt een weging toegepast om de dagboekdata in lijn te brengen met de elektronisch gemeten data. 
• Stop met het gebruik van adressen die zijn verkregen via de methode van “snowballing” (bij de sneeuwbalmethode wordt aan panelleden gevraagd of men nog anderen kent die mee willen doen) en verwijder panelleden die al zijn geworven via deze methode. Dit advies van CESP is inmiddels opgevolgd.

NMO blijft samen met Ipsos en Kantar Media werken aan verbeteringen om het onderzoek nog verder te perfectioneren, zoals:

• Het verhogen van de representativiteit van het panel en de werving van bepaalde doelgroepen: 18-34-jarigen, lager opgeleiden, inwoners van de drie grote steden, huishoudens van vijf personen of meer.
• Het verbeteren van de kwaliteitscontroles, zoals controles op de kwaliteit van de antwoorden op de wervingsvragen.
• De mogelijkheid om de (wervings)vragenlijsten in te korten.
• Het differentiëren van de incentives en de communicatie.
• Het toevoegen van encoding voor alle radiozenders.
• Het verder ontwikkelen van RealityMine.

Patricia Sonius, directeur onderzoek NMO, over de CESP-audit: ‘Wij danken CESP voor de uitgebreide audit die zij hebben uitgevoerd op het nieuwe luisteronderzoek. Uit de audit blijkt opnieuw dat we een gedegen meting hebben neergezet die voldoet aan de uitgangspunten die ook internationaal gelden. Een systeem om trots op te zijn. We zullen goed kijken naar de suggesties die CESP heeft gedaan om het onderzoek te optimaliseren. Wij hebben als NMO zelf ook verbeterpunten vastgesteld die passen bij dit innovatieve project. Veel dank ook aan Ipsos en Kantar Media die hun volledige medewerking hebben verleend aan deze audit en nu samen met NMO werken aan verdere verbeteringen.’

Olivier Daufresne, adjunctdirecteur CESP, vat de audit als volgt samen: 'De audit laat zien dat het nieuwe NMO Luisteronderzoek geschikt is voor het beoogde doel en dat deze een betrouwbare currency oplevert die kan worden gebruikt door de Nederlandse media-industrie. Voor de doelgroep 13-17-jarige adviseren wij NMO om een andere aanpak in overweging te nemen. CESP heeft suggesties gedaan die NMO en de onderzoeksbureaus kunnen gebruiken om het onderzoek nog verder te optimaliseren.’

Het onderzoek door CESP liep van januari 2022 tot en met maart 2023 en de door CESP uitgevoerde technische tests van de MediaCell+-app werden uitgevoerd in mei 2023. De conclusies zijn op 14 september gedeeld met de stakeholders en op 25 september met het bestuur.

Over NMO

Nationaal Media Onderzoek (NMO) is een initiatief van de vier organisaties voor mediabereiksonderzoek in Nederland: Stichting KijkOnderzoek (SKO), Nationaal Luister Onderzoek (NLO), Nationaal Onderzoek Multimedia (NOM) en Verenigde Internet Exploitanten (VINEX). Via deze organisaties zijn alle grote Nederlandse media-exploitanten, uitgevers en omroepen betrokken, evenals de ‘bond van Adverteerders’ (bvA) en het ‘Platform Media Adviesbureaus’ (PMA).

Stichting Buitenreclame Onderzoek (BRO) maakte in 2022 de samenwerking met NMO bekend. Het is de bedoeling dat (Digitale) Out of Home in 2024 een volwaardig onderdeel van NMO gaat uitmaken.

Door het kijken, luisteren, lezen en internetten van de Nederlandse bevolking te combineren in één geïntegreerd systeem, zal NMO diepere inzichten leveren om de Nederlandse mediaconsument beter te begrijpen en rijkere currencies en standaarden voor alle media mogelijk te maken. De nieuwe aanpak zal adverteerders en bureaus in staat stellen de prestaties van mediakanalen te optimaliseren, zowel afzonderlijk als gecombineerd in één crossmediale campagne.

Ipsos en Kantar Media werden aangesteld om één geïntegreerd meetsysteem te ontwikkelen dat de standaarden van tv/video, radio/audio, print (magazines en nieuwsmedia) en internet voedt. Het systeem voldoet aan de hoogste normen en eisen voor ontwerp, dataverzameling en dataverwerking.

Over CESP

CESP is een Franse non-profit-organisatie voor organisaties en bedrijven in de reclame- en media-industrie die betrokken zijn bij bereiksonderzoek en de effectiviteit van mediacampagnes. CESP controleert namens haar leden alle currency-onderzoeken in alle soorten media: internet, tv, gedrukte media, outdoor, radio en bioscoop.

CESP beschouwt zichzelf als een ideeënlaboratorium en een neutraal en onafhankelijk forum voor het evalueren van innovaties en de conventies die de verschillende stakeholders in de mediasector gezamenlijk moeten definiëren. Als een alom vertrouwde externe organisatie levert CESP ook certificerings- en adviesdiensten, zowel in Frankrijk als daarbuiten.