peilendoejezo

Een kijkje in de peilingkeuken met Peilendoejezo.nl

Het regende peilingen in de aanloop naar de verkiezingen van afgelopen september. ‘Premier Rutte zakt 2 zetels na het premiersdebat van afgelopen avond’. ‘Roemer krijgt van 70% van de Nederlanders als rapportcijfer een 4.’ Maar wie vertegenwoordigt Nederland eigenlijk in dit soort peilingen? Wie is deze groep mensen die het nieuws bepaalt? En wil Nederland al die peilingen eigenlijk wel? Uit nieuwsgierigheid naar deze vragen begon Coralie Vogelaar met Peilendoejezo.nl, om te peilen hoe peilingen werken.

Dit jaar is een nieuw record verbroken. Nog nooit werd er zoveel aandacht aan peilingen besteed in kranten, radio, televisie en internet als rond de verkiezingen van 2012. Het was als een nieuw spannend spelprogramma getiteld ‘De Slag om het Torentje’, waarbij Nederland via peilingen voortdurend de mogelijkheid kreeg politici weg te stemmen of bonuspunten te geven. Nederland mocht zijn zegje doen in de voorbeschouwingen, zoals vlak voor het ‘Wie wordt de nieuwe premier’-debat in Nieuwsuur. “Rutte en Samsom staan gelijk staan in de peilingen, 52% van Nederland ziet in Rutte een echte leider en 41% in Samson. Hier staat tegenover dat Nederland Samsom wel weer veel eerlijker vindt dan Rutte.” Spannend! “Op naar het debat. ”

Gelukkig mocht Nederland zich ook uiten in de nabeschouwingen. Dit deed Nederland in programma’s als de Wereld Draait Door en in Eén Voor De Verkiezingen. Maurice de Hond was hierbij vaak de spreekbuis en vertelde bijvoorbeeld dat Nederland Alexander Pechtold met een verlies van één zetel afstrafte na zijn afwezigheid tijdens het RTL Debat. “Nederland was hierin teleurgesteld. Hopelijk kan Pechtold deze zetel nog inhalen voor de verkiezingen.” Spannend!  Dat het hier waarschijnlijk om een foutmarge ging (bij politieke peilingen is de foutmarge vaak 2 zetels), werd slim verzwegen. Dat is tenslotte geen nieuws.

Peilingen om nieuws te creëren

De Nederlander is het onderwerp van het nieuws geworden. Waar vroeger peilingen nog ingezet werden om een bepaald beleid of artikel te ondersteunen, wordt het nu gebruikt om nieuws te creëren of om politici te sturen. En hiermee hebben de peilingen een niet te onderschatte invloed op de democratie. Ze worden een self-fulfilling prophecy  waarbij een partij in een opwaartste of neerwaartse spiral kan terechtkomen.

Neem Emile Roemer, die in januari volgens de peilingen ons land regeerde en in september de ‘loser’ van de verkiezingscampagne was. Of Geert Wilders, die het rapportcijfer 3 kreeg. Per jaar krijgen we ook honderden andere ‘feiten’ naar ons hoofd geslingerd. We komen te weten dat allochtonen langer en met meer water douchen, ondernemers in september dit jaar somberder waren over de economie en dat 63% van Nederland vind dat er in de maatschappij gebrek is aan echt onderling contact.

Objectieve peilingen bestaan niet

Terwijl de media steeds meer en meer aandacht aan peilingen besteed, is de wetenschap het erover eens dat een échte objectieve peiling helemaal niet bestaat. Een peilingvraag kan bijvoorbeel nooit volledig objectief gesteld worden. En zelfs al lukt het je de vraag vrij van suggestie te houden, dan hebben de andere vragen van het onderzoek ook nog eens invloed. En dit is maar een topje van alle factoren die van invloed kunnen zijn op de betrouwbaarheid van een peiling.

En wie vertegenwoordigt Nederland nu eigenlijk? Wie is deze groep mensen die het nieuws bepaalt? Voelt u zich goed vertegenwoordigd? En wil Nederland al die peilingen eigenlijk wel? En zo niet – wie doen dan eigenlijk wél met al die peilingen mee?

De eerste telefonische peiling van Peilendoejezo.nl

Hierna volgen een aantal stellingen. Kunt u aangeven in hoeverre u het met deze stellingen eens bent?  ‘Er zijn politieke partijen die dankzij de peilingen beter of slechter scoren in de verkiezingsuitslag’.

“Mee oneens.”

“Oké. De volgende stelling: ‘Bij de verkiezingen in 2010 heb ik mij in mijn stemgedrag laten beïnvloeden door de peilingen’.”

… Tja… Eigenlijk wel… Mee Eens.  Eh…   Mag ik misschien bij de vorige vraag nog iets anders antwoorden?”

Om iets écht te begrijpen en een mening te vormen, moet je het ervaren. En dus ben ik zelf Nederland gaan bellen om te vragen wat ze van al de peilingen en peilers vinden.

Een kijkje in de keuken

En hierin is mijn methode anders dan de andere peilingbureaus. Ik bied namelijk Nederland een kijkje in de keuken.

In totaal had ik de beschikking over 6000 opgekochte nummers (3000 vast en 3000 mobiel) bij DESAN Research Solutions, een gerenommeerd bedrijf in het verzamelen, bewerken en rapporteren van data voor markt- en opinieonderzoek. En met behulp van socioloog Jasper Muis, verbonden aan de VU, kon ik de juiste vragen en wegingsfactoren opstellen.

Bellen wordt door veel statici een van de betrouwbaardste methoden van peilen gevonden. Maar na vijf dagen bellen was de respons 10%. De helft nam niet op en 80% wilde niet meedoen aan het onderzoek. Hier stuiten we dus al meteen op het grootste probleem in opinieonderzoek; de grote hoeveelheid non-respons.

Dit probleem is bij online panels nóg erger. Bij online panels ervaar je dit echter niet aan den lijve. Mensen melden zich immers alleen aan als ze ook graag hun mening willen uiten. De selectie vindt op zo’n moment dan ook niet random plaats – zoals ons telefonisch onderzoek – maar door middel van zelfselectie.

Maurice de Hond vermeldt om deze reden op zijn website peil.nl, waarop iedereen zich kan aanmelden, dat hij Nederland ter controle ook nabelt, om te kijken of zijn panel nog representatief is. Maar is dit zo? Uit onderzoek binnen ons eigen telefonische panel van 6000 nummers blijkt dat 0% van Nederland ooit gebeld is door Maurice de Hond.

Deelnemers liegen

Een ander probleem van online panels is dat je wel erg makkelijk kan liegen. Bij peil.nl kan je dit zelfs zo vaak doen als je wilt. Je kan je namelijk meerdere keren aanmelden als je verschillende e-mailadressen hebt. Ik nam de proef op de som en heb mij aangemeld – over een periode van 2 maanden – van 100 CDA’ers oplopend tot in totaal 2500. Elke week werden al mijn CDA’ers netjes uitgenodigd met de mededeling ‘u bent in de steekproef van deze week gevallen’.

Hieruit blijkt dat iedereen wordt uitgenodigd. Van een random steekproef is bij peil.nl dus geen sprake. Maar dit lijkt eigenlijk nog niet eens het grootste probleem; er is een kans dat een flink deel van de panelleden misschien wel meerdere keren in één peiling meedoet. Zou de PvdA misschien dit jaar stiekem nep SP’ers hebben aangemeld die naar de PvdA overliepen? Het zou zomaar kunnen.

Krantwaardig?

Na vijf dagen intensief telefonisch peilen was het erg spannend om de resultaten te ontvangen. Wat vindt Nederland van al die peilingen? Was Nederland bijvoorbeeld voor een verbod op peilingen twee weken voor de verkiezingen?

Het bleek dat 23% van de Nederlanders voor een algeheel verbod is. Het vermoeden is dat dit percentage hoger was uitgevallen als het minder stellig was opgesteld. Het woord ‘verbod’ vervangen door ‘peilingvrije periode’ en erbij vermeld dat dit in sommige Europese landen al het geval is, was de uitslag waarschijnlijk aanzienlijk hoger geweest. En misschien had deze uitkomst wel in alle kranten gestaan.

Hoe suggestiever hoe beter

Mijn veronderstelling is, hoe suggestiever je vraag, hoe interessanter de uitkomst en aantrekkelijker voor de media. Deze stelling brengt mij op de volgende gedachte: is de opiniepeiler die het meest in de krant staat misschien ook het onbetrouwbaarst?

In mijn telefonische peiling kreeg Maurice de Hond het rapportcijfer 6. Dit is misschien niet erg krantwaardig, het is tenslotte een voldoende. We besloten het een ‘magere zes’ te noemen voor de media. Op de website van Maurice de Hond, peil.nl is het overigens wel opvallend dat het Nederlands elftal het cijfer 5,8 krijgt voor hun miserabele prestaties op het EK. Nederland vindt dus dat Maurice de Hond hetzelfde presteert als het Nederlands elftal tijdens het EK 2012.

Foutmarge

Een ander resultaat van onze peiling was dat 70% van Nederland aangaf dat er een foutmarge vermeld zou moeten staan bij de publicatie van peilingen. Zoals al te zien was in het eerder genoemd voorbeeld van ‘De Wereld Draait Door’ houdt Maurice de Hond zich hier niet aan.

Maar ineens was daar in de laatste uitzending op de vooravond van de verkiezingen een primeur. We waren verrast, met stomheid geslagen en vooral verrukt. Maurice de Hond noemde bij zijn laatste peiling een foutmarge van wel 4 zetels! Eindelijk duidelijkheid over de veelbesproken foutmarges. Hierbij kan je je afvragen wat zo’n mededeling – ineens uit het niets – nu betekent. Als je nu wel foutmarges noemt, hoe moet je dan de peilingen in de voorafgaande uitzendingen interpreteren? Zijn deze dan eigenlijk onzinnig?

Toekomst Peilendoejezo.nl

Peilendoejezo.nl gaat door en wil een waakhond zijn van alle peilingbureaus.

Vragen voor de toekomst zijn er legio. Wilt u liever Maurice de Hond van de buis? Of vindt u dat Maurice de Hond moet aangeven hoe de steekproef wordt getrokken en hoe groot de respons meestal is? Herkent u zich in de peilingen? Zegt u ook weleens ‘ja’ terwijl u eigenlijk nee bedoelt? Vindt u het bezwaarlijk dat TNS NIPO vaak in opdracht van fabrikanten van geneesmiddelen werkt? Gaat u selectief om met informatie?

De kranten vermelden nu alweer hoe de PvdA en de VVD ervoor staan in de peilingen. We kunnen er blijkbaar geen genoeg van krijgen. Peilendoejezo.nl wil graag dat we ook in de krant kunnen lezen of dit wel zo is.

Vinden jullie het spannend? Ik wel!
_____

Peilendoejezo.nl is voortgekomen uit de masterclass ‘Curating Reality’georganiseerd door het Mediafonds en het Sandberg InstituutDit artikel is tot stand gekomen met steun van 609, het tijdschrift van het Mediafonds.

Eén reactie

  1. Theo Dersjant schreef op 16 oktober 2012 om 11:55

    X (Ja, ik vind het spannend! Ga door!)

Geef een reactie

Je e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Meer over Achtergrond (24 van 49 artikelen)
curacao brandpunt


De afgelopen weken was Curaçao prominent in het nieuws. Er was dan ...