Krokodillentranen Laroes en Taselaar na poll-echec

Welbeschouwd was het een gelijkspel, woensdagavond, in het mini-wedstrijdje dat opiniepeilers TNS Nipo en Maurice de Hond hielden. Toen het stof van de verkiezingen was neergedwarreld, bleken de onderzoekers er in hun exitpolls beiden 16 zetels naast te hebben gezeten. Hans Laroes (NOS) en Harm Taselaar (RTL) lieten daarop weten (ANP) ‘teleurgesteld’ te zijn in de peilingen. Krokodillentranen! Beiden wisten of hadden moeten weten dat de betrouwbaarheid van de peilingen van alle kanten in twijfel werd getrokken. Ze trokken zich er niets van aan.

Het kleine wedstrijdje, woensdagavond, werd om die reden vooral een blamage voor de journalistiek. Hoe kon zoveel vertrouwen worden geschonken aan bronnen waarvan niet eens was na te gaan hoe betrouwbaar die waren? Maar nog belangrijker: welke les valt er uit het poll-echec te kiezen?

Als er al sprake was van een onderlinge wedstrijd tussen NOS en RTL, die woensdagavond, dan verdient RTL zonder enige twijfel de hoofdprijs voor de grootste misser. Om precies dertien minuten voor negen begon de zender met omstandig uit te leggen hoe ongelofelijk betrouwbaar de straks te presenteren exit-poll wel niet was. Er waren immers 26.000 kiezers ondervraagd, alle denkbare methoden die het Nipo ter beschikking stonden, waren ingezet. Straatgesprekken, databanken… Uiteindelijk, zo schatte een woordvoerder van TNS Nipo, zou de werkelijke uitslag hooguit een zeteltje kunnen schelen met de peiling van zijn bedrijf. Hoe anders bleek de werkelijkheid.
RTL mag ook de risee van de verkiezingsavond worden genoemd, omdat het stoer met de borst vooruit de exit-poll bekendmaakte nog voor de stemlokalen de deuren sloten. De enig denkbare reden daarvoor zal het opkrikken van de kijkdichtheid zijn geweest. Het argument dat het handjevol kiezers dat nog na tien voor negen een stem moest uitbrengen, de uitslag niet meer zou kunnen beinvloeden, doet daarbij wat potsierlijk aan. Want de volgende keer kunnen er best nog wel een paar minuutjes vanaf (zal de concurrent denken).

De NOS had overigens weinig redenen opgelucht naar de concurrent te kijken. De peiling van De Hond, weliswaar met minder tromgeroffel gepresenteerd, bleek geen snipper betrouwbaarder. Eerder verklaarde Hans Laroes bij De Nieuwe Reporter zich niet zo’n zorgen te maken over de betrouwbaarheid van peilingen. ‘Maar de peilingen benaderen de werkelijkheid toch veel beter dan hij suggereert’, reageerde Laroes op kritiek van hoogleraar J. van Holsteyn op de manier waarop de pers met de cijfers omgaat. Laroes voegde er nog fijntjes aan toe: ‘(…) het verwijt dat de peilingen een werkelijkheid opleveren die niets met de echte voorkeuren van de kiezers te maken heeft, is werkelijk nergens op gebaseerd’.

Maar wat geweest is, is geweest. De kernvraag, die Laroes en Taselaar zich ongetwijfeld zullen hebben gesteld, is welke conclusies er getrokken moeten worden uit deze statistische glijpartij.

TNS Nipo verklaarde zelf alle instrumenten uit de kast te hebben gehaald om het summum van betrouwbaarheid te kunnen bereiken. En zelfs in dat geval bleek de voorspelling er nogal naast te zitten. Wat betekent dat voor de eerdere opiniepeilingen, waarbij blijkbaar veel minder hulpmiddelen waren gebruikt? Die moeten per definitie nog meer naast de werkelijkheid hebben gezeten.

Nou is het probleem met peilingen voor de verkiezingen dat de peilers – in geval de echte uitslag nogal afwijkt – zich altijd kunnen verschuilen achter het argument dat de kiezers blijkbaar de laatste dagen en uren ‘op drift’ zijn geraakt. Op die manier blijkt het betrouwbaarheidsgehalte van peilingen nooit te bekritiseren.

Ook om die reden vormden de exit-polls van afgelopen woensdag een bijzondere kans te zien of er een verschil zat tussen de meting en de uitslag. Het betrof hier immers niet de voorspelling ‘als er vandaag verkiezingen zouden zijn’, maar er was daadwerkelijk gestemd! De uitkomst is niet bemoedigend en er mogen conclusies aan worden verbonden over de betrouwbaarheid van de tussentijdse peilingen.

Niet onbelangrijk is voorts de vraag of de hoofdredacties van beide nieuwsorganisaties alles in het werk stelden om zich te overtuigen van de betrouwbaarheid van hun bron. Dat is namelijk een gangbaar journalistiek uitgangspunt. Scherper gesteld: zouden journalistieke organisaties niet inzicht in de onderzoeksmethodes moeten eisen (en dat door wetenschappers moeten laten beoordelen) alvorens gebruik te maken van de cijferbrij der peilers?

Misschien een kans voor het Genootschap van Hoofdredacteuren? Dat kan in naam van de belangrijkste journalistieke organisaties onderzoek laten doen naar de gehanteerde methoden. Data van opiniepeilers die geen kijkje in hun keuken willen geven, zouden niet meer gebruikt moeten worden (door serieuze nieuwsorganisaties). De betrouwbaarheid is immers niet aangetoond c.q. onderzocht.

En zelfs dan nog kunnen peilers er naast zitten. Die kans een flater te slaan neemt overigens toe naarmate de drang groter wordt om gedetailleerde uitspraken te doen.

Want eerlijk is eerlijk: zowel TNS Nipo als De Hond hadden de uitslag in grote lijnen wel degelijk voorspeld. Het CDA zou de grootste partij worden, de SP zou wellicht in zetelaantal de VVD voorbijgaan, een linkse meerderheid zat er niet in en ook een kabinet ‘over rechts’ zou lastig worden.

De conclusie lijkt dan ook voor de hand te liggen. Laat de peilers alleen nog uitspraken doen over ruwe electorale bewegingen. Die blijken voorspelbaar op grond van peilingen. Exacte zetelaantallen zijn – mogen we vaststellen – zelfs met 26.000 onderzochte personen lastig in kaart te brengen.

En misschien moeten De Hond en TNS Nipo de volgende keer hun uitkomsten optellen en delen door twee. In dat geval zouden ze het woensdag namelijk behoorlijk goed hebben gehad.

Theo Dersjant –

Theo Dersjant (1957) is mediajournalist en docent aan de Fontys Hogeschool Journalistiek in Tilburg. In 2000 verscheen van zijn hand het boek 'Uit onbetrouwbare bron - de mooiste missers in de media'. In 2014 verscheen zijn boek 'Oud bestuur - een jaar ongenode gast bij een waterschap'.

Alle artikelen van Theo Dersjant op De Nieuwe Reporter.

  • Opvallend genoeg zaten de peilingen vooraf er net zo veel naast als de exitpolls. Dit blijkt uit een berekening die Adfoblog maakte in de verkiezingsnacht. Dat is opvallend, want van een prognose zou je meer onzorgvuldigheid verwachten dan van een exitpoll (die daadwerkelijk stemgedrag meet). Aan alle kanten gaan er nu stemmen op dat al die opiniepeilingen het stemgedrag hebben gemanipuleerd. Laroes en Taselaar zouden zich deze kritiek serieus moeten aantrekken.

  • Elmer Smaling

    Lijst Vijf Fortuyn en D66 zijn bij deze verkiezingen op grond van (blijkbaar dus onbetrouwbare) peilingen niet meer uitgenodigd voor de grote tv-debatten. Het is duidelijk dat prominente deelname aan verkiezingsdebatten geen garantie voor succes is, maar afwezigheid nog veel minder.

    Het is een interessant gedachte-experiment (niet per definitie van toepassing op LVF en D66) hoe een partij die ten onrechte tijdelijk laag scoort in de peilingen nog uit de daarop volgende negatieve spiraal kan komen.
    De partij wordt niet meer uitgenodigd voor debatten en het enige nieuws rondom de partij is negatief nieuws (hoe komt het dat u zo laag scoort in de peilingen, meneer Pechtold). Hoe groot kan dan de invloed van verkeerde peilingen zijn. En hoe zinvol of zelfs beschadigend is het dus om elk politiek programma op tv met nieuws over de peilingen te beginnen, zoals dit jaar gebeurde.

  • Erik van Heeswijk

    Overigens: de middeling van alle peilingen zat er beduidend minder naast dan de peilingen afzonderlijk:
    http://www.internetjournalist.nl/pivot/entry.php?id=351

  • Hees

    Valt er eigenlijk te peilen hoeveel geld er in deze branch wordt verdient aan al dat broddelwerk? Of wat serieuzer: wat is de return-on-investment?
    Hoe de commerciëlen aan hun geld komen intereseert mij niet maar wel wat de publieken hieraan uitgeven.

  • Vraag jij je ook altijd weer af wat de productiekosten zijn van Lingo, Hees? ;)

  • Hees

    Nee Jeroen, en dat heb ik ook nooit gedaan. Lingo is duidelijk geen broddelwerk, smiley ten spijt. Maar hiermee lijkt de discussie een wending te krijgen. Mijn excuses, dat was niet mijn bedoeling.

    Ik vind het een teleurstelling dat goedbetaalde bedrijven geen goede producten of diensten kunnen leveren. Nog grotere teleurstelling als het lijkt dat het gebruikelijk is en dat niemand daar van opkijkt.

  • Carel Brendel

    Er zijn twee soorten peilingen:
    1. de gebruikelijke peilingen met rond 1500-2000 deelnemers, waarmee de bureaus de politieke dagkoersen bepalen.
    2. de exit polls waarmee op de dag wordt voorspeld hoe kiezers daadwerkelijk hebben gestemd.

    In beide gevallen hadden de bureaus wel de richting van de veranderingen gepeild, maar niet de omvang van de verschuivingen. Overigens is het maken van een exit poll in een verkiezing met 10 partijen heel wat moeilijker en ingewikkelder dan een exit poll met twee presidentskandidaten. Zo slecht hebben de peilers het nu ook weer niet gedaan.

    Opvallend is dat exit polls en gewone polls bijna overeenkomstige cijfers vertoonden. Dat brengt mij bij de volgende vraag: zijn de bureaus niet te afhankelijk van internet geworden?

    Het voordeel van internet is de snelheid van werken. In de oude opzet werden de kiezers tot het weekeinde ondervraagd en bleven de verschuivingen van de laatste drie campagnedagen uit het zicht. Dat nadeel is nu weggenomen, maar daar voor komt een ander nadeel naar voren: de onvolledige representativiteit van internetpeilingen.

    Natuurlijk corrigeren de bureaus via vaste formules de onder- of oververtegenwoordiging van bepaalde leeftijdscategorieën, regio’s, mannen of vrouwen, inkomensgroepen. Maar de hoofdvraag is: stemmen deelnamers aan een internetpoll net zo als de rest van de bevolking?

    Het bestand van De Hond (ik weet niet hoe het met de andere twee is) komt tot stand door vrijwillige aanmelding van deelnemers. Elke onderwijzer kan vertellen dat de jongens en meisjes die bij elke vraag hun vinger opsteken niet representatief zijn voor de rest van de klas. De deelnemers aan de polls zijn vermoedelijk meer in politiek geïnteresseerd dan de rest van de bevolking en dat kan tot verschillen leiden.

    Dan de exit polls. Vroeger kwamen die tot stand door mensen op diverse stembureaus door het hele land te ondervragen bij het verlaten van het stemhokje. Gebeurt dit nog steeds of varen de exit pollers nu ook volledig op internet? Dat is gezien het bovenstaande riskant. Ik vermoed daarom dat de tegenvallende cijfers alles te maken hebben met het peilen via internet.

  • Pingback: Peilen naast de kwestie « Journalinks()

  • EVH

    Carel, je hebt helemaal gelijk. Zie ook:
    http://www.ncpp.org/?q=node/4

    en het uitstekende artikel in de papieren NRC vrijdag 24 november:
    “Peilen oke, maar dan goed”
    NRC zet u het even online?

  • Theo Dersjant

    @ Hees:
    De vraag naar geld (follow the money!) is altijd een goeie. En dus heb ik je vraag voorgelegd aan Hans Laroes. Ik vroeg hem: Hoeveel betaalt de NOS jaarlijks aan Maurice de Hond en/of hoeveel betaalde de NOS voor de exit-polls? De afdeling communicatie van de NOS laat namens Laroes het volgende weten:

    “Op deze twee vragen gaat hij niet in, dat is bedrijfsinformatie.”

    Derhalve mijn oproep aan NOS-medewerkers die het weten (het bedrag dat de NOS betaalt aan Maurice de Hond voor zijn opiniepeilingen): mail (onder bronbescherming) naar De Nieuwe Reporter (redactie@denieuwereporter.nl) of bel Theo Dersjant, 06-25085692.

  • Pingback: Hoeveel kost die poll? « Journalinks()