Het ‘seizoen’ van politieke peilingen is volop losgebarsten. Joop van Holsteyn, bijzonder hoogleraar ‘kiezersonderzoek’, beziet het werk van journalisten en stelt vast dat dat ‘ver beneden peil’ is.

We schrijven maandag 11 september 2006. Inderdaad, vijf jaar later. Maar daar gaat het hier niet om. We hadden namelijk net zo goed zaterdag 9 september kunnen schrijven, vrijdag 8 of donderdag 7 september. Of een andere dag. Er gaat namelijk zo goed als geen dag voorbij of in de berichtgeving over de Nederlandse politiek wordt linksom of rechtsom verwezen naar opiniepeilingen. In de aanloop van de Tweede Kamerverkiezingen kijkt wellicht niemand daar echt heel erg van op, maar de schijnbaar onontkoombare aanwezigheid van peilingen roept toch een paar ernstige vragen op. Vragen aan journalisten.

Bos en Balkenende
Eerst enkele voorbeelden. Volgens de Volkskrant van maandag 11 september is het gat tussen CDA en PvdA verder verkleind en dan gaat het natuurlijk om het verschil in de electorale steun zoals die zou blijken uit opiniepeilingen. Over dezelfde peiling, waarin niet alleen naar de voorkeur voor politieke partijen werd gevraagd maar tevens naar kandidaten voor het premierschap, rapporteren diezelfde dag ook andere kranten. De Telegraaf doet dat onder de kop ‘Liever Balkenende premier dan Bos’ en Trouw met ‘Premier populairder dan oppositieleider Wouter Bos’. En dan heb ik de middagkranten nog niet onder ogen gehad.

In de landelijke kranten van de zaterdag ervoor komen nog meer verhalen over binnenlandse politiek voor waarin opiniepeilingen figureren of de hoofdrol spelen. Het Algemeen Dagblad presenteert resultaten van peilingen onder de kop ‘Verkiezingen: nog tien weken te gaan’. NRC Handelsblad publiceert een vraaggesprek met Laurens Jan Brinkhorst waarin zijn trots op de grote rol van D66 in het kabinet Balkenende II wordt geconfronteerd met het feit dat zijn partij kennelijk toch op slechts 1 of 2 zetels in de peilingen staat. De Telegraaf pepert dit de vrijzinnig-democraten in met een kort bericht over de stand in de peilingen onder de kop ‘Nog slechts een zetel D66’. En in het forse vergelijkende warenonderzoek dat de Volkskrant die dag presenteert onder de kop ‘Helpers weg, laatste ronde’ wordt het glunderen van de kopman der christen-democraten, Jan Peter Balkenende, toegeschreven aan het feit dat hij terugkomt in de peilingen, terwijl zijn sociaal-democratische tegenhanger Wouter Bos weerspreekt dat zijn partij als gevolg van de aow-perikelen een lichte terugval in die peilingen kende.

Ver bededen peil
Ik bedoel maar: peilingen, je kunt er niet meer omheen. Is dat erg? Valt dat te betreuren? Nee, dat hoeft niet. Of beter: het zou geen enkel probleem hoeven te zijn dat peilingen het politieke nieuws voortdurend kleuren zoal niet bepalen. Als althans het journalistieke gebruik van peilingen zorgvuldig en correct zou zijn. En daar zit hem de kneep. De manier waarop met peilingen wordt omgegaan door de Nederlandse (parlementaire) journalistiek, door de media, is ver beneden peil. Akkoord, ik doe misschien een enkeling enig onrecht met deze wilde bewering en forse generalisatie. Maar ik ben heel bang dat ik er niet zover naast zit.

Neem de peilingen van Maurice de Hond en zijn peil.nl als voorbeeld. Dan bedoel ik ook als voorbeeld; het gaat me niet om bepaalde peilers en hun peilingen maar om de manier waarop de journalistiek telkens weer laat zien niet te weten waarover men het heeft. De peilingen waarnaar hiervoor al werd verwezen zijn gehouden in opdracht van het NOS Journaal. En het begint direct fout. Zo opent dat NOS Journaal op haar webstek met de mededeling: ‘In de aanloop naar de Tweede-Kamerverkiezingen peilt Maurice de Hond in opdracht van de NOS elke week de politieke voorkeur van de Nederlandse bevolking’. Vervolgens wordt even zo vrolijk gemeld dat de peilingen van De Hond tot stand komen met behulp van een internetpanel.

Blijkbaar is er geen enkele journalist bij wie de alarmbellen dan hard gaan rinkelen. Of worden zelfs de meest elementaire beginselen van de steekproeftheorie en waarschijnlijkheidsleer niet aan beginnende journalisten bijgebracht?! Dat zou een groot gemis zijn, maar het zou in ieder geval wel verklaren dat kennelijk het NOS Journaal - een gezaghebbende bron en journalistieke autoriteit, misschien wel de meest gezaghebbende voor vele Nederlanders – weg komt met een bewering die zacht gezegd aanvechtbaar is.

Eisen
Hoe zat het ook alweer? Peilingen zijn gebaseerd op steekproeven. Het is ondoenlijk om alle Nederlanders week in week uit naar hun voorgenomen stemgedrag, of wat dan ook, te vragen, dus we ondervragen slechts een beperkt deel. Dat kan en mag. Als we echter op basis van die selectie uit het grotere geheel toch uitspraken over dat geheel willen doen, dan stelt dat bepaalde eisen aan de manier waarop die selectie tot stand komt.

Als we op basis van onze steekproef uitspraken over de populatie willen doen, dan dienen alle leden van die populatie een gelijke of althans bekende kans te hebben om in de steekproef te komen. Die steekproef moet, zoals dat heet, a-select of random zijn. Pas dan kan, met nog een paar slagen om de arm, de vertaalslag van steekproef naar populatie worden gemaakt. Pas dan kan de peiling een beeld geven van het electoraat of van de Nederlandse bevolking.

Als De Hond gebruik maakt van een internetpanel en als dat panel tot stand is gekomen door de vrijwillige aanmelding van deelnemers, dan is er op geen enkele manier sprake van een a-selecte steekproef uit bevolking of electoraat. Zo zijn mensen zonder internetaansluiting op voorhand uitgesloten en mensen die geen zin hebben om zich te melden blijven per definitie buiten beeld. Aldus is de steekproef niet a-select en is het wetenschappelijk onverantwoord om uitspraken te generaliseren naar de populatie. En dan kan er gewogen en ‘gecorrigeerd’ worden wat men wil, maar het zo gewilde en dan ook regelmatig misbruikte etiket ‘representatief’ is en blijft in dat geval een vlag op een stinkende modderschuit. Maar waarom zegt of schrijft geen enkele journalist dat?

Schijnbeweging
Bleef het daar bij, dan was het al erg genoeg. Maar het is nog veel erger. Zo is de permanente beweging die in de week na week gepresenteerde peilingen wordt gelezen zo goed als altijd niet meer dan een schijnbeweging, op geen enkele onderliggende werkelijkheid gebaseerd.

Op basis van steekproefonderzoek wordt een bepaald percentage gepeild en het idee is dat dit in de buurt zit van het ware percentage (dat normaal gesproken onbekend zal zijn en blijven). Stel dat dat ware percentage voor een bepaalde politieke partij een paar weken achtereen stabiel op 10 staat, dan is het goed mogelijk dat de ene week een percentage van 9, de erop volgende week 10 en nog een week later 11 wordt gemeten. Dat gebeurt, dat is de aard van het beestje dat steekproef heet. In de krant staat dan echter ongetwijfeld dat de partij een opgaande lijn vertoont, op winst staat en het goed doet. Maar ja, als de vierde week de partij in de peiling plots op 9 procent staat, is er sprake van ‘fors verlies’ en breekt bij die partij waarschijnlijk intern paniek uit. Terwijl er al die tijd niets maar dan ook niets aan de hand hoeft te zijn waar het de electorale steun onder het electoraat betreft.

De verschillen in percentages, die trouwens strikt genomen helemaal niet in Kamerzetels kunnen worden omgezet, vallen binnen de betrouwbaarheidsmarges die nu eenmaal gelden en dienen te worden aangehouden. Maar ja, geen verandering is geen nieuws, dus dan doen we maar net alsof er verandering en nieuws is – ook al zou elementaire kennis van steekproefonderzoek en de aard van opiniepeilingen tot andere (waarschijnlijk: geen) berichtgeving leiden.

Trouwens, het spiegelbeeld is net zo gek. Het is zo goed als uitgesloten dat juist kleine partijen bij opeenvolgende peilingen exact dezelfde aanhang zouden hebben. Dat moet vanwege de gehanteerde onderzoekstechniek schommelen. Dat de SGP in sommige peilingen rotsvast op 2 zetels zit, is dan ook niet de directe uitkomst van de peilingen, zoals gehouden. Daar wordt de hand van de peiler zichtbaar, die weegt en corrigeert. Dat manipuleren is op zichzelf niet verboden, maar waarom lees ik daar zo weinig over? Hoe gaat dat en wat heeft dat voor gevolgen voor de uitkomst? Waarom valt het kennelijk geen enkele journalist op dat zaken die op basis van de waarschijnlijkheidsleer zo goed als onmogelijk zijn zich in de peilingen week na week met hoge regelmaat voordoen?

Geen antwoorden
Nu ik toch bezig ben: ook meer in detail is de berichtgeving over peilingen ronduit belabberd. Richtlijnen over de presentatie van resultaten van peilingen lijken onbekend en worden in ieder geval nooit gehanteerd. Hoe zat de steekproef in elkaar? Wanneer precies is de peiling gehouden? Hoeveel mensen deden mee en hoe hoog was het responspercentage? Hoe zijn respondenten benaderd en ondervraagd? Welke vraag kregen zij voorgeschoteld en wat waren hun antwoordmogelijkheden? Stuk voor stuk vragen waarvan het antwoord van essentieel belang is voor een goed begrip van opiniepeilingen en hun resultaten. Maar ik lees die antwoorden nooit. Als lezer of kijker word ik volstrekt in de steek gelaten bij het interpreteren van de resultaten van peilingen. De journalist, die hier mijn gids en tolk/vertaler zou moeten zijn, geeft nooit thuis. Hij snapt het niet, hij weet niet beter, of hij vindt het ten onrechte niet belangrijk genoeg. In een tijd dat de berichtgeving rondom politiek en verkiezingen volstrekt doordrenkt is door opiniepeilingen, is dat een erg pijnlijke misser.

Nog niet zo lang geleden werd de stelling geponeerd dat de leugen zou regeren in journalistiek Nederland. Ik ben bang dat het, waar het de berichtgeving over en het gebruik van peilingen betreft, net iets anders ligt. Niet de leugen regeert, maar het onbegrip. Ik weet niet wat erger is.