Fact-checkers lopen achter de feiten aan

data1lrgStudenten van de studie Journalistiek en Nieuwe Media (Universiteit Leiden) en Fontys Hogeschool Journalistiek in Tilburg, controleerden vorig jaar als ‘factcheckers’ mediaberichten. Ten behoeve van de vorige week verschenen bundel ‘Journalistiek in diskrediet’ van het Katholiek Instituut voor de Massamedia (KIM) schreven de begeleiders van de Tilburgse en Leidse studenten een stuk over hun bevindingen. Onderstaand een deel van dat hoofdstuk, waarin oorzaken en suggesties op een rij worden gezet.

Foute feiten: zes oorzaken
De fact-checkers stuitten op slecht of in het geheel niet onderbouwd nieuws, overdreven of uit hun verband gerukte cijfers, verzonnen problemen en klutsloze deskundigen – en een keer zelfs op een geval van plagiaat. Journalisten maken fouten. Of het er veel of weinig zijn, daarover zal iedereen anders denken. Wij hebben geprobeerd het systeem in de fouten zichtbaar te maken. De belangrijkste oorzaken laten zich als volgt samenvatten.

1. Onbekende bronnen. Veel van de geconstateerde fouten waren niet gemaakt als de verantwoordelijke journalist even een rapport had opgevraagd of een onderzoeker had gebeld. Als dat kon – maar vaak kon dat helemaal niet, omdat de bron een niet-openbaar rapport was, of een nog niet gepubliceerd onderzoek. De Code van Bordeaux zegt niet voor niets (artikel 3): ‘De journalist doet zijn berichtgeving alleen berusten op feiten waarvan hij de bron kent’.
Een voorbeeld: Nederlandse burgers zijn steeds minder tijd en geld kwijt aan bureaucratische rompslomp. Dat bleek uit cijfers van de ministeries van Justitie en Binnenlandse Zaken, die via het tv-programma Rondom 10 in het nieuws kwamen. Geen van de kranten die het nieuws brachten heeft de onderzoeksrapporten gelezen – en de redactie van Rondom 10 evenmin.
Om een oordeel te kunnen vellen over de betrouwbaarheid van een onderzoek hanteren Amerikaanse kwaliteitsmedia het uitgangspunt dat bekend moet zijn wie de opdrachtgever is, wie het betaalt en met welke methode de gegevens zijn verzameld. Wanneer er geen toegang is tot het onderzoek, zouden journalisten dat moeten vermelden – of het hele onderwerp in de prullenbak moeten gooien.

2. Gemiste nuances en ontbrekende context. Nieuws en nuances verdragen elkaar slecht. Kinderen hebben last van ‘sintstress’, meldden diverse kranten op gezag van het ANP. Dat vermeldde niet dat de deskundige die dit verhaal ooit naar buiten bracht het alleen had over autistische kinderen die de zenuwen kregen als de pepernoten weer lang voor 5 december in de winkel verschenen. Wel voerde het ANP een pedagoog op die er niet in geloofde, maar die nuance sneuvelde weer in de versie die De Telegraaf en Metro afdrukten.
Maaltijdsalades zijn gevoelig voor besmetting met listeria, aldus het ANP, een bacterie die in 2006 aan ongeveer twintig Nederlanders het leven kostte. De bron is een Wageningse promovendus die het echter niet over maaltijdsalades heeft gehad, maar over het gevaar van slecht gekoeld voedsel.
Een verwante oorzaak van fouten is de ontbrekende context. Is er al eerder onderzoek gedaan naar dit onderwerp? Wat denken andere specialisten ervan? Een Rotterdamse hoogleraar sales- en accountmanagement mocht tot bij Pauw en Witteman vertellen dat sollicitanten binnen vijf jaar zouden worden beoordeeld op hun geschiktheid met behulp van een hersenscan. Dat hij geen deskundige is op het gebied van hersenscans en dat collega-wetenschappers die dat wel zijn niet geloven in zijn toekomstbeeld, werd niet vermeld.
Journalisten neigen er bovendien soms naar om op grond van een (te) klein aantal metingen, beweringen te doen over trends. Zo opende Sp!ts op 21 oktober met de nogal verontrustende kop: ‘Kinderkiller rukt op’. De strekking van het bericht: er worden in Nederland steeds meer kinderen vermoord door hun (pleeg-, stief-) ouders. De bron voor dit artikel: het zeer betrouwbare CBS. In het artikel wordt het aantal vermoorde kinderen in het jaar 2000 vergeleken met het aantal moorden in 2007. En ja, dan is er inderdaad sprake van een toename. Maar wie de cijfers van de tussen- en voorliggende jaren bij het CBS opvraagt, zoals een Tilburgse student deed, moet vaststellen dat er helemaal geen sprake is van een toename. Sterker: in 2000 waren er extreem weinig moorden.

Zo worden vermoedens zekerheden, kleine kansen aanzienlijke risico’s, te weinig metingen trends en willekeurige voorbeelden nieuwswaardige fenomenen.

3. Gebrekkige onderzoeksmethoden. Vrouwen shoppen meer en doen vaker onverantwoorde aankopen in de tien dagen voor hun menstruatie, aldus een Britse hoogleraar psychologie. De BBC, De Telegraaf en andere media brachten het als nieuws, maar wie de moeite neemt het onderzoeksverslag te bestuderen, ziet dat de opzet aan alle kanten rammelt en dat de uitkomst weinig zegt. Zo is het verschil in koopwoede tussen de laatste en de middelste periode van de menstruatie niet significant. Met andere woorden: het kan net zo goed op toeval berusten.
Wij hebben de indruk dat inzicht in onderzoeksmethoden en kennis van statistiek op nieuwsredacties geen hoog aanzien heeft. Of dat het inzicht wel bestaat, maar geen consequenties heeft. Dat internetpolls vaak onbetrouwbaar zijn omdat de respondenten zichzelf selecteren, werd wel herkend als probleem, maar dat weerhield nieuwsmedia er vaak niet van om de uitkomsten van zulke polls te presenteren als nieuws. Op grond van zo’n online enquête op de website ikmeldagressie.nl berichtten media bijvoorbeeld dat de agressie tegen dienstverleners een groot en groeiend probleem was.
Het kan nog krasser: een van de fact-checkers stuitte bij het natrekken van nieuws over roddelende mannen (ze doen het meer dan vrouwen: gemiddeld 76 minuten per dag! En vrouwen maar 52!) op de Britse website OnePoll, waar respondenten geld kunnen verdienen met het invullen van vragenlijsten. Hoe sneller – en onnauwkeuriger – ze de vragen beantwoorden, hoe meer ze verdienen.

4. Belanghebbende bronnen. Geen bron zonder belang: welke journalist is er niet van doordrongen? Toch vonden de fact-checkers tal van berichten van het type ‘Wij van wc-eend adviseren wc-eend’. Volgens twee gametijdschriften was gamen de goedkoopste van alle hobby’s. Een fact-checker rekende voor dat Kolonisten van Catan nog veel minder kostte en als je zelfs dat niet kon betalen, kon je altijd nog gaan wandelen of punniken.
De organisatie van de Emigratiebeurs heeft laten uitzoeken dat heel veel Nederlanders wel eens aan emigratie denken, een poll van vacaturesite Monsterboard wijst uit dat het merendeel van de respondenten niet de perfecte baan heeft en de beheerder van alle pin- en chipautomaten weet dat pinnen roofovervallen voorkomt. Al kan hij dat niet met cijfers onderbouwen.

5. Redactionele bewerkingen. Fouten ontstaan ook door redactionele bewerkingen die niet worden teruggekoppeld naar de auteur van het oorspronkelijke stuk. Diverse regionale kranten publiceerden een alarmerend stuk over een ‘kattenleger’ dat ‘dood en verderf zaait’: een explosieve stijging van het aantal zwerfkatten in Nederland zou een golf van stank, vervuiling, gejank en andere overlast veroorzaken. De journalist die het oorspronkelijke stuk schreef voor de Leeuwarder Courant kende zijn verhaal niet terug in de versie die ontstond na bewerkingen door de GPD en vervolgens het Brabants Dagblad: bij iedere vertaalslag werd de overlast van de zwerfkatten sensationeler.

6. Verzonnen verklaringen. De feiten kloppen, maar de verklaring niet. Veroorzaakt de jaarlijkse overgang naar de zomertijd een toename in het aantal hartaanvallen? Ja, er is iets geks aan de hand met cijfers over hartaanvallen, maar wetenschappers zijn het er niet over eens dat dat door de zomertijd komt. Eten mensen hun zorgen over de recessie weg door meer kroketten te consumeren? Ja, er worden meer kroketten verkocht, maar dat komt niet door de kredietcrisis – die bestond nog niet toen de krokettenverkoop werd geturfd.
De kredietcrisis, die woedde in de periode waarin onze fact-checkers actief waren, vormt trouwens een categorie op zich als nieuwsaanleiding en verklaring voor van alles en nog wat. Bij het checken van nieuws over emigratiewensen stuitten de studenten op één deskundige die het toegenomen aantal emigraties toeschreef aan de recessie en op een tweede die het aantal emigraties juist zag dalen, ook vanwege de recessie.
Metro ontwaarde op basis van opgeklopte cijfers een toename van zwerfkatten en –honden door de crisis: op straat gezet door hun armlastige baasjes. Netwerk wijdde een reportage aan huisdieren die door de crisis in groten getale in het asiel zouden belanden. De uitzending was gebaseerd op een onderzoek dat dateerde van voor de kredietcrisis. De verantwoordelijke Netwerk-redacteur: “Keiharde cijfers hoeven in dit geval helemaal niet.”

Ontkom aan het fact-checkmes
Waarheid en feitelijkheid zijn een groot goed in de journalistiek, maar de drang om leuke, opvallende of spraakmakende verhalen te maken wint het nogal eens van de feiten. Een vaak terugkerende reactie van journalisten op vragen van fact-checkers was: “Wat ik heb geschreven is geen wetenschappelijke analyse, maar luchtig nieuws, leuk om te lezen aan de ontbijttafel”.

Waarmee ze niet willen zeggen dat leugens best mogen, maar wel dat het te verdedigen is om soepel om te gaan met de feiten. Er mag best een leuke draai aan gegeven worden om het nieuws aansprekend te maken. Als uit wetenschappelijk onderzoek blijkt dat een injectie met L-Cystine bij ratten een erectie veroorzaakt dan is dat geen nieuws. Maar als een journalist ter ore komt dat L-Cystine kan worden omgezet in waterstofsulfide en hij bedenkt dat die stof ervoor zorgt dat rotte eieren zo vreselijk stinken, dan is de kop ‘mannen krijgen stijve van rotte eieren‘ snel geboren. Feitelijk onjuist, maar het klinkt leuk en zal ongetwijfeld veel worden gelezen.

Een term als L-Cystine maakt ook meteen duidelijk waar het makkelijk fout gaat: het ontbreekt veel journalisten aan kennis om wetenschappelijke onderwerpen te doorgronden. Ga er maar aan staan, zo’n artikel doorlezen uit de Proceedings of the National Academy of Sciences. Met al die wetenschappelijke termen en statistische analyses. Maak daar maar eens chocola van.

Als je al de tijd hebt om zo’n onderzoeksverslag te lezen. Veel journalisten krijgen de onderzoeken waarover ze schrijven helemaal niet onder ogen. Veel berichten worden gemaakt op basis van persberichten of berichten uit andere media. Vooral dat laatste zorgt ervoor dat nieuws makkelijk kan gaan rondzingen zonder dat iemand aan de bel trekt. Bovendien: waarom zou je het checken? Het is toch alleen maar leuk nieuws? Waarom dan tijd steken in het napluizen van een onderzoeksverslag? Het is een kwestie van afwegen: een check kost tijd en is een onderwerp die tijd waard? Vooral voor leuke – dus niet al te serieuze – onderwerpen geldt al snel: ze kunnen alleen gedaan worden als ze weinig tijd kosten.

Het lijkt zo wel dat het boven tafel krijgen van de feiten niet bovenaan het verlanglijstje staat van menig journalist. De productiedwang noopt tot meters maken. Bovendien lijkt het zelfcorrigerend en zelflerend vermogen van redacties beperkt. De cultuur ontbreekt om elkaar aan te spreken op flutberichten. Er is moed voor nodig om tegen collega’s te zeggen dat iets niet kan, dat ze onzin hebben laten afdrukken in de krant. Deze non-interventiecultuur leidt tot een haperend zelfregulerend vermogen met onnodige fouten tot gevolg.

Voor redacties die de ban willen breken volgt hier een aantal suggesties om te ontsnappen aan het mes van checkende studenten. Suggesties die zijn gebaseerd op onze ervaringen met de fact-check-projecten.

1. Wees niet bang om verhalen kapot te checken. Onze studenten kwamen vaak met correcte verhalen die minstens even leuk waren als het originele foutieve nieuws. Zo kan je een persbericht overnemen waarin de Stichting Wetenschappelijk Onderzoek Verkeersveiligheid (SWOV) meldt dat het aantal ernstige ongelukken in dertig-kilometerzones tussen 2002 en 2007 fors is toegenomen. Je kan ook de feiten checken en erachter komen dat het aantal dertig-kilometerzones in die periode flink is gegroeid. Levert toch een leuk bericht op over de SWOV die met cijfers strooit die je met een korreltje zout moet nemen.

2. Wees kritisch naar andere media. Dat de BBC of de Guardian iets hebben gepubliceerd, wil niet zeggen dat het klopt. Ook daar worden fouten gemaakt. En bedenk dat ook het melden van fouten van andere media goede en leuke berichten kan opleveren. Als alle media beweren dat mannen een erectie krijgen van de geur van rotte eieren, dan kan je een prachtig stuk schrijven waarin de onderzoeker uitlegt dat dat kolder is.

3. Zorg voor expertise op de redactie. Het is heus niet zo dat de hele redactie uit statistici en wetenschappers moet bestaan om fouten te voorkomen. Maar enkele redacteuren met basale kennis van cijfers, onderzoek en statistiek zijn wel broodnodig op een redactietuin. Mensen die ook kunnen fungeren als vraagbaak en die de moed hebben om fouten van collega’s aan de orde te stellen. Toen wij dit opperden op een redactie, wierp een leidinggevende tegen dat je evenmin wetenschappers nodig hebt om over wetenschap te schrijven als voetballers om over sport te schrijven. Nee, maar het andere uiterste is een voetbalverslaggever die niet weet wat buitenspel is. Of een wetenschapsjournalist die de beginselen en valkuilen van onderzoek niet kent.

4. Gooi onzinnige vuistregels overboord. Een regel als ‘in een onderzoek moeten minstens vijfhonderd mensen ondervraagd zijn’ is onzinnig. Er zijn legio omvangrijkere onderzoeken die desondanks slecht zijn. En vele onderzoeken met minder dan vijfhonderd deelnemers, die van prima kwaliteit zijn. Zo blijkt dat journalisten zelden kijken naar non-respons in enquêtes. Terwijl ook daar een oordeelsmoment voor betrouwbaarheid ligt. Wat zegt het over een onderzoek als vijfhonderd respondenten meededen, terwijl vijfduizend Nederlanders de deur dichtgooiden?
Zulke vuistregels behoeden niet voor missers. Redacteuren die beschikken over methodologische kennis en inzicht zijn vele malen nuttiger.

5. Vraag naar cijfers en onderzoeksrapporten. Laat je niet zomaar op de mouw spelden dat iets toegenomen is. Vraag naar cijfers! Bedrijven hebben er vaak baat bij dat een onderzoek in het nieuws komt, maar willen het onderzoeksrapport niet vrij geven. Hoe kan je als journalist dan controleren of het onderzoek wel klopt? Laat je niet willoos gebruiken en publiceer dus niet over onderzoeken waarvan je het rapport niet mag inzien. Anders maak je het bedrijven namelijk wel erg makkelijk om je voor hun free publicity-karretje te spannen.

6. Doe navraag bij experts. Vaak beschik je zelf niet over de expertise om bijvoorbeeld een onderzoek te beoordelen. Schroom dan niet om te rade te gaan bij de onderzoekers of andere experts. Zij kunnen wijzen op onjuiste interpretaties en manco’s van het onderzoek, wat het maken van fouten kan voorkomen. Neem een onderzoek waaruit blijkt dat vegetariërs meer kans zouden hebben op darmkanker. Vraag na bij een deskundige of dit wel in lijn is met eerdere onderzoeken.

Als elke journalist en redactie deze suggesties ter harte nam, zou het snel afgelopen zijn met ons mooie didactische concept. Gelukkig is al gebleken dat niet iedereen het fact-checken een warm hart toedraagt. Zo liet een journalist een van onze studenten eens weten geen reactie te willen geven omdat “fact-checkers voortdurend achter de feiten aan lopen”. Mooier kunnen we het zelf niet verwoorden.

De bundel ‘ Journalistiek in diskrediet’ van het Katholiek Instituut voor de Massamedia is te bestellen via de website van de organisatie. Binnenkort wordt een pdf-versie van het boek op de websites van zowel het KIM als het Stimuleringsfonds voor de Pers geplaatst.

De website van de Leidse nieuwscheckers is hier te vinden.
De website van de Tilburgse factcheckers is hier te vinden.

7 reacties

  1. Maurice schreef op 23 september 2009 om 10:05

    Goed artikel! respect.

    Ik heb sinds kort een weblog waarin ik eigenlijk alleen maar links naar onderzoeken, enquêtes, polls, rapporten, studies, peilingen, cijfers, analyses en onzin post. Jullie kunnen wel geloven wat voor een onzin je allemaal tegenkomt… puur meters maken lijkt het inderdaad en voor mijn blog is dat zeker.

    Ik ga op zeker een link plaatsen naar dit artikel in de ijdele hoop dat mensen even meer nadenken als ze weer zo’n pruts onderzoekje lezen.

  2. renzo schreef op 23 september 2009 om 18:25

    wat is je log maurice. een adres graag!

  3. Anna van Haastrecht schreef op 23 september 2009 om 21:31

    Goed artikel. Ik herken veel dingen. Nu nog alle redacties zo ver krijgen om jullie regels ook te volgen!
    Ga zo door!

  4. Pingback: De gepubliceerde waarheid is in 70% van de gevallen een leugen | Communicatie dagblad

  5. Guus Dietvorst schreef op 24 september 2009 om 13:02

    Niet om het een of het ander, maar de bewering: ‘Hoe sneller – en onnauwkeuriger – ze de vragen beantwoorden, hoe meer ze verdienen’ (Laatste zin van het eerste puntje drie) klopt niet perse. Het is niet zo dat mensen die een vragenlijst sneller invullen, onnauwkeuriger zijn.

    http://www.liebertonline.com/doi/abs/10.1089/cpb.2007.0258

    Soms wordt zelfs beweerd dat snelle invullers betrouwbaarder zijn, doordat ze minder nadenken en meer op eerste impuls handelen (dit zou dan meer weergeven hoe mensen ‘echt’ zijn).

    Overigens wel een leuk stuk dit, ik erger me vaak aan de causale verbanden die zomaar gemaakt worden door media.

  6. Wat wij hier níet bedoelden was om zo snel mogelijk een vragenlijst waarheidsgetrouw in te vullen, maar om echt zo snel mogelijk een vragenlijst in te vullen door helemaal niet na te denken over vragen en antwoorden, sterker, door zelfs de vragen niet te lezen, maar lukraak antwoorden aan te klikken. En dat is natuurlijk niet echt valide…

  7. Pingback: Tilburg (fact) Checkers: “Lopen achter de feiten aan”

Geef een reactie

Je e-mailadres wordt niet gepubliceerd. Verplichte velden zijn gemarkeerd met *

*

De volgende HTML tags en attributen zijn toegestaan: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>