Rammelend onderzoek, maar toch ook dit jaar weer in het nieuws

Soms blijft nieuws jaarlijks terugkomen. Zoals het onderzoek waaruit zou blijken dat Nederlanders uitblinken in het spreken van de Engelse taal. Ook dit jaar publiceren Nederlandse media dit nieuws weer. Ook al rammelt het onderzoek.

Al in 2015 schreef Jelke Bethelem, hoogleraar in peilingonderzoek aan de Universiteit Leiden, dat er nogal wat mankeert aan het onderzoek dat concludeert dat Nederlanders beter Engels spreken dan mensen in andere niet-Engelstalige landen. Omdat Nederlandse media ook dit jaar (net als in 2016 overigens) weer dit nieuws brengen (AD, NU.nl, NPO Radio 1) herhalen we hieronder nog maar eens het artikel van Bethelem uit 2015.

Wij Nederlanders spreken (bijna) het beste Engels van alle niet-Engelstalige landen. Alleen de Zweden kunnen het nog beter. [In 2017 blijkt Nederland Zweden ingehaald te hebben en staat eerste (red.).] Dat staat in een bericht in het AD van 3 november 2015. En de NOS kopt dezelfde dag: ‘Nederlander is wereldtop in Engels’. Dit zou blijken uit onderzoek van de internationale onderwijsinstelling Education First. Een interessant bericht, maar de vraag komt wel op hoe dit onderzoek is uitgevoerd. Klopt het allemaal wel?

Onderzoek van een taalinstituut

Wat onmiddellijk opvalt is dat Education First geen marktonderzoekbureau is, maar een taalinstituut dat wereldwijd cursussen aanbied. Dat betekent dat het instituut een zeker belang heeft bij de uitkomst van het onderzoek: als je kennis van de Engelse taal te wensen overlaat, kun je bij hen een cursus volgen. Het is dus oppassen met dit onderzoek.

De cijfers uit het onderzoek van Education First uit 2015.

De cijfers uit het onderzoek van Education First uit 2015.

Niet representatief

Het blijkt dat het onderzoek van Education First is gebaseerd op de gegevens van 910.000 mensen in 70 verschillende landen. Dit is een grote groep, maar helaas is hij niet representatief. Die 910.000 mensen zijn namelijk geen aselecte steekproef. Het zijn mensen die spontaan een taaltestje hebben gedaan op de website van Education First.

Education First geeft ook zelf toe dat de steekproef niet representatief is. In het onderzoeksrapport staat:

We recognize that the test-taking population represented in this index is self-selected and not guaranteed to be representative of the country as a whole. Only those people either wanting to learn English or curious about their English skills will participate in one of these tests. This could skew scores lower or higher than those of the general population.

De steekproef bestaat dus uit mensen die Engels willen leren of willen weten hoe goed hun Engels is. Dat is duidelijk geen goede afspiegeling van de populatie van een land.

Test op internet

Er is nog een tweede probleem dat de representativiteit aantast. De gegevens zijn namelijk verzameld via een test op het internet. In Nederland is dat niet zo’n probleem. Daar heeft 96% van de huishoudens een aansluiting. In veel landen is de dekking van het internet veel lager.

In bijvoorbeeld Bulgarije heeft maar 57% internet en in Roemenië is het met 61% al niet veel beter (cijfers van Eurostat). In dit soort landen kunnen dus heel veel mensen de taaltest niet doen. En de mensen die hem wel doen, zijn vast beter opgeleid dan de mensen die geen internet hebben. Er is dus sprake van een te rooskleurig beeld. Dat geeft Education First geeft dat ook toe:

In addition, because the tests are online, people without internet access or unused to online applications are automatically excluded. In countries where internet usage is low, we expect the impact of this exclusion to be the strongest. This sampling bias would tend to pull scores upward by excluding poorer, less educated, and less privileged people.

Kortom, dit is geen goed onderzoek. Jammer dat media als het AD en de NOS er aandacht aan besteden zonder het bericht eerst te controleren. Het is maar beter om de uitkomsten met een korreltje zout te nemen, of nog beter, helemaal te negeren.

Dit artikel verscheen in 2015 op PeilingPraktijken.

Jelke Bethlehem –

Jelke Bethlehem is bijzonder hoogleraar in de survey-methodologie aan de Universiteit Leiden.

Alle artikelen van Jelke Bethlehem op De Nieuwe Reporter.

  • Marcel Gelauff

    Beste Jelle,

    Welk bericht van de NOS bedoel je ?
    Je linkt naar: https://www.nporadio1.nl/trending/6652-nederlanders-spreken-weer-beste-engels-ter-wereld
    Maar dat is geen bericht van de NOS. De NOS heeft er niks mee te maken.
    Jammer dat je naar de NOS verwijst zonder je bewering eerst te controleren.

    Vriendelijke groet,
    Marcel Gelauff
    Hoofdredacteur NOS Nieuws

  • Alexander Pleijter

    Beste Marcel,

    Hij heet Jelke ;-)

    Het bericht van de NOS dat Jelke noemt is een bericht uit 2015. Toen schreef hij dit artikel.

    Omdat het onderzoek nu weer in de media opduikt (onder meer op de site van NPO Radio 1) hebben we het artikel nog weer opnieuw gepubliceerd. Zoals bovenaan in de tekst staat.

    De laatste opmerking in het artikel over de NOS gaat dus over het bericht uit 2015. Naar mijn idee staat dat duidelijk vermeld in de tweede dikgedrukte alinea.

    Goede groet,
    Alexander Pleijter
    De Nieuwe Reporter

  • Marcel Gelauff

    Sorry, voor de naam.

    Tja,
    Er staat boven het artikel 9 nov 2017.

    Heel duidelijk vind ik het allemaal niet hoor.
    Maar waarschuwen voor dit mechanisme is natuurlijk altijd goed.

    Gr
    Marcel