Soms blijft nieuws jaarlijks terugkomen. Zoals het onderzoek waaruit zou blijken dat Nederlanders uitblinken in het spreken van de Engelse taal. Ook dit jaar publiceren Nederlandse media dit nieuws weer. Ook al rammelt het onderzoek.

Al in 2015 schreef Jelke Bethelem, hoogleraar in peilingonderzoek aan de Universiteit Leiden, dat er nogal wat mankeert aan het onderzoek dat concludeert dat Nederlanders beter Engels spreken dan mensen in andere niet-Engelstalige landen. Omdat Nederlandse media ook dit jaar (net als in 2016 overigens) weer dit nieuws brengen (AD, NU.nl, NPO Radio 1) herhalen we hieronder nog maar eens het artikel van Bethelem uit 2015.

Wij Nederlanders spreken (bijna) het beste Engels van alle niet-Engelstalige landen. Alleen de Zweden kunnen het nog beter. [In 2017 blijkt Nederland Zweden ingehaald te hebben en staat eerste (red.).] Dat staat in een bericht in het AD van 3 november 2015. En de NOS kopt dezelfde dag: ‘Nederlander is wereldtop in Engels’. Dit zou blijken uit onderzoek van de internationale onderwijsinstelling Education First. Een interessant bericht, maar de vraag komt wel op hoe dit onderzoek is uitgevoerd. Klopt het allemaal wel?

Onderzoek van een taalinstituut

Wat onmiddellijk opvalt is dat Education First geen marktonderzoekbureau is, maar een taalinstituut dat wereldwijd cursussen aanbied. Dat betekent dat het instituut een zeker belang heeft bij de uitkomst van het onderzoek: als je kennis van de Engelse taal te wensen overlaat, kun je bij hen een cursus volgen. Het is dus oppassen met dit onderzoek.

De cijfers uit het onderzoek van Education First uit 2015.
De cijfers uit het onderzoek van Education First uit 2015.

Niet representatief

Het blijkt dat het onderzoek van Education First is gebaseerd op de gegevens van 910.000 mensen in 70 verschillende landen. Dit is een grote groep, maar helaas is hij niet representatief. Die 910.000 mensen zijn namelijk geen aselecte steekproef. Het zijn mensen die spontaan een taaltestje hebben gedaan op de website van Education First.

Education First geeft ook zelf toe dat de steekproef niet representatief is. In het onderzoeksrapport staat:

We recognize that the test-taking population represented in this index is self-selected and not guaranteed to be representative of the country as a whole. Only those people either wanting to learn English or curious about their English skills will participate in one of these tests. This could skew scores lower or higher than those of the general population.

De steekproef bestaat dus uit mensen die Engels willen leren of willen weten hoe goed hun Engels is. Dat is duidelijk geen goede afspiegeling van de populatie van een land.

Test op internet

Er is nog een tweede probleem dat de representativiteit aantast. De gegevens zijn namelijk verzameld via een test op het internet. In Nederland is dat niet zo’n probleem. Daar heeft 96% van de huishoudens een aansluiting. In veel landen is de dekking van het internet veel lager.

In bijvoorbeeld Bulgarije heeft maar 57% internet en in Roemenië is het met 61% al niet veel beter (cijfers van Eurostat). In dit soort landen kunnen dus heel veel mensen de taaltest niet doen. En de mensen die hem wel doen, zijn vast beter opgeleid dan de mensen die geen internet hebben. Er is dus sprake van een te rooskleurig beeld. Dat geeft Education First geeft dat ook toe:

In addition, because the tests are online, people without internet access or unused to online applications are automatically excluded. In countries where internet usage is low, we expect the impact of this exclusion to be the strongest. This sampling bias would tend to pull scores upward by excluding poorer, less educated, and less privileged people.

Kortom, dit is geen goed onderzoek. Jammer dat media als het AD en de NOS er aandacht aan besteden zonder het bericht eerst te controleren. Het is maar beter om de uitkomsten met een korreltje zout te nemen, of nog beter, helemaal te negeren.

Dit artikel verscheen in 2015 op PeilingPraktijken.

Al 3 reacties — discussieer mee!