Politici, bedrijven en journalisten hebben Twitter de afgelopen maanden massaal ontdekt om de band met hun kiezers, klanten of lezers te versterken. Dat roept de logische vraag op in hoeverre zij dit doel met Twitter kunnen behalen. Welke cijfers moeten we geloven? Deze week publiceerde Emerce een bericht dat er in Nederland 420.000 twitteraars zijn. Dit komt uit onderzoek van het bedrijf Twirus. In minder dan een jaar tijd zou het aantal twitteraars in Nederland meer dan verdubbeld zijn. Dat maakt nieuwsgierig hoe Twirus het aantal twitteraars meet. Daar geeft Twirus echter geen inzicht in.

Wie verder leest, komt er al snel achter hoe zeker we van de cijfers van Twirus kunnen zijn. Emerce wijst ook op een ander onderzoek, van comScore, die een bericht publiceerde dat Twitter in Nederland populairder is dan in welk ander land dan ook. 22,3% van de bevolking zou door Twitter worden bereikt. Volgens het CBS zijn er begin maart 16.663.294 Nederlanders. Dat maakt 3,7 miljoen twitteraars. Dit getal is een overschatting omdat comScore alleen twitteraars boven de 15 jaar meeneemt, maar hun schatting blijft miljoenen hoger dan die van Twirus.

Bereikscijfers en kijkcijfers
Jaren geleden volgde ik als student een module markt- en opinieonderzoek. In de cursus ging veel aandacht uit naar bereiksonderzoek van kranten en tijdschriften. Het bleek erg van de vraagstelling af te hangen of lezers onder ‘het lezerspubliek’ gerekend konden worden. Bij kijkcijfers waren er ook allemaal problemen. Geldt iemand als kijker als de televisie alleen aanstaat? En hoe zit het met de betrouwbaarheidsmarges als de steekproef eigenlijk relatief klein is? Hoe zeker kunnen we zijn van dit soort cijfers?

Bij Twitter is deze onhelderheid nog duizend maal groter. Bedrijven hebben kennelijk een geautomatiseerde methode gevonden om actieve twitteraars te meten, maar ze geven geen inzicht in hoe die methode werkt. De cijfers zijn onderling zo verschillend dat het nauwelijks betrouwbare metingen kunnen zijn, laat staan dat ze iets over het aantal twitteraars zeggen. Hoe maakt comScore onderscheid tussen twitteraars jonger en ouder dan 15 jaar, wanneer geld je als ‘Nederlandse twitteraar’ en hoe actief moet je zijn om in de analyse terecht te komen?

Fouten niet uitgesloten
Aanwijzingen dat we deze cijfers niet kunnen vertrouwen zijn er genoeg. De rapportage op Twirus vermeldt dat ‘niet uitgesloten [kan] worden dat in dit onderzoek dat in beperkte tijd tot stand kwam fouten zijn gemaakt’. Het onderzoek bevat tevens een inventarisatie van de ‘gemiddelde tweep’. Er werd een ‘willekeurige sample van ongeveer 400 accounts genomen’. Iedereen die weleens een kleine cursus onderzoeksmethoden heeft gevolgd weet dat die formulering versluierend werkt: hoe werd die selectie gemaakt, uit welke populatie en hoe reken je percentages uit over ‘ongeveer 400’? Het maakt voor de resultaten veel uit.

Bereiksonderzoek is nooit ideaal geweest en was altijd al omgeven met allemaal onduidelijkheden en methodologische vragen. Maar de onderzoekers waren wel transparant over wat ze deden en waarom. Ook gingen ze de discussie aan of hun metingen goed waren en hoe ze verbeterd konden worden. De onderzoekers van het bereik van Twitter doen niets van dit alles. Als deze onderzoekers vervolgens ook met zeer wisselende schattingen komen, zichzelf verexcuseren voor mogelijke fouten en vage methodologische formuleringen gebruiken, moeten we het ernstigste vrezen: we hebben geen idee hoeveel twitteraars er in Nederland zijn.