12 reacties

1. Pingback: In feite

2. Volgens De Nieuwe Reporter grijpen de meeste Nederlanders en Belgen eerst naar het internet wanneer ze naar informatie op zoek zijn. ‘Maar nog wel met de nodige twijfels.’ Helaas vergat De Nieuwe Reporter om ook bij het onderzoek zelf de nodige vraagtekens te plaatsen.

   Door het onderzoek ‘representatief’ te noemen krijgt dit meteen het aura van geloofwaardigheid. Een blik op het bijgeleverde Excel-bestand leert dat er bijvoorbeeld voor geslacht en leeftijd (enkel van 18 tot 64 jaar weliswaar) inderdaad geen probleem is, maar bij een onderzoek naar de informatiebehoefte bij consumenten spelen ook andere kenmerken een cruciale rol. Al dan niet toegang hebben tot het internet – om maar iets te noemen.

   De ‘representativiteit’ van een steekproef (voor bepaalde achtergrondkenmerken) is met andere woorden lang niet voldoende om zich te verzekeren van betrouwbare resultaten. Ook de wijze waarop de steekproef werd geselecteerd is van cruciaal belang. Waarbij ‘het toeval’ een belangrijke plaats hoort in te nemen. Het abstract onderaan het artikel leert enkel dat bij dit onderzoek een online vragenlijst werd gebruikt. Het mag dan ook niemand verbazen dat maar liefst 90 procent van de Belgen (en 93 procent van de Nederlanders) beweert elke dag in contact te komen met het internet en dit medium uiteindelijk ook verkiest. Alsof je bij een rondvraag bij de aanwezige jongeren op een concert van Lee Touwers zou besluiten dat de jeugd gek is op de Nederlandse zanger…

   Het boeiende debat over de nieuwe journalistiek wordt wel vaker jammerlijk vertroebeld door twijfelachtig onderzoek dat desondanks toch als hard argument gaat dienen.

   Neen, dit is geen spijkers op laag water zoeken. Journalisten die wel geletterd maar niet gecijferd zijn, laten zich sneller vangen door (pr-)praatjes van bedrijven, overheden of belangenorganisaties. ‘Het onderzoek’ heeft toch aangetoond dat…

3. @bvo. De gehanteerde onderzoeksvorm is door mij in de beoordeling meegenomen. Vijf jaar geleden zou ik het nog met u eens zijn geweest, inmiddels niet meer. De ene, ideale peilingsmethode bestaat niet meer. En met de online penetratiegraad gaat het massaal bergopwaarts.
   Ik deel de mening van Maurice de Hond, die regelmatig peilingen via internet organiseert, dat juist traditionele onderzoeksmethoden vaak niet meer toereikend zijn. De Hond op zijn website: “Als er onderzoek wordt uitgevoerd naar wat Nederlanders vinden, dan gebeurt dat via het ondervragen van een zeer beperkt aantal personen, bijvoorbeeld 500 of 800. Daarbij is het doel die ondervraagden zodanig te selecteren dat ze samen een goed beeld geven van wat alle Nederlanders vinden. De groep ondervraagden is dan \”representatief\” voor alle Nederlanders. Door middel van het trekken van een steekproef uit alle Nederlanders kan een dergelijke representatieve groep worden gevormd. De essentie van het trekken van een dergelijke steekproef is dat \”alle Nederlanders een gelijke kans hebben om in de steekproef terecht te komen\”. Dit heet dan een \”aselecte steekproef\”. In de praktijk is dat moeilijk (en inmiddels steeds moeilijker) te realiseren. Dat komt vooral doordat veel mensen die wel in de steekproef vallen niet aan het onderzoek meedoen. Mensen zijn vaak niet thuis of weigeren aan het onderzoek mee te doen. Vooral dat laatste gebeurt steeds meer. Bij telefonisch onderzoek komt het inmiddels vaak voor dat minder dan 25% van de mensen die in de steekproef valt echt aan het onderzoek meedoet. Dit houdt dus in dat als tegenwoordig onderzoek wordt gedaan via een aselecte steekproef het niet automatisch betekent dat de resultaten ook representatief zijn voor alle Nederlanders.”

   John Kivit, directeur van onderzoekbureau Multiscope, zegt over on-line onderzoek: \”Een veel gehoord bezwaar tegen on-line onderzoek is, dat de penetratie van internet te laag zou zijn. de penetratie van internet ligt inmiddels op zo\’n 70% van de Nederlandse bevolking. Binnen sommige groepen, zoals jongeren, heeft al 90% toegang tot internet. Natuurlijk blijft de penetratie van internet nog achter bij die van traditionele onderzoekskanalen zoals telefoon en post, maar dit hoeft geen praktisch bezwaar te zijn. Via grote online panels kunnen ook groepen waarvan de penetratie achterblijft, zoals ouderen en allochtonen, in voldoende mate geselecteerd worden. Via prestratificatie kan ervoor gezorgd worden dat de selectie een afspiegeling is van de Nederlandse bevolking. Overigens hebben ook andere onderzoeksvormen last van een lagere participatiegraad van bepaalde bevolkingsgroepen, dus online onderzoek is wat dat betreft geen uitzondering.\”

4. @Theo Van Stegeren: Ik lees nergens hoe u de gehanteerde onderzoeksvorm in de beoordeling hebt meegenomen. In uw reactie bevestigt u het belang van een zorgvuldig samengestelde steekproef, waar de aselecte trekking er een van is. Dat dit een gemakkelijk operatie is, wordt door niemand beweerd.

   U lijkt het gebruik van deze online vragenlijst te vergoelijken door naar de problemen bij een traditionele toevalstrekking te verwijzen. Een concretere verantwoording dan ‘dat het met de online penetratiegraad massaal bergopwaarts gaat’ reikt u niet aan. Daarenboven lijkt u met uw verwijzing naar het commerciële onderzoeksbureau Multiscope, dat over een internetpenetratie van 70 procent spreekt, de 30 procent internetlozen zomaar naast u neer te leggen. Een cijfer dat in België helaas nog een pak procenten hoger ligt…

   Daarenboven hebben zware internetgebruikers doorgaans meer kans om op een uitnodiging tot deelname aan een online vragenlijst te stuiten. Wat schijnbaar ook uit resultaten naar boven komt, aangezien zeker 90 procent van de 18- tot 64-jarigen zegt dagelijks met het internet in contact te komen.

   Uiteraard kunnen nieuwe technologieën van dienst zijn bij peilingsonderzoek, maar het probleem van zelfselectie blijft bij dergelijke internetpeilingen een zeer teer punt. Het is immers heel goed mogelijk dat respondenten die zich spontaan aanbieden een systematisch andere mening erop nahouden dan respondenten die worden getrokken uit de populatie.

5. Het is u misschien ontgaan dat dit onderzoek direct vanaf publicatie ook in onze onderzoeksdatabase (zie knop Onderzoek bovenin linkerkolom) stond opgenomen met de volgende korte methodologische toelichting:
   In totaal bevroegen Living Tomorrow en InSites Consulting via een online vragenlijst begin mei 2.084 mensen (1.051 Belgen en 1.033 Nederlanders) van 18 tot 64 jaar representatief voor de Belgische en Nederlandse bevolking volgens de populatiebeschrijving van het N.I.S. (België) en C.B.S. (Nederland).
   Maar het is een interessante kwestie die u aansnijdt en ik zal de auteurs van het onderzoek dan ook vragen om op uw kritiek te reageren.

6. @Theo Van Stegeren: Ik kijk uit naar uw verdere antwoord. Dank voor de opvolging.

   PS: In mijn eerste reactie verwees ik al naar het ‘abstract’ met de korte methodologische toelichting…

7. Insites Consulting probeert via internet reclame zijn geld te verdienen.Dat betekent zoveel mogelijk gegevens over internet bezoekende mensen verzamelen.Die gegevens kunnen dan weer aan de e-commerce verkocht worden.Ik heb daar niets op tegen.Wel heb ik mijn twijfels bij de eerlijkheid van dit hierboven omschreven onderzoek.Ik geloof beslist niet dat 79% Nederlanders gepersonaliseerde reclame in hun email-box willen ontvangen. Ik zou eerder veronderstellen dat 79% Nederlanders een hekel hadden aan welke reclame dan ook.
   Dit onderzoek geeft mij een onaangenaam voorgevoel.Internet reclame kost namelijk bijna niets….

8. Toch even een reactie op een paar misverstanden hierboven vanuit InSites Consulting

   1- naar Stefanie: InSites Consulting is geen e-commerce bedrijf, en verdient geen geld via reclame. Zoals onze website u kan leren zijn wij een full service en volledig onafhankelijk marktonderzoekbureau dat sinds 1997 gespecialiseerd is in online en volledig anonieme bevraging van respondenten. Dit heeft dus ook nergens uitstaans met het doorverhuren of verkopen van informaie over internet bezoekende mensen zoals u het stelt. Misschien verwart u ons met andere bedrijven. InSites heeft een database van meer dan 1 miljoen Europeanen die volledig vrijwillig via double opt-in procedures zich inschreven om aan anoniem marktonderzoek van InSites deel te nemen. Die meer dan 1 miljoen mensen worden door ons enkel benaderd voor deelname aan enquêtes en nooit voor commerciële doeleinden.

   2- Vanuit die ruime database kunnen wij gestratificeerde steekproeven recruteren rekening houdend met socio-demografische gegevens zoals (onder andere): geslacht, leeftijd, opleidingniveau, sociale klasse, inkomensklasse, de internetervaring, gebruiksintensiteit en dergelijke. We kunnen dus op de meeste beïnvloedende variabelen controleren om tot een representatieve steekproef volgens het universum van CBS in Nederland te komen en dat is zoals Theo Van Stegeren aanhaalde ook voor dit specifieke onderzoek gebeurd. Verder sluit ik me aan bij de antwoorden van Theo rond online onderzoek. De perfecte onderzoeksmanier bestaat niet meer, aangezien inderdaad ook postaal, face to face of telefonisch (door de opgang van een aantal mobile only mensen) bepaalde bevolkingsgroepen niet meer bereikt. Onze R&D afdeling doet zelf regelmatig experimenteel onderzoek waarbij een exact dezelfde vragenlijst afgenomen wordt via random walk, telefonisch en online om te kijken wat potentiële afwijkingen kunnen zijn op het vlak van responsprofielen (en non-responsfouten) en antwoordpatronen. Op dit moment loopt een nieuwe studie die we ook zullen presenteren op een ESOMAR congres en waarvan de resultaten in oktober dus gepubliceerd worden. Indien u interesse hebt in meer info hierover dan graag een seintje op joeri.vandenbergh@insites-consulting.com. We krijgen als online marktonderzoeksbureau uiteraard vaak ook dit soort methodologievragen vanuit onze klanten (marktonderzoek specialisten bij grote ondernemingen uit diverse sectoren zoals Philips, Henkel, P&G, Masterfoods, Pioneer enz.), vandaar dus ook onze interesse om op dit vlak onze know-how zelf te ondersteunen met experimenten en wetenschappelijk onderzoek (dat is met name ook onze achtergrond). Dank voor jullie interesse in de resultaten van deze studie i.o.v. Living Tomorrow. Joeri Van den Bergh, managing partner InSites Consulting

9. @Joeri Van Den Bergh: Dit concrete onderzoek houdt – net omwille van het feit dat dit online gebeurde – geen rekening met personen die het internet nooit (of minder dan een keer per maand) gebruiken. Ook legt u, door te verwijzen naar problemen bij de steekproeftrekking bij de meer klassieke steekproefmethoden, het probleem van de zelfselectie zomaar naast u neer. Jazeker, de ‘ideale onderzoeksmethode’ bestaat niet, maar dit hoeft toch niet te betekenen dat de ene methode voor sommige doeleinden niet betrouwbaarder is dan de andere?

   De resultaten van dit onderzoek naar de informatiebehoefte bij de Nederlander/Belg zijn gebaseerd op de antwoorden van mensen die, 9 op de 10 keer, dagelijks het internet gebruiken.

   * Hoeveel procent van de Nederlandse en de Belgische bevolking bevindt zich volgens InSites Consulting in voorkomend geval?

   * Op welke wijze heeft InSites Consulting rekening gehouden met de variabele ‘internetervaring’ bij dit concrete onderzoek?

   * Of gelooft InSites Consulting niet dat het feit dat iemand dagelijks het internet gebruikt dit een belangrijke invloed heeft op de informatiebehoefte van deze persoon?

10. Dag Bartel,

    Bedankt voor uw reactie.Wat ik gewoon wou aangeven is dat voor deze studie andere onderzoeksmethoden niet beter geschikt waren dan de gehanteerde. Uiteraard kan internetervaring een invloed hebben op sommige onderzoeksonderwerpen, net als mensen met enkel een mobiele telefoon en geen vaste lijn wellichte andere informatiebehoeften hebben of de groep die aan postale of face to face enquêtes deelnemen ook weer andere behoeften hebben.We leggen alleszins zelfselectie bij InSites niet zomaar naast ons neer, in die zin dat we bij de recrutering ook nooit expliciet een onderzoeksonderwerp vermelden en daarnaast dus zoals eerder geduid rekening houden met de verschillende bevolkingslagen volgens de beschikbare populatiebeschrijvingen.

    We hebben uw interessante invalshoek evenwel ook even bekeken op de meest gevoelige data van het onderzoek. Hoewel er inderdaad sporadisch significante verschillen zijn tussen de meer internetervaren respondenten en de minder internetervaren respondenten, blijkt dat geen verschil te maken in de conclusies van het persbericht omdat de verschillen niet van die grootorde zijn dat ze de ranking van behoeften of persoonlijke relevantie van informatiebronnen wijzigen. Soms ligt het verschil overigens ook anders dan hypothetisch verwacht. Zo vinden minder ervaren internet gebruikers het internet nog iets persoonlijk relevanter als informatiebron dan de meer ervaren internetgebruiker. Maar voor beide groepen staat het weliswaar op nummer 1. Voor de groep niet-internetgebruikers zal dat uiteraard anders zijn, dat spreekt voor zich en daarin volg ik jou dus zeker. Dat ze daarom andere informatiebehoeften gaan hebben, durf ik dan weer in twijfel te trekken. Het is niet omdat je geen internet gebruikt dat verkeers- en gezondheidsinformatie je minder aan het hart zal liggen, neem ik aan. Alleszins is nuance en duiding in elk onderzoek nooit overbodig en dus begrijp ik jouw reacties ook wel, maar vaak is er in korte persartikels geen ruimte hiertoe. Daar biedt het internet gelukkig dan deze annotatie-mogelijkheden.

11. @Joeri Van den Bergh: Hartelijk dank voor uw reactie! Zonder dat ik er een ellenlange discussie van wil maken, had ik graag toch nog even enkele bemerkingen/vragen toegevoegd.

    Het zou me ten zeerste verbazen indien Belgen die de voorbije drie maand niet op het internet hebben vertoefd (dit is een groep die niet in het InSites-onderzoek werd opgenomen), ditzelfde internet toch op nummer 1 zouden zetten. Eurostat bevestigde onlangs namelijk in een rapport http://epp.eurostat.ec.europa.eu/cache/ITY_OFFPUB/KS-71-05-691/EN/KS-71-05-691-EN.PDF) dat vorig jaar in België amper 58% van de 16- tot 74-jarigen “de voorbije drie maand” het internet had gebruikt (83%: 16-24 jaar; 66%: 25-54 jaar; 25%: 55-74 jaar). Ruim gerekend zou men dus kunnen vermoeden dat het onderzoek van InSites (18-64 jaar) geen rekening houdt met een zeer ruim derde van de Belgische bevolking dat hoe dan ook het internet nooit op 1 kan hebben gezet.

    Het lijkt me daarom nog steeds bijzonder sterk om vol te houden dat Belgen voor informatie als eerste naar het internet grijpen…

    NB: De groep Belgen uit het onderzoek dat het internet minder dan een keer per maand gebruikt, lijkt slechts uit ongeveer een 12-tal respondenten te bestaan. Of zie ik dit verkeerd? Is dit niet bijzonder klein om veralgemenende uitspraken mee te doen?

12. Wat ik gewoon wou aangeven is dat voor deze studie andere onderzoeksmethoden niet beter geschikt waren dan de gehanteerde. Uiteraard kan internetervaring een invloed hebben op sommige onderzoeksonderwerpen, net als mensen met enkel een mobiele telefoon en geen vaste lijn wellichte andere informatiebehoeften hebben of de groep die aan postale of face to face enquêtes deelnemen ook weer andere behoeften hebben.We leggen alleszins zelfselectie bij InSites niet zomaar naast ons neer, in die zin dat we bij de recrutering ook nooit expliciet een onderzoeksonderwerp vermelden en daarnaast dus zoals eerder geduid rekening houden met de verschillende bevolkingslagen volgens de beschikbare populatiebeschrijvingen.

    We hebben uw interessante invalshoek evenwel ook even bekeken op de meest gevoelige data van het onderzoek. Hoewel er inderdaad sporadisch significante verschillen zijn tussen de meer internetervaren respondenten en de minder internetervaren respondenten, blijkt dat geen verschil te maken in de conclusies van het persbericht omdat de verschillen niet van die grootorde zijn dat ze de ranking van behoeften of persoonlijke relevantie van informatiebronnen wijzigen. Soms ligt het verschil overigens ook anders dan hypothetisch verwacht. Zo vinden minder ervaren internet gebruikers het internet nog iets persoonlijk relevanter als informatiebron dan de meer ervaren internetgebruiker. Maar voor beide groepen staat het weliswaar op nummer 1. Voor de groep niet-internetgebruikers zal dat uiteraard anders zijn, dat spreekt voor zich en daarin volg ik jou dus zeker. Dat ze daarom andere informatiebehoeften gaan hebben, durf ik dan weer in twijfel te trekken. Het is niet omdat je geen internet gebruikt dat verkeers- en gezondheidsinformatie je minder aan het hart zal liggen, neem ik aan. Alleszins is nuance en duiding in elk onderzoek nooit overbodig en dus begrijp ik jouw reacties ook wel, maar vaak is er in korte persartikels geen ruimte hiertoe. Daar biedt het internet gelukkig dan deze annotatie-mogelijkheden.