Wisdom of crowds, oftewel: de menigte versus de redactie

Een paar weken geleden betoogde Geert-Jan Boogaerts, chef internet van de Volkskrant, dat professionele redacties een onmisbare schakel vormen in de nieuwsselectie. Redacties brengen volgens hem ogenschijnlijk op zichzelf staande nieuwsfeiten met elkaar in verband en creëren zo meerwaarde. “De nieuwsconsument wordt verrast”, schreef Boogaerts, “hij komt ook berichten tegen die hij uit zichzelf, had hij de keuze om ze al dan niet in zijn rss-feed of filtersysteem op te nemen, nooit zou hebben uitgekozen.”

Het boek The Wisdom of Crowds levert het wetenschappelijke bewijs dat groepjes experts, waartoe ik ook redacties reken, doorgaans niet de beste beslissers zijn. Zeker, professionele journalisten zijn degenen die kiezen waarvan wel en niet verslag wordt gedaan in de wereld; zij verzorgen de eerstelijns verslaggeving (met een groeiende aanvulling door sommige bloggers en burgerjournalisten). Daarnaast zijn ze degenen die analyseren en context creëren. Maar dat betekent niet dat zij ook de aangewezen partij zijn om de duizelingwekkende hoeveelheid nieuwsberichten uit te dunnen tot er precies genoeg overblijft voor een krant, webpagina of omroepbulletin. De auteur van “The Wisdom of Crowds”, James Surowiecki, bewijst aan de hand van series wetenschappelijke voorbeelden dat de massa het bij veel beslissingen beter weet dan de experts. “Onder de juiste omstandigheden,” schrijft de auteur, die ook een vaste financiële column in de New Yorker heeft, “zijn groepen opmerkelijk intelligent, en vaak slimmer dan de slimsten in hun midden.”
Met andere woorden, de kans is groot dat een systeem als dat van Digg.com, waar een breed publiek de positie van berichten in de nieuwshiërarchie bepaalt, superieur is aan het systeem waar een professionele nieuwsredactie dat doet. Er bestaan veel meer niet-redactionele filtersystemen – zie de lezens- en bezienswaardige bijdragen daarover van Erwin Boogert en Jaap Stronks – maar mij gaat het nu even om het principe.

Lotto Weekend Miljonairs

Een aansprekend voorbeeld levert de televisiequiz “Who Wants To Be A Millionaire?”, in Nederland uitgezonden onder de titel Lotto Weekend Miljonairs. Gemeten over een groot aantal shows vonden deelnemers in 65% van de gevallen het goede antwoord als ze telefonisch een deskundige kennis raadpleegden. Maar kandidaten die het publiek in de studio raadpleegden — toch bepaald geen verzameling goeroes — scoorden veel beter; zij vonden maar liefst in 91% van de gevallen het goede antwoord. Volgens Surowiecki is dat geen toeval of uitzondering. Laat een groep naar iets raden — het aantal bonen in een pot, bij voorbeeld — en slechts een kleine minderheid van individuen zal dichter bij het correcte antwoord in de buurt komen dan de gemiddelde schatting van de gehele groep.
Evenzo blijkt het oordeel van de menigte vaak superieur bij het diagnosticeren van oorzaken van problemen (zoals na de ramp met de Challenger) en bij het voorspellen van uitkomsten van politieke, economische of militaire processen.
“Bij de meeste dingen staat het gemiddelde voor middelmatigheid”, zegt Surowiecki, “maar bij collectieve intelligentie staat het juist voor excellentie. You could say it’s as if we’ve been programmed to be collectively smart.

Wel, en dat is essentieel, moet aan een paar voorwaarden worden voldaan. In de eerste plaats moet de beslissende crowd redelijk geinformeerd en gemotiveerd zijn. Daarnaast moet zij, om optimaal effectief te zijn, drie kenmerken bezitten: gevarieerdheid in standpunt, onafhankelijkheid van elkaars mening, en decentralisatie (met de mogelijkheid om “lokale kennis” te ontsluiten en benutten). En er moet uiteraard een mechanisme zijn waarmee alle prive-oordelen tot een collectieve beslissing worden geaggregeerd.
Op de website van Jim Heskett, hoogleraar aan de Harvard Business School, blijken opvallend veel ceo’s en organisatie-adviseurs Surowiecki’s theorie met succes aan hun eigen praktijk te hebben getoetst. Het klopt allemaal, zeggen ze, al wijzen sommigen er terecht op dat menigten vaak buitengewoon slechte beslissingen nemen als niet aan de drie voorwaarden is voldaan (zoals de gang van zaken onder beleggers tijdens de internet bubble of onder automobilisten in een file bewijst!).

Redactie als kleine crowd?

Ook bij de nieuwsselectie draait het om het nemen van een beslissing, en wel over de vraag welke informatie belangrijk is voor een gemeenschap, welke berichten een bredere distributie waard zijn. Met een beroep op Surowiecki kun je zeggen dat geen instantie daartoe beter geëquippeerd is dan die gemeenschap zelf. Maar, zou iemand daar tegenin kunnen brengen, ook de redactie vormt toch een (kleine) crowd? Waarom de besluitvorming dan toch niet aan haar overgelaten?
Die vlieger gaat om meerdere redenen niet op, lijkt me. Ten eerste bepalen redacties hun nieuwsselectie niet door de besluiten van alle individuele redacteuren te aggregeren. In de tweede plaats weten we sinds Warren Breed (Social Control in the Newsroom) en Herbert Gans (Deciding What’s News) hoe conformistisch de meeste professionele redactieculturen in elkaar zitten; het soort pluriformiteit dat we in de menigte buiten vinden, wordt nooit in redactielokalen geëvenaard.
Daarom zou de pers de gemeenschap beter bedienen door systemen á la Digg.com te ontwerpen en gebruiken. Meer in zijn algemeenheid kunnen zgn. consumer generated media (zie bv. dit artikel over autojournalistiek) de pers voor blinde vlekken en vertekeningen behoeden die elke besluitvormende elite nu eenmaal eigen zijn. Het zou tot verrassende en verfrissende resultaten leiden. Zo durf ik, afgaande op de massale discussies op het web, wel te wedden dat de gemeenschap het nieuws over Ayaan Hirsi Ali en de nieuwe feiten omtrent de moord op John F. Kennedy – door veel journalisten tot “oud nieuws” bestempeld – meteen hoger in de hiërarchie zou hebben geplaatst.

The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies and Nations.
By James Surowiecki.
Doubleday; 320 pages; $24.95.
Little, Brown; £16.99

Theo van Stegeren

Theo van Stegeren is mede-oprichter en oud-hoofdredacteur van De Nieuwe Reporter. Was directeur van Forum voor Communicatie en Journalistiek in Utrecht en programmamanager bij de Master Journalistiek en Media (UvA). Richtte in 1986 met anderen het vakblad Reporter op, waarvan hij tot 1991 hoofdredacteur was. Schreef voor NRC Handelsblad, de Volkskrant, Elsevier, Intermediair en Quote en is momenteel reizend schrijver.

Alle artikelen van Theo van Stegeren op De Nieuwe Reporter.

  • Is de vraag niet wat we precies verstaan onder “de beste journalistieke beslissingen”? Ik geloof heilig in de wijsheid van de massa waar het gaat om het voorspellen van politieke verkiezingen – ooit zette ik met mateloos plezier de politieke aandelenmarkt voor de Volkskrant op -, en ja, ik ben bereid te geloven dat honderd Japanse toeristen beter in staat zijn het gewicht van een koe te raden dan twee Brabantse boeren. Maar dat zegt nog niets over journalistieke beslissingen.
    The wisdom of crowds kan nuttig zijn als hulpmiddel bij het bepalen van een nieuwsagenda: waar gaan we het morgen over hebben, wat vindt de buitenwereld de moeite waard, hoe denken ze echt over de positie van die bungelende minister. Mechanismen die daar slim gebruik van maken, vormen een tegengif tegen journalistieke pendanterie, vooringenomenheid, betweterigheid en conservatisme.
    Het dwingt je tot nadenken, bedoel ik maar. Het had, bijvoorbeeld, in de jaren negentig tot andere, betere afwegingen kunnen leiden in de berichtgeving over de multiculturele samenleving.
    Maar journalistieke keuzes hebben ook alles te maken met smaak en missie. We reproduceren niet alleen de waarheid van gisteren, maar vinden gemiddeld dat we iets moeten vinden van de waarheid van morgen: wat er toe doet, of toe zou moeten doen. Daarbij hoort dat we ons soms niets van de wisdom of crowds aantrekken (dat berichten over seks het best worden gelezen is althans voor mij geen reden steeds meer van die berichten te maken).
    Tenslotte is er een belangrijk technisch argument tegen de wijsheid van de massa als nieuwsselectie-instrument. Terecht herinnert Theo eraan dat de “crowd” aan drie voorwaarden moet voldoen, waarvan “onafhankelijkheid van elkaars mening” mij de belangrijkste lijkt. Wat er mis gaat op financiele markten is immers dat de massa elkaars gedrag gaat imiteren, hetgeen hypes genereert, en luchtbellen.
    Nieuwsselectie lijkt me meestal een zich herhalend proces: je doet het elke dag opnieuw, maakt een krant die je verspreidt, waarna je andermaal selecteert. Zou een massa niet van dag tot dag steeds afhankelijker worden van de al genomen beslissingen en de eerder gemaakte nieuwsselectie? Ik vermoed dat je een zichzelf steeds verder beperkende nieuwsselectie krijgt, steeds armer en schraler, als grond die je uitput.

  • Pingback: MediaBlog » De menigte weet het beter (soms)()

  • Dit boek doet mij meteen denken aan het buitengewoon heldere boekhoofdstuk Interactive Audiences? The ‘Collective Intelligence’ of Media Fans van media theoreticus Henry Jenkins. In dit hoofdstuk gebruikt Jenkins op zijn beurt het boek van de Franse filosoof Pierre Levy; Collective Intelligence: Mankind’s Emerging World in Cyberspace (1997). Ik ben dan ook benieuwd in hoeverre Surowiecki zijn boek geïnspireerd is door de heldere inzichten van Levy (& Jenkins).

  • Zeer interessante materie inderdaad, maar het is jammer dat je redactionele beslissingen als voorbeeld noemt en Digg als exponent van de wijsheid van de massa. Ten eerste zijn redactionele beslissingen niet goed of fout. Het is dus niet zoals het raden van het aantal bonen in een pot. De wijsheid van de massa is dus erg goed te meten bij kwantitatieve opdrachten, maar bij kwalitatieve zaken is het al moeilijker.

    Digg voldoet naar mijn mening niet geheel aan twee van de drie criteria voor massawijsheid. De onafhankelijkheid is er soms niet, omdat mensen zien wat andere mensen gestemd hebben, dit kan leiden tot een vicieuze cirkel van populariteit (de zeepbel waarnaar je refereerde). Wat je ook ziet bij dit soort services is dat voornamelijk de technologie-crowd het heeft opgepikt, wat leidt tot veel tech-gerelateerde onderwerpen.

    In mijn mening zijn voorspellende markten een zeer interessant middel om in bedrijven te gebruiken. Het wordt bijvoorbeeld al gebruikt in softwarebedrijven om de doorlooptijd van een project in te schatten.

    Als je trouwens nog niet overtuigt bent om het boek te kopen staat hier een praatje (MP3) van Surowiecki over het onderwerp (tijdens de conferentie SXSW 2006):
    http://server1.sxsw.com/2006/coverage/wisdomofcrowds.mp3

  • Even advocaat van de duivel spelend: er zijn twee enorme problemen bij deze notie van de ‘wijsheid’ van de groep, dan wel Levy’s ‘collectieve intelligentie’.

    Allereerst is, zoals Henk ook betoogt, de beslissing van “de meeste” mensen niet noodzakelijkerwijs de beste, zeker niet wat betreft het creatieve werk dat de journalistiek bijvoorbeeld is. Daarnaast wijst de geschiedenis uit dat wat “de meeste” mensen beslissen uiteindelijk leidt tot minder variatie – zie de idee van de Grootste Gemene Deler, of de “lowest common denominator”. Dat is prachtig vanuit klassiek commercieel uitgangspunt (hoe meer mensen samen voor 1 produkt kiezen, hoe groter de afzetmarkt), maar desastreus voor evenzeer klassieke opvattingen over de publieke sfeer.

    Een tweede probleem is dat bij Pierre Levy’s collectieve intelligentie van cyberspace de rol van internet centraal staat – dito bij de ‘succesverhalen’ in populaire zakenboekjes zoals dit “Wisdom of Crowds”. Maar het is niet toevallig wie wel, en wie niet toegang hebben tot internet, wie wel en wie niet mee kunnen of willen beslissen en wie en wie niet tot de bepalende groep behoren. Met andere woorden: “the wisdom of crowds” is de wijsheid van de meest gefortuneerden met de grootste bek – en daar is niets democratisch, wijs of innovatief aan (die mensen maken nu ook al de dienst uit, nietwaar).

    Aan de andere kant zit in het principe waar Theo het over heeft iets anders besloten: de inmiddels diepgewortelde afkeer van steeds meer mensen ten opzichte van op (vooringenomen) collectiviteit en (top-down) gebaseerde instanties en zgn. ‘expertsystemen’ – en laten dat nu juist de systemen zijn waar de journalistiek zich sinds jaar en dag op richt voor het Nieuws. Ook daar zit een deel van de verklaring voor het zombie-gehalte van traditionele journalistiek.

  • Gerard Smit

    Een van de voorwaarden om tot collectieve wijsheid te komen is de bereidheid om te leren. In de pedagogie wordt veel onderzoek gedaan naar succesvoorwaarden van ‘communities of learners’ In Nederland oa door J. Beishuizen. De wil om te leren en nieuwe inzichten toe te passen, moet het winnen van de wil om gelijk te hebben.

  • De paradox van dit goede, interessante artikel is dat het slechts door een (1) auteur is geschreven …

  • Pingback: MediaBlog » De brave nieuwe wereld van de Metacratie()

  • Ik deel de visie uit deze interessante bijdrage. Succesvolle items op digg.com gaan overigens nooit over sex, eerlijk gezegd. Het zijn juist zeer opmerkelijke en interessante berichten.

    Mijns inziens zouden redacties zich niet zo druk moeten maken over hun voorrecht op nieuwsselectie. Er zijn al zoveel goede technologieen om gebruikers te laten participeren in dit proces, dat het mij een achterhaalde discussie lijkt.

    De rol van redacties in de toekomst lijkt mij veel meer gelegen in het waarborgen van de drie voorwaarden die hierboven worden genoemd:
    1) zorg dat de beslissende crowd redelijk geinformeerd en gemotiveerd is
    2) Zorg voor gevarieerdheid in standpunt
    3) Waarborg onafhankelijkheid van elkaars mening,
    4) Decentraliseer (met de mogelijkheid om “lokale kennis” te ontsluiten en benutten).

    Op die manier wordt een journalist een gespreksleider en -moderator die de gespreksdeelnemers uitdaagt en informeert. Dat lijkt mij een lovenswaardige rol.

    Iets heel anders betreft overigens de commerciele kansen die een dergelijke aanpak biedt. Een bijdrage van lezers aan de nieuwsselectie garandeert immers dat journalisten veel beter weten wat er speelt. Dat geeft hen ook de kans om met scherpere vervolgverhalen te komen die beter aansluiten op de informatiebehoefte van de lezersgroep. Het lijkt me dat dit de afzet van kranten of het bezoek aan websites sterk ten goede komt.

  • Correctie op Duns Ouray:
    Dit artikel bestaat uit een startekst en reacties, dat geheel is door meerdere mensen geschreven.

    Een belangrijk verschil tussen bijvoorbeeld wikipedia een succesvol voorbeeld en de selectie en prioritering van nieuws is de motivatie van de uitvoerders.
    Bij Wikipedia moet je als deelnemer behoorlijk gemotiveerd zijn om een bestaande bijdrage aan te passen, anders wordt die weer gewist door anderen die het beter denken te weten.

    Bij nieuws items is de motivatie soms niet meer dan het registreren van het klikgedrag.
    Daar zit weinig motivatie in, en kan gemakkelijk gemanipuleerd worden door opvallende woorden, koppenmakers doen niet anders.

  • @Mark, Die centrale rol van internet maakt juist dat we tegen bijzonder lage kosten heel veel mensen deel kunnen laten nemen aan besluitvormingsprocessen of de denkkracht van specifieke groepen kunnen aanboren. Onder andere op basis van “Wisdom of Crowds” wordt er gewerkt aan een project met de titel ‘Ask Lesotho’. Tegen betaling kunnen organisaties straks vragen laten beantwoorden door de inwoners van Lesotho, die op hun beurt een vergoeding krijgen voor hun inspanning.

  • Ik ga nog even door: zodra we blind naar zogenaamd ‘collectieve’ dan wel democratische of blijkbaar inclusieve en ‘open’ besluitvormingsprocessen online verwijzen als mooie voorbeelden van hoe het ook/beter kan (dan offline), zoeken we toch ook rechtvaardiging voor een klaarblijkelijke apathie en desinteresse om onze eigen handen daadwerkelijk vuil te maken aan het functioneren van de maatschappij die wij (en vooral de zwaksten in de samenleving) elke dag aan den lijve ondervinden.

    Mooi hoor: een paar klikken met de muis, wat gerammel op een toetsenbord, een sticker achterop de auto en een t-shirt met een leuk logo en we kunnen allemaal naar bed gaan in de illusie dat we bijgedragen hebben aan een betere (virtuele, hyper-werkelijke) wereld. want waarom kritische gesprekken aangaan met onze medemens als we dat ook met een schuilnaam online via een server ergens in Californie kunnen doen? is wel zo makkelijk en vraagt minder investering. en ja hoor, als we dat maar allemaal doen hebben we de wijsheid van de massa te pakken die het daardoor ‘beter’ doet dan sommige expertsystemen.

    dit lijkt m.i. het perfecte excuus voor de gemakzucht van de culturele bovenlaag, de geprivilegeerde elite – een uitdrukking van het effectloze commitment van de surfers die onvermijdelijk – want dat is het ultieme talent van de websurfer – altijd aan de oppervlakte zullen blijven.

    vanzelfsprekend overdrijf ik (zoals gewoonlijk). maar laten we op DNR en in PopUp toch ook verder kijken dan de technologische neus lang is. internet laat zien welke mechanismen in de samenleving bestaan naast expertsystemen – maar collectieve intelligentie is juist niet alleen het domein van cyberspace.

    wereldwijde collectieve intelligentie die de tegenstelling online/offline ontstijgt en er echt toe doet is een VN die werkt, een wereldwijde vakbond die opkomt voor de rechten van de arbeider, een geengageerde en massale tegenbeweging tegen de uitwassen van het grenzenloze kapitalisme, etc etc…

    of zijn AskLesotho en andere vergelijkbare voorbeelden meer dan westers internet-fetishisme?

  • Pingback: Voorlopige literatuurlijst at Jaap Stronks()

  • Pingback: De nieuwe reporter » Blog Archive » De politiek van media convergentie (1): Democratie & Nieuwe Media()

  • Pingback: iiMail Weblog » YouTube als opsporingsmiddel()

  • Pingback: Sargasso lijst: Belangrijkste politieke documenten - Sargasso()

  • Pingback: Keen’s gelijk en Surowiecki’s gelijk « Aico van Gogh weblog()

  • Pingback: Wisdom of Crowds uitgelegd door de bedenker | Publishr()

  • Pingback: Hoe Premtime beter kan worden | Crossmediale Journalistiek()