Uitgerekend de krant die in Nederland ieder jaar opnieuw grote publiciteit genereert met de publicaties van de verkiezingen tot beste oliebollenbakker en haringverkoper, schitterde gisterenavond door afwezigheid bij een VVOJ-café over kwaliteitslijsten in Utrecht. Het AD was niet vertegenwoordigd in een door de Vereniging van Onderzoeksjournalisten georganiseerde discussieavond over het nut en de kwaliteit van door verschillende media zelf opgestelde lijstjes.

Onder de titel ‘Lijstenbrij’ gingen Arthur van Leeuwen, hoofd onderzoeksredactie van het opinieblad Elsevier, de Volkskrant-journalist Jeroen Trommelen en Henk Maassen (Medisch Contact) in het Utrechtse café Lofen met elkaar in debat over vragen als ‘hoe komen al die lijstjes tot stand?’ en ‘hebben deze lijsten enige journalistieke waarde?’. De discussie draaide niet geheel onbegrijpelijk voor het grootste deel om de betrouwbaarheid van dergelijke lijstjes, als de jaarlijkse rangschikking door de Volkskrant van verpleeg- en verzorgingshuizen en de door Elsevier georganiseerde verkiezing van beste gemeente. Met name de wijze waarop de in de discussie besproken lijsten tot stand komen, geven aanleiding om kritisch naar deze klassementen te blijven kijken.

“Als een verpleeg- of verzorgingshuis onder aan onze lijst bungelt, zou ik mijn moeder of oma daar niet laten opnemen”, aldus Trommelen, bij de Volkskrant verantwoordelijk voor de jaarlijkse publicatie van de beoordeling van verzorgings- en verpleeghuizen in Nederland. “Maar ik garandeer niet dat de instelling die de lijst aanvoert per definitie het beste verpleeg- of verzorgingshuis is. Een instelling met een objectief lage score kan in onze test toch hoog op de ranglijst eindigen.”

Hoe dat kan? Het antwoord op deze vraag ligt verscholen in de wijze van totstandkoming van deze rangschikking. Trommelen gaf aan dat bij het beoordelen van de diverse verpleeg- en verzorgingshuizen de Volkskrant zich baseert op cijfers van de instellingen zelf. Trommelen: “Zorginstellingen hebben zich sinds een tijdje verplicht om hun eigen zorgprestaties te meten langs een aantal door hen zelf opgestelde indicatoren. Op zich is hier niks mis mee, maar vervolgens wordt deze dataset door medische wetenschappers ingevoerd in een black box, waar met behulp van een ingewikkelde rekenmethode correcties worden uitgevoerd op de ingevoerde data. Gecorrigeerd wordt er voor de factoren waar een ziekenhuis niets aan kan doen, zoals bijvoorbeeld het aantal kankerpatiënten wat in een zorginstelling verblijft. Maar ik heb als journalist geen inzicht in wat er zich in die black box afspeelt, wij moeten het doen met de gecorrigeerde data én met gesprekken achter de schermen met de wetenschappers zelf. Al praten zij niet zo vlug hierover. Ik ken dus de beperkingen van deze cijfers, helemaal omdat zorginstellingen zelf de indicatoren bepalen. Zo kwam het voor dat de indicator ‘aantal kamers met meer dan één persoon’ door de zorginstellingen werd geschrapt toen de staatssecretaris in 2006 eiste dat er in verpleeg- en verzorgingshuizen een jaar iedere patiënt diende te beschikken over een eigen kamer.”

Wetenschappelijk broddelwerk
Om de cijfers over de zorgprestaties in een meer realistisch kader te plaatsen, weegt de Volkskrant de data. Trommelen: “Niet alle twintig indicatoren vinden wij even belangrijk bij het bepalen van het oordeel over een verpleeg- of verzorgingshuis. Daarom kent een panel van medisch deskundigen jaarlijks verschillende waarden toe aan bepaalde indicatoren om zo een evenwichtig beeld te kunnen schetsen van de prestaties van een zorginstelling.”

Ook bij de totstandkoming van de Ziekenhuis Top 100 van weekblad Elsevier zijn enkele haken en ogen te ontdekken. “Bij gebrek aan beter stellen wij onze lijst samen op basis van enquêtes onder 5000 mensen die werkzaam zijn in de medische sector; van verpleegkundigen tot zorgmanagers”, stelde Arthur van Leeuwen, hoofd van de onderzoeksredactie bij Elsevier. “Wij leggen ze een reeks vragen voor over uiteenlopende onderwerpen die van invloed zijn op het eindoordeel over ziekenhuis. Ik erken direct dat het lastig is om uitspraken te doen over medisch gevoelige onderwerpen als medische missers, omdat in de medische wereld er immers nog altijd een taboe lijkt te liggen op het toegeven van fouten. Maar over de kwaliteit van de bedrijfsvoering in een ziekenhuis kun je op basis van deze enquêtes vaak een gewogen oordeel vellen.”

Het vakblad Medisch Contact, dat volgens redacteur Henk Maassen jaarlijks een groot aantal artikelen herbergt die ingaan op de vraag hoe je nu een zo’n betrouwbaar mogelijke kwaliteitslijst van zorginstellingen kunt opstellen, publiceert ieder jaar een top-10 of top-20 van in de klinische wetenschapstijdschriften als The Lancet en The British Medical Journal meest geciteerde klinisch-wetenschappelijke artikelen. Maassen: “Wat wij wel eens meemaken is dat een artikel hoog in de top-10 eindigt omdat de strekking van de publicatie juist aan scherpe kritiek onderhevig is, terwijl je juist zou verwachten dat artikelen die in de top-10 staan positief zijn ontvangen in de klinische wetenschap. Maar het blijkt dus ook zo te zijn dat uit wetenschappelijk broddelwerk veelvuldig wordt geciteerd door andere wetenschappers. Voor ons is het dus aardig om naast het alleen publiceren eveneens een interpretatie te geven van de lijst.”

Oplage
Ondanks de kritiek die er te leveren is op de gisteravond aan de orde geweest zijnde lijstjes, benadrukken zowel Trommelen als Van Leeuwen de journalistieke waarde die rangschikkingen kunnen hebben. Trommelen: “In 2006 zijn wij bij de Volkskrant begonnen met het publiceren van een kwaliteitslijst van verzorgings- en verpleeghuizen. Destijds was er veel maatschappelijke onrust ontstaan rond publicaties in de media over de kwaliteit van de geleverde zorg in zorginstellingen. Als krant hebben we ons toen afgevraagd hoe we hier het beste aandacht aan konden schenken. Het publiceren van een lijst met beoordelingen van verpleeg- en verzorgingshuizen leek ons een prima optie omdat je als familie onmogelijk kunt nagaan in Nederland welke zorginstelling de beste zorg op maat levert voor opa of oma. In eerste instantie moesten we ons baseren op door de Inspectie van de Gezondheidszorg aangeleverde cijfers, maar inmiddels zijn we zover, door ook in gesprek te treden met de gezondheidsbranche, dat de medische sector zichzelf dus verplicht heeft om data naar buiten te brengen die iets zeggen over de geleverde kwaliteit in een zorginstelling, al kenmerkt de medische sector zich nog altijd niet als een open sector. Daarnaast heeft het publiceren van de top-200 van meest invloedrijke Nederlanders, de andere lijst die de Volkskrant ieder jaar de nodige naamsbekendheid oplevert, ook praktisch nut. Doordat je als journalist in de weken rondom de publicatie van deze lijst veelvuldig in contact komt met personen die hoog genoteerd staan in de rangschikking, krijg je op den duur betere toegang tot de top van het Nederlandse bedrijfsleven.”

Van Leeuwen: “De lijsten die wij publiceren gaan stuk voor stuk over de wijze waarop de overheid publiek geld besteedt. De reden dat wij dergelijke lijsten opstellen, is dat wij op terreinen waar burgers fundamentele keuzes moeten maken in het leven, onderwijs en de zorg bijvoorbeeld, het voor mensen inzichtelijk willen maken waar ze het beste terecht kunnen. Het heeft niks te maken met hogere verkoopcijfers die het publiceren van dergelijke lijstjes mogelijk met zich meebrengt, al is onze oplage sinds de publicatie van de eerste rangschikking, het universiteitenklassement, gestegen.”