In de huid kruipen van een man die enkele dagen voor de geboorte van zijn eerste zoon plotseling blind wordt. Met een VR-bril en koptelefoon kun je in de film Notes on Blindness ervaren hoe dat is. Met virtual reality kom je in gebieden waar je ‘in het echt’ nooit zal komen. Zo brengt VR-film We Who Remain van The New York Times de kijker naar het vergeten conflict in de Nuba-bergen van Sudan.

Journalisten maken steeds vaker gebruik van nieuwe technologieën zoals VR, AR en 360-gradenvideo. Dit soort producties worden ook wel aangeduid als ‘immersive journalism’ : een vorm van digitale journalistiek die het publiek onderdompelt in een virtuele wereld. Filmmaker Chris Milk stelde al in 2015 dat virtual reality de “ultimate empathy machine” zou zijn, omdat de kijker emotioneel betrokken wordt in een verhaal of situatie.

Het lectoraat Crossmediale Journalistiek aan de Hogeschool Utrecht doet samen met onderzoekers aan de Universtieit van Amsterdam en de Universiteit van Wenen en journalisten van KRO-NCRV, VPRO, NOS, NTR en Instituut voor Beeld en Geluid onderzoek naar deze geavanceerde vorm van journalistiek.

Drie elementen van immersie

Wat maakt een journalistiek verhaal eigenlijk immersief? Volgens de wetenschappelijke literatuur zijn er drie elementen die daaraan bijdragen: het gebruik van technologie, de interactiemogelijkheden en het narratief van de productie.

In hoeverre zorgt de technologie dat je uitgesloten bent van de werkelijke wereld? Wat is je blikveld? Kun je overal rondkijken? En wat is de kwaliteit van het beeld of geluid? Hoor je een bom ook daadwerkelijk áchter je vallen als die daar landt?

Naast de technologische aspecten, is voor immersie het narratief van belang. Welke rol speelt de gebruiker bijvoorbeeld? Hoe ontvouwt het verhaal zich?

Interactie zit verweven in zowel de technologie als het narratief. Op technologisch gebied gaat het bijvoorbeeld om de manier waarop de gebruiker zich kan bewegen in de virtuele wereld. De mate waarin de gebruiker invloed heeft op de ontvouwing van het verhaal, is een narratief aspect van interactie. Kan de gebruiker bijvoorbeeld zelf het tempo van het verhaal bepalen of zijn er meer verhaallijnen waaruit de gebruiker kan kiezen?

Analyse van immersieve producties

Maar in hoeverre zijn producties die de makers als immersief bestempelen nu echt immersief? Om die vraag te beantwoorden analyseerden wij 190 producties, een selectie van verhalen, waarbij ten minste één journalistieke organisatie betrokken is en die door de makers zelf als immersief worden bestempeld. Om een zo compleet mogelijk beeld te krijgen, hebben we producties uit dertien landen wereldwijd betrokken: Finland, België, Frankrijk, Duitsland, Nederland, Engeland, Spanje, Canada, de Verenigde Staten, Japan, Rusland, Brazilië en Qatar.

Om de meeste producties te bekijken is niet meer nodig dan een mobiel, koptelefoon of een VR-cardboard. Slechts dertig procent van de producties vereisen full gear zoals een VR- of AR-bril. De producties maken gebruik van verschillende modaliteiten (een combinatie van tekst, beeld en geluid), 87% van de producties gebruikt real footage.

Voor verhalen die niet of moeilijk te filmen zijn, worden vaak illustraties of computeranimaties gebruikt. Denk aan Kiya van Emblematic Group over huiselijk geweld, De Verwarde Man van KRO-NCRV over het ervaren van een psychose, of My trip to the DMZ, een productie over de muur tussen Noord en Zuid-Korea waar door journalisten niet gefilmd mag worden. Maar de meeste geanimeerde producties gaan over natuurvraagstukken, zoals deze productie van AP over de opwarming van de aarde. Het zijn onderwerpen waarmee je niet dagelijks wordt geconfronteerd, die de maker het publiek wil laten ervaren.

Onderdompelen

Interessant is de rol die audio kan spelen in immersieve verhalen. Geluid kan de ervaring ‘waarachtiger’ laten lijken. Zo geven achtergrondgeluiden de sfeer van de omgeving weer en kan achtergrondmuziek spanning of emoties oproepen. Ook kan audio ervoor zorgen dat de gebruiker niet slechts een toeschouwer is, maar daadwerkelijk een rol gaat spelen in het verhaal. Zo kunnen karakters bijvoorbeeld rechtstreeks tegen je praten of volg je de uitgesproken gedachten van het personage dat jij speelt. Bekijk een voorbeeld waarin je je in het hoofd van de autistische Laylah bevindt. Als gebruiker volg je de gedachten van Laylah. De andere karakters praten direct tegen de ‘gebruiker’.

De resultaten van onze inhoudsanalyse laten zien dat vrijwel iedere immersieve productie gebruik maakt van audio (98%). Hiervan gebruikt meer dan de helft drie of meer soorten geluid. De meest gebruikte soorten zijn achtergrondgeluiden (87%), gevolgd door vertelling door personen die voorkomen in het verhaal (64%) – dit in tegenstelling tot een voice-over (33%) – en achtergrondmuziek (55%).

Niet alleen het type audio is van belang. De kwaliteit ervan is dat ook. Nog weinig journalistieke producties gebruiken spatial audio, waarbij het geluid in 360 graden om de gebruiker heen klinkt. Spatial audio geeft geluid weer zoals wij het in het echte leven horen, niet alleen van links of rechts, maar ook van voor, achter, boven of onder ons, en dichtbij of ver weg. Spatial audio lijkt dus meer op hoe we horen in het echt en kan de luisteraar dieper onderdompelen in het verhaal dan standaard audio. Slechts 3% van de producties in onze steekproef gebruikt echter spatial sound.

De gebruiker als toeschouwer

In de meeste gevallen is de gebruiker slechts een toeschouwer. Slechts in 7% van de producties speel je actief een rol in het verhaal. Dit heeft geen relatie met de gebruikte technologieën. Het is dus niet zo dat producties voor VR-gear per definitie de mogelijkheid bieden om een rol in het verhaal te spelen. Bij slechts 3% van de producties kan de gebruiker zichzelf echt als avatar zien, zoals bij De Verwarde Man waarin je zelf in de schoenen kruipt van een man die een psychose ervaart

Immersieve producties bieden de gebruiker over het algemeen weinig interactiemogelijkheden. De enige mogelijkheid die alle producties bieden is het veranderen van gezichtspunt, wat mogelijk is in 360-gradenvideo’s en VR-producties. Verder zijn het controleren van het tempo van het verhaal (6%) tot het wisselen tussen audio, tekst en beeld (5%) de meest voorkomende interactiemogelijkheden.

Nonny de la Peña, een van de eerste makers van immersieve journalistieke producties, stelt dat hun kracht is, dat je als gebruiker onderdeel uitmaakt van het verhaal. Je beleeft een first-person experience. Ons onderzoek toont echter aan, dat de meeste producties op dit moment toch third-person experiences zijn, waar je toeschouwer bent in plaats van participant.

Vanaf januari gaan we experimenten doen om te onderzoeken hoe de gebruiker immersieve producties ervaart en of empathie invloed heeft op hoe goed de gebruiker het verhaal onthoudt en begrijpt.

Yael de Haan

Yael de Haan is Lector Crossmediale Kwaliteitsjournalistiek aan de Hogeschool Utrecht.
Profiel-pagina
Nog geen reactie — begin de discussie!