Ik ken geen medium dat zo uitgebreid verantwoording aflegt als podcast High Profile

[DOE JE MEE? Wat Blijft is mijn onderzoek naar de vraag: waarin blijft de mens uitblinken in een tijd van AI en welke menselijke kwaliteiten verdienen daarom extra aandacht? In september verschijnt het als papieren boek. Bestel je het nu voor € 27,50, dan krijg je ook toegang tot extra visies, interviews en onderzoek én help je de totstandkoming van het boek mogelijk te maken. Doe mee!]

De podcast High Profile maakte recent een aflevering over Mykhailo Fedorov, de voormalige Oekraïense minister van Defensie. De makers gebruikten AI voor onderzoek, een eerste script en factchecking. Bij ieder beslismoment keek een mens mee. Toch kwam er na publicatie kritiek van een luisteraar die zich afvroeg hoe het met de journalistieke waarden gesteld was.

“Waar komt de informatie vandaan? Wie zijn de bronnen? Waar heeft die AI zijn verhaal op gebaseerd? Op welk origineel werk? [...] In deze podcast worden meningen over en interpretaties van gebeurtenissen als feiten gepresenteerd, zonder bronvermelding, zonder heldere uitleg hoe de conclusies zijn getrokken. Ook wederhoor ontbreekt. Het wordt gepresenteerd als een journalistiek product, maar dat is het niet.”

Maar, zo vroeg ik me bij het lezen daarvan af, zou diegene dat ook hebben gezegd als ie niet had geweten dat het programma voor een belangrijk deel op inzet van AI rustte? En stelt ie zichzelf ook die vraag bij een portret in krant of weekblad? Daar zie ik zelden verantwoording.

Ik vind High Profile persoonlijk heel interessant. Of de eindvorm (een verteld verhaal door de stem van Tom Jessen) je aanspreekt is een persoonlijke kwestie, hoe de podcast tot stand komt, is zeer boeiend. Want waar kan AI je helpen, waar kan het verrijken en waar gaat het mis? De makers van High Profile houden via Substack een nieuwsbrief bij waarin ze over het maakproces en de overwegingen vertellen.

Het verhaal leunde aanvankelijk te sterk op één aantrekkelijk frame, concludeerde de redactie zelf.

De review. Elk script wordt beoordeeld op acht vaste niveaus, waaronder journalistieke integriteit en, interessant in dit verband: ‘macht en positionering’. Bij deze aflevering kwam daar een kritische bevinding uit: het script leunde te veel op één frame (jonge vernieuwer tegen oude garde) en miste een kritische noot over Fedorov zélf. Die is er alsnog in gezet: dat parlementariërs kritiek hadden op de ondoorzichtigheid van de dronebudgetten onder zíjn bewind, en dat de eerlijkere dienstplicht die hij beloofde er onder hem evenmin kwam. Als je de aflevering terugluistert, hoor je die passage rond minuut 18.

Airborne Network ontwikkelde samen met AI Opener twee gespecialiseerde agents voor de productie van High Profile. Jess doet onderzoek en factchecking. Sam schrijft het script op basis van een instructiedocument van ongeveer twintig pagina’s, van verhaalstructuur tot zinsniveau.

Bronnen worden vooraf getoetst aan de beoordelingen van Media Bias/Fact Check. Een beperkte politieke kleur is toegestaan, maar de feitelijke betrouwbaarheid moet minimaal als mostly factual zijn beoordeeld. Ieder feit in een script moet volgens de eigen werkwijze door ten minste twee bronnen worden bevestigd. Daarna wordt het volledige script meerdere keren door mensen gereviewd en pas na hun goedkeuring opgenomen. De makers kozen bovendien bewust voor een menselijke presentator in plaats van een synthetische stem.

Dit proces vangt veel fouten af. De onderzoeksagent waarschuwt voor onvoldoende onderbouwing en voor scènes die de scriptschrijver zonder bron invult. Menselijke reviewers beoordelen de opbouw, formulering en kwaliteit.

Na de kritiek (maar ook eerder hadden ze hun werkwijze al benoemd) beschreef creative director Marvin Jacobs namens de makers van High Profile hoe de aflevering tot stand was gekomen. Ze legden hun bronselectie uit, maakten duidelijk waar interpretaties in het script stonden en voegden de ontbrekende kritiek toe.

Ze benoemden ook een grens van hun werkwijze. Voor deze wekelijkse productie werken ze met openbare bronnen en vroegen ze Fedorov, legerleider Oleksandr Syrsky en hun woordvoerders niet zelf om een reactie. Daarnaast erkenden ze dat duidelijker had gekund wanneer een bron een eigen belang had of wanneer een bewering afhankelijk was van informatie uit Fedorovs ministerie.

Ik ken geen medium dat zoveel verantwoordelijkheid aflegt over zijn productie, zo nauwgezet beschrijft hoe er gewerkt is en waarom. De kritiek op High Profile nam naar mijn stellige overtuiging toe vanwege bestaande twijfels over AI, maar de mate van verantwoording over de werkwijze nam ook toe omdat de makers dit soort kritieken waarschijnlijk ook wel zagen aankomen.

Ik vind het een interessante case! Luister naar High Profile.

Overigens, ook uit eigen ervaring weet ik hoe goed AI kan helpen bij research. Voor Wat Blijft maak ik er ook dagelijks gebruik van.

Vrienden, ik groet U!

Erwin Blom