Wat een team AI-agents ons leert over transparantie

Dat wilden onderzoekers van Oxford en Stanford University weten. Zij onderzochten hoe goed een team van zeven AI-agents datagedreven verhalen kan maken en hoe het publiek die beoordeelt.

Voor het experiment kregen de zeven agents een ruwe dataset. De ene duikt in de statistieken, een ander bepaalt de invalshoek, een derde bouwt een interactieve grafiek en een controleur doet uiteindelijk een laatste check. Et voilà, binnen een paar minuten staat er een kant-en-klaar dataverhaal online, dat de proefpersonen in een blind experiment in 75% van de gevallen ook nog eens positiever beoordeelden dan mensgemaakte verhalen van The Economist en The Pudding. Niet de minsten.

De media kunnen wel inpakken, werd al gauw het frame.

De werkelijkheid ligt genuanceerder. De AI won de harten van de lezers namelijk voornamelijk op één specifiek onderdeel: transparantie, ziet Florent Daudens (Universiteit van Montréal). Bijna elke bewering in het AI-stuk (93%) was voorzien van een klikbaar icoontje waarmee de lezer de herkomst ervan kon controleren. Zo waren bijna alle claims traceerbaar, terwijl dat bij slechts een kwart van de beweringen in de menselijke artikelen gold. De behoefte aan verregaande transparantie is blijkbaar groot. En dát is iets waar je als menselijke journalist iets mee kunt.

Stel: je hebt een chatbot die de lezer helpt de betrouwbaarheid van nieuwsberichten in te schatten door bewijzen en argumenten te geven. Worden mensen daarvan beter in staat om nepieuws te ontmaskeren? Dat vroegen onderzoekers van MIT zich af.

Het experiment: eerst beoordeelden 67 proefpersonen nieuwsberichten op eigen houtje. In een volgende stap gingen ze in gesprek met de chatbot, die bewijzen en argumenten leverde. En jawel, de nauwkeurigheid van de deelnemers schoot direct met 21 procentpunten omhoog.

Dat wil zeggen... Tót de AI na een paar weken weer werd weggenomen. Vanaf dat moment zakte het kritische vermogen van de deelnemers in tot 15 procentpunten lager dan voor het hele experiment begon. AI was een handige hulp, maar leerde de proefpersonen niets.

De grote vraag is: hoe kunnen we mensen helpen echt en nep te onderscheiden zonder het eigen kritisch oordeelsvermogen te doen afnemen?

Veel AI-toepassingen in de journalistiek gaan over de buitenkant. Chatbots die aan het archief worden gekoppeld, geautomatiseerde samenvattingen, het genereren van SEO-koppen. Kyiv Independent heeft een andere aanpak: zij zetten AI in om te luisteren.

Eens in de paar maanden heeft het medium Q&A-rondes. Dat levert honderden, soms duizenden vragen op. Veel te veel om handmatig door te spitten op zoek naar patronen, laat staan om allemaal individueel te beantwoorden.

Een slimmere aanpak: Kyiv Independent anonimiseert de vragen en voert ze aan Notebook LM om te ontdekken welke vragen inmiddels beantwoord zijn, hoe de vragen met de tijd verschuiven en welke blinde vlekken de redactie heeft. Het model schrijft niks, maar brengt de behoeften van het publiek overzichtelijk in kaart zodat de redactie daarmee aan de slag kan.

🎨Wat als AI jouw cartoon kaapt om een compleet tegenovergesteld verhaal te vertellen? Cartoonist Tjeerd Royaards ontdekte dat critici zijn werk met AI manipuleerden tot een extreemrechtse boodschap - precies het tegenovergestelde van zijn eigenlijke idee, inclusief Royaards handtekening. Biedt gratis software van de Universiteit van Chicago soelaas? 🚲 Laurens Vreekamp ging aan de slag met een Model Context Protocol. ‘Wattes?’ Ja precies, dat dacht hij ook. Een overzichtelijk experiment met fietsapp Strava, waarbij Laurens de grotere vragen niet uit het oog verliest.

🔎 Wil je kritisch verslag doen van AI-toepassingen? Dan is dit raamwerk van Global Investigative Journalism Network nuttig.

🌐 Met het platform AI For Newsroom kun je je hart ophalen deze zomer. De makers updaten de boel dagelijks, met natuurlijk tools, maar ook links naar het AI-beleid van media wereldwijd en een overzicht van relevante bronnen (wetenschappelijk en uit de praktijk). Ook mooi: de AI Initiative Tracker toont al meer dan 300 AI-projecten bij media in 58 landen. Een rijke bron, en behoorlijk up-to-date.

💡Van rapport naar strategie. Ezra Eeman maakte een heel handige website over Reuters Digital News Report, dat vorige week uitkwam. Die licht de belangrijkste thema’s en trends uit, laat zien welke aannames het rapport weerlegt, benoemt welke kwesties blijven liggen en werpt vragen op die je jezelf als redactie kunt stellen. Denk: Welke functie vervult een nieuwsfluencer voor een twintigjarige die een traditionele redactie niet vervult? Of: Wat zouden jullie bouwen als vertrouwen, niet bereik, de belangrijkste KPI was?
Ook interessant is dat inzichten uit het rapport direct in perspectief worden geplaatst. Bijvoorbeeld: volgens DNR gebruikt (slechts) 7% van de mensen chatbots wekelijks voor hun nieuwsconsumptie. Dat lijkt weinig. Echter: AI-samenvattingen in Google worden in die cijfers niet meegerekend. Hoe hoog zou het percentage zijn als we álle vormen van AI-gegenereerd nieuws zouden meetellen?
Waardevolle handvatten om dieper in DNR te duiken.

📝 Wie onderzoek wil doen naar AI-toepassingen kan tot 12 juli solliciteren voor een AI Accountability Fellowship (t.w.v. 25.000 dollar) bij Pulitzer.

🛠️ Benieuwd hoe goed verschillende taalmoddelen jouw website vinden, begrijpen en citeren? Hier een tool om daar inzicht in te krijgen.

🔓 Met de Woo-finder vind je informatie die via Woo-verzoeken boven tafel is gekomen. Niet de besluitstukken, maar de documenten, notities, e-mails, rapporten zelf.

🏢 En last but not least: met de Raadsmonitor kun je 7,3 miljoen stukken van 322 gemeenten doorzoeken. Moties, raadsvragen, begrotingen – eenvoudig te exporteren naar een CSV-bestand met links naar het origineel.

En nu: tijd voor weekend! Smelt niet en tot over twee weken.

Share AI-Media Journaal: de nieuwsbrief over AI van Villamedia