Patronen in missende data en best paper award

Het zal voor de meeste mensen geen nieuws meer zijn dat AI systemen bevooroordeeld kunnen zijn. Meestal komen die vooroordelen door iets dat in de data zit, bijvoorbeeld bepaalde woorden (denk aan je geslacht, of afkomst).

Maar wat er ontbreekt kan net zo goed informatie verstoppen. Zelfs als je geslacht weglaat, zou een AI systeem alsnog kunnen afleiden of een CV van een man of vrouw is. Vrouwen hebben vaker een ‘gat’ in hun CV omdat ze langere tijd vrij nemen om voor kinderen te zorgen. Zo’n gat in je CV kan een criterion zijn gebruikt door AI systemen om CVs af te wijzen.

Een ander voorbeeld: ik sprak een informatica onderzoeker die samenwerkt met artsen. Hij had toegang tot patientendata om een AI model te leren voor een bepaalde ziekte. De data legde gegevens vast zoals BMI. Alleen was er niet voor elke patient een BMI ingevoerd. Wat bleek? Artsen berekenden alleen het BMI van patienten van wie ze vermoedden dat ze overwicht hadden. Mensen die een gezond gewicht leken te hebben, hadden dus allemaal missende BMI scores in de database.

Dit zijn voorbeelden van patronen in data die iets vastleggen over hoe de ‘echte wereld’ er uit ziet. Maar je kunt ook ‘per ongeluk’ vooroordelen in je data krijgen. In AI termen wordt dat ‘representation bias’ genoemd, of het probleem dat je dataset niet zo representatief is van ‘de echte wereld’ als dat je zou denken. Ik las bijvoorbeeld een onderzoek die een AI model trainden om HIV-gerelateerde hersenschade in hersenscans te vinden. Alleen: alle hersenscans zonder HIV-schade waren toevallig van jonge mensen, en de scans mét schade van oudere mensen, die sowieso al meer hersenschade hadden. Leeftijd en HIV-gerelateerde hersenschade waren dus gecorreleerd in deze dataset, terwijl ‘in de echte wereld’ jonge mensen óók hersenschade kunnen oplopen door HIV. Het resultaat is dat het model niet per se leerde om HIV-hersenschade te vinden, maar om jonge van oude breinen te onderscheiden.

Waarom heb ik het nu hier over? Dat is omdat ik afgelopen vrijdag op een wetenschappelijke conferentie in Porto mijn onderzoek heb gepresenteerd waar missende data per ongeluk een patroon in mijn trainingdataset met satellietfoto’s veroorzaakte, waardoor mijn AI model had geleerd verkeerde associaties te maken.

Ik werk met satellietfoto’s om grote uitstoten van broeikasgassen zoals methaan uit de ruimte te vinden. Satellietfoto’s hebben vaak missende data: bijvoorbeeld omdat er wolken in de weg zitten, en in mijn geval hebben we ook geen data boven water omdat het niet mogelijk/moeilijk is om de methaanconcentratie te meten door weerspiegelingen van het water. Ik wist dit al vanaf het begin, maar wat ik niet door had is dat ik ‘representation bias’ in mijn dataset had: ik had per ongeluk heel weinig foto’s van pluimen met veel missende pixels, en veel foto’s van pluimen met weinig missende pixels.

In plaats van dat mijn model ging leren hoe een pluim er uit ziet, heeft het eigenlijk geleerd te tellen hoeveel pixels er missen. Dit is heel vergelijkbaar met het voorbeeld van de hersenscans, maar hier is het misleidende patroon dus missende data!

Mét de bias vond mijn model aan de ene kant bijna geen pluimen in data waar veel pixels misten (het was dus relatief slecht met pluimen vinden wanneer er water/wolken waren), en aan de andere kant leek het overal pluimen te ‘zien’ wanneer de data compleet was (geen missende pixels).

Op de conferentie (en in mijn nieuwe, bijbehorende artikel/paper), heb ik laten zien hoe je dat oplost. Gelukkig is het niet zo moeilijk.

Meestal is het met AI, en al helemaal met bias, de beste optie om een nieuwe dataset te maken die niet bevooroordeeld is. Helaas is dat soms makkelijker gezegd dan gedaan, en in mijn geval was het niet zo makkelijk om meer data te vinden om mijn model mee te trainen. Daarom heb ik het anders aangepakt: op twee verschillende manieren geprobeerd de missende data ‘te verstoppen.’ Het AI model foppen, dus.

De eerste manier is heel simpel: dat is eigenlijk de missende pixels ‘inkleuren.’ Er zijn veel verschillende manieren waarop je dat kan doen. Je kan heel makkelijk een ‘0’ invullen in elke pixel die mist. Er zijn zelfs mensen die een apart AI model gebruiken om de pixels die missen door bijvoorbeeld wolken heel realistisch in te kleuren.

De tweede manier is wat slimmer, maar ook heel abstract. Ik heb mijn best gedaan om het zo simpel mogelijk uit te leggen als ik kan. (Maar bij voorbaat sorry als je niet heel wiskundig bent aangelegd.)

De tweede manier is door de correlatie af te zwakken tussen het aantal missende pixels en of er een pluim of niet in de afbeelding zit. Dat kun je doen met een algoritme dat bepaalt welke afbeeldingen het model te zien krijgt terwijl het getraind wordt. Neurale netwerken worden getraind in stappen. Elke stap krijgt het een aantal (bijvoorbeeld, 64) afbeeldingen te zien uit de dataset. Het model leert door feedback te krijgen over de voorspellingen die het maakt over deze afbeeldingen. Ik heb een algoritme geschreven dat deze 64 afbeeldingen zo kiest dat er voor verschillende aantallen missende pixels altijd even veel afbeeldingen zijn van pluimen als afbeeldingen zonder pluim.

Als resultaat leert het model dat het aantal missende pixels niet belangrijk is, maar leert het wel netjes hoe een pluim er uit ziet. Mét de bias ‘Bias’ of vooroordelen in AI modellen gaat dus niet alleen om ‘eerlijke’ AI systemen. Bias in je data kan uberhaupt het trainen van je model in de weg zitten, met slechtere voorspellingen als gevolg.

Ik was heel blij met mijn resultaten, en de organisatie van de conferentie ook, want we hebben een prijs gekregen voor het beste wetenschappelijke artikel in ons onderwerp (Machine Learning (de term die de meeste onderzoekers gebruiken voor ai) voor Aardobservatie). Bij de prijs hoort 800 euro, bedoeld voor mijn onderzoek (niet voor die nieuwe slaapbank die we willen dus…)

Ik was, en ben nog steeds verrast door de prijs. Na de vele afwijzingen die ik mee heb gemaakt tijdens mijn PhD vind ik het nog steeds lastig om te geloven dat ik nu LinkedIn comments krijg als ‘Ik was deel van de prijs-comissie, en je werk is de prijs meer dan waard!’ te horen. Fijn, maar dus ook onwennig dus om deze waardering voor ons werk te krijgen nu.

Mocht je nieuwsgierig zijn en je willen wagen aan het paper: helaas, het is nog niet openbaar beschikbaar (er is wel een projectpagina met link naar mijn code). We zullen het waarschijnlijk in ongeveer een maand op de website van onze onderzoeksgroep plaatsen, aangezien ‘officiele’ publicatie wel een jaar of meer kan gaan duren (dat gebeurt vaker met dit soort papers van ‘workshops,’ dat zijn een soort sub-sessies van conferenties). Maar voel je altijd vrij om me een bericht te sturen met je vragen, en houd mijn LinkedIn in de gaten om te horen wanneer het paper er echt is.

Ik was het al bijna vergeten, de leestip! Deze week niet een tip voor een specifiek boek, maar voor een app/website die ik handig vind voor lezen. Zoals ik eerder al schreef ben ik niet de allerbeste in nieuws volgen, maar wat me heel erg helpt is de app ‘Readwise.’ Het is een ‘read-it-later’-app zoals Pocket, waarin je artikelen van allemaal verschillende websites kunt opslaan om later te lezen.

Het kost wel wat geld (gelukkig krijg ik korting omdat ik soortvan nog als student geld), maar ik vind het het wel heel erg waard omdat het alles wat ik wil lezen op 1 plek zet. Ik stuur ook bijvoorbeeld automatisch nieuwsbrieven door zodat ze in de app terecht komen en ik ze kan lezen wanneer ik zin/tijd heb en het mijn mailbox niet volzet.

Er was ooit een gratis variant, Omnivore, maar helaas bestaat ie niet meer….

Persoonlijk vind ik het ook heel fijn dat je direct notities kunt maken op de artikelen die je leest, een beetje zoals comments in een word document. Ik vind het fijn om mijn gedachtes en ideeën op te schrijven terwijl ik aan het lezen ben. Dat gebruik ik als voorbereiding op blogs of nieuwsbrieven schrijven, voor mijn onderzoek (als ik blogs lees over informatica), of soms gewoon omdat ik zoveel ideeën in mijn hoofd heb dat het lezen in de weg zit.

De notities zijn overigens ook de reden waarom ik Readwise gebruik en niet Pocket: ik kan mijn Readwise notities direct importeren in andere programma’s die ik gebruik om aantekeningen/labjournaals in bij te houden.

Tot volgende week!