Behind the scenes bij AI onderzoek

Hallo allemaal! Ik ben weer terug van weg geweest - even genieten van het mooie weer, maar ook druk geweest met mijn onderzoek. Deze week wil ik het hebben over een andere kant van AI: hoe het is om onderzoek te doen naar kunstmatige intelligentie.

De 4 elementen van een succesvol wetenschappelijk congres

Begin deze maand was ik met een delegatie van mijn onderzoeksgroep afgereisd naar Porto om te presenteren voor andere onderzoekers. Het was een workshop: een soort klein congres, dat vaak met onderzoekers van sterk gerelateerde vakgebieden is en behoorlijk informeel is. Een groot ‘machine learning’ congres kan duizenden bezoekers hebben die allemaal andere hoekjes van kunstmatige intelligentie onderzoeken. Op de workshop die ik heb bezocht waren er alleen onderzoekers over optimalisatie en automatische configuratie van algoritmes (inclusief AI). Ik val in het tweede ‘kamp.’

Zelf ben ik nog nooit op een heel groot congres geweest, dus ik kan het niet echt vergelijken, maar ik vind deze kleine workshops erg leuk. We zijn met maximaal 100 mensen, de meeste mensen kennen elkaar, en er zijn mensen van alle leeftijden: van professoren tot de gelukkige masterstudenten die geld hebben gekregen om te mogen reizen. Op het programma staan 4 belangrijke dingen:

1. gezamenlijke biertjes,

2. pauzes met heel veel koffie,

3. wetenschappelijke posters,

4. presentaties.

In volgorde van belangrijkheid. Want dit zijn de momenten waarop we kunnen bespreken wat voor onderwerpen we moeten onderzoeken, en hoé we het moeten onderzoeken. En soms krijg je de beste ideen wanneer je niet ‘aan het werk’ bent.

Ik heb dit jaar vooral veel ideeen en inspiratie opgedaan van andere jonge wetenschappers: (beginnende) PhD studenten en post-doctorale onderzoekers (onderzoekers met een PhD die nog geen professor zijn). Dat ging niet zo zeer over wat de nieuwste coole technieken zijn, maar hoe we bestaande modellen moeten evalueren of beoordelen. En hoe we de dingen die we al weten het beste kunnen verzamelen en samenvoegen, want kunstmatige intelligentie is zo’n groot vakgebied dat er wel 100 oplossingen voor hetzelfde probleem kunnen bestaan, maar ze nog niet altijd op 1 rijtje zijn gezet zodat je ze makkelijk allemaal kunt uitproberen in plaats van elke individuele oplossing helemaal opnieuw te installeren.

Publish or perish

Ik kreeg van de week weer de volgende afwijzing voor een paper (wetenschappelijk artikel) waar ik de eerste twee en een half jaar van mijn PhD mee bezig ben geweest.

Om mijn PhD te behalen moet ik meerdere wetenschappelijke artikelen schrijven waarin ik resultaten van mijn onderzoek deel. Het gaat ongeveer zo:

• je ontwerpt en voert een onderzoek uit,

• als je resultaten binnen zijn begin je met het schrijven van een artikel (een soort verslag),

• en dan stuur je het in naar wetenschappelijke vakbladen.

• De vakbladen vragen dan andere wetenschappers om je artikel te beoordelen,

• en op basis van het commentaar van die wetenschappers besluit het vakblad of ze:

  • je artikel direct aannemen (gebeurt nooit, beetje categorie ‘10 is onmogelijk’),

  • of ze het aannemen onder voorwaarde dat je een aantal aanpassingen maakt,

  • of ze zeggen simpelweg ‘nee we willen het niet.’

De verwachting is dat als je goed werk levert en het onderwerp van je artikel bij het vakblad past, je in de tweede categorie valt: je gaat in gesprek met de andere wetenschappers (dit gaat allemaal anoniem, overigens) om samen je artikel te verbeteren. Als de andere wetenschappers en het vakblad tevreden zijn wordt je artikel gepubliceerd.

Nou is dit tot nu toe niet zo gegaan met mijn paper, omdat ik beide keren een vrij korte lijst met commentaar heb gekregen maar de redacteurs van de vakbladen toch nee hebben gezegd. Het jammere als je een harde ‘nee’ krijgt is dat je geen kans meer krijgt om je artikel te verdedigen bij dit vakblad, zelfs als je denkt dat je makkelijk de commentaren had kunnen oplossen.

Commentarenbingo

Ik ben absoluut niet de enige met deze ervaring: elke onderzoeker moet dit overleven. We maken met andere onderzoekers continu grappen over de standaard kritiekpunten die de ‘peer reviewers,’ de anonieme wetenschappers die je artikel nakijken, graag achterlaten. Je zou kunnen zeggen dat we een soort ‘commentarenbingo’ spelen – het is altijd maar afwachten welke van de standaard kritiekpunten je naar je hoofd geslingerd zult krijgen. Deze ‘review’ ronde had ik er ook weer een aantal. Hier is een greep uit het leven van een PhD student:

1. Reviewer nr 2 is heel gemeen. Als je een lijst met commentaren krijgt, staan er geen namen bij maar alleen maar nummers: reviewer 1,2, etc. Als je ooit de resultaten van anonieme vragenlijsten hebt gelezen weet je waarschijnlijk al dat mensen zich vaak vrij voelen om een stuk gemener te zijn als hun naam er niet boven staat. In de wetenschap noemen we deze anonieme ‘meanie’ Reviewer #2. Bijvoorbeeld kun je dit zeggen tegen je collega “Reviewer #2 zegt dat ik niet genoeg experimenten heb gedaan!” wat codetaal is voor, één van de commentaren op mijn paper vraagt voor onredelijke dingen die niks toevoegen aan mijn onderzoek!.

   

2. “Je onderzoek is niet vernieuwend genoeg” – dit is een typisch commentaar op AI onderzoek. In ons vakgebied vinden mensen het heel belangrijk dat je nieuwe algoritmes en technieken bedenkt die iets toevoegen aan bestaand werk. Je legt altijd in je paper uit waarom jouw werk vernieuwend is, maar omdat wat ‘vernieuwend’ is een beetje vaag is, is het heel makkelijk om dat als kritiekpunt op iemand anders zijn werk achter te laten. Het is altijd irritant om dit commentaar te moeten beantwoorden, omdat je snel in ‘welles-nietes’-land terecht komt.

   

3. “Je doet niet genoeg experimenten” – nog een klassieker in AI. Experimenten om onze methodes te evalueren zijn een hoeksteen van AI. Als je niet zo goed weet wat voor een feedback je een paper kunt geven, is ‘meer experimenten’ een grote favoriet. Het probleem is alleen dat experimenten doen veel tijd kost, en we in AI vaak maar heel weinig tijd hebben (bijvoorbeeld, 2 weken) om een gecorrigeerde versie van ons artikel op te sturen nadat we het commentaar van de reviewers hebben ontvangen.

   

4. “Je nulmetingen zijn niet overtuigend genoeg” – in AI is een ‘nulmeting’ of een ‘baseline’ de methode waar je jouw algoritme mee vergelijkt. Hoe goed die ‘baseline’ is zegt wat over hoe goed jouw algoritme is. Bijvoobeeld: als je een taart bakt die lekkerder is dan een taart uit een pakje, is dat niet een hele grote prestatie. Maar als jouw taart beter is dan die van oma, heb je iets indrukwekkends gedaan. In AI geloven we graag dat nieuwer = beter, dus als je bij wijze van spreken een taartrecept gebruikt dat een paar jaar oud is, wordt je soms automatisch afgeschreven, want waarom heb je eigenlijk niet een nieuwer taartrecept gebruikt? Goed het is een beetje een oversimplificatie, maar soms voelen reviews zo onterecht.

Er zit natuurlijk een kern van waarheid in commentaren 2-4: ze zijn niet altijd verkeerd. Soms doet een onderzoek niet echt iets significant nieuws, soms beschrijft een paper niet genoeg experimenten om een volledig plaatje te krijgen van een algoritme, en vaak gebruiken mensen ook nulmetingen die te zwak zijn. Maar de eerste keer dat jij de commentaren terugkrijgkt op je artikel waar je maanden op hebt zitten te ploeteren, voelt het altijd als Het Grootste Onrecht. Dat heeft iedereen. Daarom kunnen onderzoekers zo veel herkenning bij elkaar vinden door te klagen over dit soort standaard kritiekpunten.

‘Peer review’ of ‘Revision’ is een moeilijk onderdeel van elk PhD, en ik wilde het niet te negatief maken. Maar ik beloof dat dit de laatste meme was van vandaag!

Nu aan het lezen

Deze week lees ik The AI Con van o.a. Emily Bender, een computationeel linguist die mythes over AI breekt. Ik ben heel benieuwd naar het boek, want zij maakt deel uit van een groep onderzoekers die heel kritisch zijn over AI – een stuk kritischer dus dan de schrijvers van AI Snake Oil (van Arvind Narayanan and Sayash Kapoor), het boek dat ik een tijd geleden besprak.

AI Snake Oil

Debunking AI hype. The book gives you foundational knowledge and the newsletter covers new developments.

By Sayash Kapoor

Ik vermoed dat ik ergens tussen Bender en Narayanan & Kapoor in zit. Dat zal ik wel melden nadat ik het boek heb gelezen. In ieder geval zou ik mezelf niet als een ‘AI enthousiast’ beschrijven, eerder een ‘AI expert’ – want ik ben niet per se fan van AI. Ik denk dat we er nuttige dingen mee kunnen doen, net als dat een kaasschaaf nuttig is, zeg maar. Maar een kaasschaaf kan maar zo veel. Je kan hem soms goed gebruiken voor dingen waar hij niet voor bedoeld is (bijvoorbeeld: doe alsof het een mandoline is en snijd flinterdunne plakjes komkommer af), maar als je hem verkeerd gebruikt kun je jezelf best pijn doen.

Heb je nog meer voorbeelden van creatieve kaasschaaftoepassingen? Ik ben benieuwd.