The boy who cried AGI

Eén van de redenen waarom ik niet zo veel nieuws volg over generatieve AI, is omdat het voor mijn gevoel altijd hetzelfde is:

1. een LLM of andere generatieve AI wordt gebruikt voor net een andere toepassing dan we het eerder deden (let op: er is niet per se nieuwe technologie, alleen een nieuwe toepassing)

2. geschokte headlines overal, we hadden geen idee dat dit het kon doen! AGI is er bijna!

Kortom, het is de moderne versie van de jongen die wolf riep. Behalve dat we nog steeds luisteren.

Social media voor AI

Zo ook het recente nieuws over Moltbook: een soort Reddit waar alleen AI agents mogen posten. Mensen werden erdoor verrast omdat het zo erg leek op hoe mensen praten. Er was zelfs een forum waar AI bots een soort datingsprofielen plaatsen. Schok alom, want is dit niet super menselijk? Nou, misschien. Maar dat is niet zo verrassend om twee redenen.

Ten eerste kunnen posts prima geprompt zijn door de ‘eigenaars’ van AI bots op Moltbook. Reken er maar op dat dit vaak gebeurt, en veel van de heel menselijk klinkende posts ook eigenlijk geprompt zijn door een mens. Het is een mooi voorbeeld van pseud-automatie, net zoals dat er stiekem menselijke operatoren meekijken met zelfrijdende auto’s.

Ten tweede, generatieve AI modellen zijn getraind op data die wij online genereren. Daar zitten ook sociale media tussen zoals X, Facebook, Reddit, ga zo maar door. Het is niet alsof de AI agents opeens iets heel nieuws doen, ze apen gewoon hun trainingdata na. Het lijkt misschien heel menselijk en interessant dat bots commentaar op elkaars posts kunnen achterlaten, maar hoe is dat anders dan een blog of een LinkedIn bericht laten genereren door een LLM?

AI geletterdheid

Waarom trappen we er dan steeds in? We hebben niet eens meer nieuwe AI technologie nodig, alleen een nieuwe toepassing, en dan denken allemaal mensen gelijk aan AGI. Natuurlijk is het mogelijk dat we meer leren over de mogelijkheden van een technologie als we het op iets nieuws toepassen. Maar er is wel een lijn tussen open staan voor onverwachte eigenschappen en denken dat elke nieuwe AI-toepassing betekent dat de robot-apocalypse er aan komt.

Hoe leer je waar die lijn zit? Eerlijk: meer leren over hoe AI werkt. AI geletterdheid, in andere woorden, al heb ik het gevoel dat deze term vooral wordt gebruikt om aan te duiden dat je prompts kunt schrijven of dat je de ethische context begrijpt (wie profiteert er van AI, wie lijdt eronder). Wat ik bedoel is technische kennis: dat je begrijpt en misschien zelf hebt ondervonden hoe je AI bouwt, en de problemen die komen kijken bij technologie toepassen in de echte wereld. Er is wel degelijk een verschil tussen het ontwerpen van een AI algoritme in een geïdealiseerde, vaak fictieve academische omgeving en om dat algoritme in het ‘wild’ te gebruiken.

Als je niet zo veel ergens van af weet, is elke nieuwe kennis die je opdoet spannend en leuk. Maar op een gegeven moment begin je patronen te zien, en kun je algemene conclusies trekken. Het is prima om enthousiast of verrast te zijn over een nieuwe AI toepassing die je nog niet kende. Maar houd je in! Niet alles is AGI.

Afkijken van ChatGPT

Als we het nu toch over AI-mythes hebben, is er nog een andere die ik wil bespreken. Het gaat over de problemen die universiteiten hebben omdat studenten alles met ChatGPT zouden genereren. Een paar maanden geleden kwam een vrij schrijnend stuk uit in Current Affairs waarin studenten aan prestigieuze amerikaanse universiteiten werden geinterviewd die niet alleen hele opdrachten laten genereren door ChatGPT, maar zelfs hun toelatingsessay hebben gegenereerd. De vraag luidt: is het het einde van het essay nu mensen zomaar alles kunnen laten genereren?

Er valt niet te ontkennen dat er studenten zijn die AI gebruiken om hun opdrachten te maken. Ik weet uit eigen ervaring van Claude gebruiken als schrijfhulp dat generatieve AI heel goed in staat is om academische teksten te schrijven. Maar hier zit de crux: ja, Claude en ChatGPT hebben miljoenen academische papers opgeslokt en kunnen daardoor de stijl beter na-apen dan de gemiddelde student, maar dat wil niet zeggen dat de gemiddelde student deze tools ook echt effectief kan gebruiken.

Het laagste cijfer dat ik ooit heb gegeven

Ik kwam tot deze conclusie na een verrassende interactie met een student. Deze student had een ‘research proposal’ ingediend voor een vak in onze informatica opleiding. Het was echt een compleet potje. Er misten belangrijke onderdelen die in het template zaten dat wij aanleveren. In plaats van onderzoeksvragen stonden er ‘deliverables’ in, alsof dit een project voor een bedrijf was. Het was ook geen lopende taal, alleen maar een collectie van halve zinnen in de vorm van bullet points. Ik heb voor de eerste keer van mijn leven een 1 gegeven. Daar voelde ik me onzeker over, dus heeft de hoofddocent ook naar de opdracht gegeven. Zij zei: ik heb nog nooit zulk slecht studentenwerk gezien.

Totdat de docent er zelf mee kwam, had ik er nooit aan gedacht dat dit een AI-gegenereerde opdracht was. Ik was namelijk onder de indruk dat sommige AI-gegenereerde opdrachten zo goed zouden zijn dat we het niet zouden merken. Ik had zelf positieve ervaringen met het gebruiken van LLMs voor het herschrijven van academische tekst. Maar toch, het bewijs loog er niet om. Ten eerste dat het volgens Pangram 100% AI was (al is dat natuurlijk niet 100% betrouwbaar, Pangram is zelf ook AI), maar de grootste give-away was dat de student geen enkele vraag kon beantwoorden, zelfs niet de simpelste.

Óf de student is zo slim geweest om in zijn prompt te vragen het slecht engels te maken of iets dergelijks. Óf de verklaring is veel simpeler: deze student kon gewoon helemaal niet met AI omgaan. En die laatste verklaring was de meest logische, omdat de student dus ook niet simpele vragen over de opdracht kon beantwoorden die elke student met een informatica bachelor toch wel zou moeten kunnen weten.

Dit was wel een heel extreem geval. Ik heb ook vermoedens van minder extreme gevallen, waar de tekst er op het oppervlak beter uitzag dan gemiddeld, maar waar er eigenlijk helemaal geen originele inhoud was.

Academisch schrijven

De realiteit blijft dat studenten gewoon nog niet weten wat ‘goed academisch schrijven’ is. Uiteindelijk beoordelen we op inhoud, dus dan krijg je nog steeds niet een beter cijfer. Ze begrijpen nog niet wat precies het verschil is tussen related work, background, en methods in een verslag, en ze weten vaak ook nog niet hoe je een argument of een paragraaf opbouwt.

Dat is niet gek, dat moeten ze nog leren. Maar als gevolg daarvan kunnen ze AI dus ook nog niet zo effectief gebruiken, vooral als het gaat om het verslag van een onderzoeksproject waar je toch veel input moet geven van de experimenten die je hebt gedaan. Dat is toch andere koek dan een essay helemaal uit het niks laten schrijven. Als je namelijk een heel verslag, inclusief resultaten, laat genereren, ga je toch wel een extra aantal plagiaat-grenzen over waar denk ik zelfs het handjevol meest oneerlijke studenten bang voor zijn. Dit is het soort plagiaat waar je voor van de universiteit geschopt kunt worden.

Ik denk dat we een groter probleem hebben met studenten die AI gebruiken voor onze programmeeropdrachten. Dat is veel lastiger om er uit te pikken: we becijferen namelijk alleen op de uitkomst van het programma. Eerlijk gezegd maak ik me niet enorm druk over de afkijkers. Er zullen altijd mensen zijn die afkijken, maar ik denk dat het overgrote deel er echt is om te leren.

Ik denk dat oneerlijke studenten de uitzondering zijn, en dat niet elke oneerlijke student per definitie een slecht persoon is. Soms maak je moeilijke periodes door in je leven, waardoor afkijken of valsspelen opeens moeilijk worden om te weerstaan.

ChatGPT kun je vertrouwen

Ik merk dat je toch kennis moet hebben van de materie om AI effectief te begrijpen. De rest valt snel in de mand. Zoals in het tentamen van ons vak machine learning. Daar hadden we een opdracht in met AI gegenereerde code. Studenten moesten vragen beantwoorden over de correctheid van deze code, en moesten ook een klein programma schrijven dat deze code gebruikt. Het was een strikvraag, want er zaten fouten in de code. Studenten moesten dit vinden om de volle punten te krijgen.

‘Is dit een strikvraag, of is dit echt code van ChatGPT?’ vroeg een student mij tijdens het tentamen.

‘Voor deze vraag mag je aannemen dat het inderdaad code van ChatGPT is,’ antwoordde ik.

‘Oh, fijn. Dan kan ik het vertrouwen!’ hij gaf me een grote glimlach, en schreef vrolijk verder.

Ik weet niet of deze student het vak gehaald heeft, maar ik heb zo mijn vermoedens.

Leestip

Dit keer meer een recensie dan een leestip. Ik heb eindelijk The School of Moral Ambition van Rutger Bregman gelezen! Het stond al een tijd op mijn lijst, nadat ik veel plezier had in het lezen van Human Kind. Eerlijk gezegd heb ik het zo lang uitgesteld omdat ik al stress kreeg van het idee van het boek: je verspilt tijd en moet iets nuttigs gaan doen met je leven!! Als iemand die een burnout heeft gehad en sowieso altijd bezig is met nieuwe dingen leren, krijg ik al preventief jeuk van het idee om mezelf nog meer te pushen.

Het boek zelf begint ook met deze toon. Ik kan me deels in de boodschap vinden: ik heb niet zo die haast, maar wel een heel sterk verlangen om iets betekenisvols in mijn leven te bereiken. Deel daarvan is deze nieuwsbrief: alle AI onzin (niet alleen de hype maar ook overdreven kritiek) zet mij aan tot schrijven, ik kan niet anders.

Ik vond het boek alleen weinig concreet. Er zijn wat inspirerende voorbeelden van mensen met morele ambitie, die veel levens hebben gered. Dat zijn mensen die zorgden dat de anticonceptiepil er is of duizenden levens hebben gered, niet per se realistische ambities voor de gemiddelde persoon. Ten slotte wordt er in de conclusie tussen neus en lippen gezegd dat je moet ambieren om te doen wat er in jouw macht ligt, en daar komen de banen van ons stervelingen zoals software developers langs. Eerlijk gezegd had ik het nuttiger gevonden als er in het boek meer voorbeelden waren van wat Bregman nou precies voor zich ziet met morele ambitie voor mensen die niet het geld en de connecties hebben om een gigantisch wereldwijd goed doel op te zetten.

Mijn eindoordeel: mwah. Ik heb geen sterke bezwaren, maar ben ook niet onder de indruk, noch voel ik me echt geïnspireerd of tot actie aan gezet. Maar misschien is dat omdat ik van mezelf al een sterk verantwoordelijkheids- en rechtvaardigheidsgevoel heb. Misschien dat het bij jou wel aanslaat en je inspireert.

Fijn weekend!