AI-debatten med Olle Häggström – eftertankar

I början av februari inleddes en debatt i Opulens om AI-risker, där matematikprofessorn Olle Häggström uttryckte farhågor om potentiella katastrofer kopplade till superintelligent AI. Jag svarade med inlägg som ifrågasatte några av hans grundantaganden och föreslog alternativa perspektiv. (Läs hela serien här. Debattväxlingen mellan mig och Häggström här.)

Det har nu gått en tid sedan debatten ebbade ut, och jag har kunnat reflektera över vad som egentligen hände.

Min ambition var att undvika en traditionell debattform där kontrahenterna låser fast varandra i oförsonliga positioner. Ett drama där prestige och dogmer gör att man kommer allt längre ifrån konsensus. Jag arbetade utifrån förhoppningen att jag, Häggström och andra under maximal takhöjd tillsammans skulle kunna borra i en komplex problematik för att fördjupa vår gemensamma förståelse.

Trots detta skapade mitt inspel oförsonlighet. Samtalet strandade i vad som i bästa fall kan beskrivas som en återvändsgränd.

Häggström skriver på sin blogg:

Den bristande diskussionsdisciplin Stigsson uppvisar genom sin närmast totala obalans mellan viljan att läsa och lusten att skriva gör att jag finner det utsiktslöst att argumentera vidare med honom, och jag avstår därför från ytterligare replik i denna debatt.

I detta inlägg vill jag samla mina tankar från debatten och reflektera över varför samtalet blev som det blev. Citat och kommentarer bygger på Häggströms svar till mig i Opulens samt hans inlägg på sin blogg och det han har bidragit med i mitt kommentarsfält här på Substack.

Jag vill poängtera att jag inte har läst Häggströms bok Tänkande maskiner och att jag därför inte kan utesluta att jag delvis missförstår honom. (Om du läser detta, Olle, är du välkommen att skriva ett gästinlägg där du rätar ut frågetecknen).

Debatten om artificiell intelligens handlar ofta om framtiden, men den avslöjar minst lika mycket om samtiden – och om de begränsningar som uppstår när olika världsbilder krockar.

För att delta i ett utbyte tycks Häggström kräva att jag accepterar den världsbild som ligger honom närmast om hjärtat. Om inte samtalet förs inom ett etablerat teoribygge, på ett visst språk, enligt en viss akademisk ritual, lämnar han walk-over.

Det faktum att jag vill granska premisser - och identifiera de filosofiska och existentiella antaganden som alltid finns i den här typen av resonemang - förvandlas hos Häggström till att jag fabulerar fritt i blommiga metaforer och att jag lider brist på agumentativ redlighet.

Häggström är matematiker och han förefaller uteslutande röra sig inom den typ av tänkande som kräver formell stringens och kvantifierbara bevis.

Men när det gäller AI:s framtida utveckling, intelligens, medvetande och själva existensen kommer matematiken till korta, liksom skulle jag vilja påstå den rent materialistiska förklaringsmodellen som sådan.

Geoffrey Hinton, ofta kallad “AI-gudfadern”, menar att det inte finns någon fundamental, principiell skillnad mellan mänsklig intelligens och den artificiella intelligens vi ser i stora språkmodeller. Denna grundsyn tar för givet att vi redan har löst gåtan om vad medvetande är.

Men det råder ingen vetenskaplig konsensus om vad medvetande är, hur det uppstår, varifrån det kommer, om det alltid har funnits, om det bara finns lokalt eller överallt.

Även begreppet intelligens, centralt i debatten om AI, undandrar sig tydlig definition. Man pratar om det som allt från enkel problemlösning till generell kognitiv förmåga.

Medvetandets och i viss mån alltså även intelligensens svårfångade natur innebär att alla - inklusive Häggström – spekulerar.

De tre koncept Häggström menar att jag inte tillräckligt har satt mig in i – ortogonalitet, instrumentell konvergens och koherent extrapolerad vilja – bygger i grunden på att vi vet vad medvetande är och att det är av materiell karaktär. Vilket alltså inte är fallet.

Ortogonalitet, instrumentell konvergens och koherent extrapolerad vilja, är inte laboratoriefynd. De är begreppsliga modeller, vilande på obevisade antaganden. De är tankeexperiment, förvisso avancerade, men fortfarande tankeexperiment. Häggström framställer dem som empiriska sanningar hämtade ur hårdfakta.

När jag ifrågasätter om de modeller Häggström anför verkligen har tillräcklig bärkraft för att legitimera långtgående politiska ingrepp, betraktas detta som ointressant så länge jag inte pekar ut specifika ”sprickor” i konstruktionerna, enligt den begräsande interna logiken de vilar på.

Med andra ord: för Häggström är kritik legitim först när den uppträder inom den box, den underförstådda överenskommelse, den tankestruktur där han själv känner sig hemma.

När Häggström förklarar det utsiktslöst att argumentera vidare med mig och hänvisar till skillnader i ”krav på argumentativ redlighet”, beskriver han det som en kulturkrock.

Och på sätt och vis har han rätt.

Häggström är matematiker. Jag är författare och essäist. Han rör sig vant i sannolikhetsresonemang och formella modeller. Jag rör mig i metaforer, i filosofiska grundantaganden, i frågor om medvetandets natur och framtidsvisioner.

Det som för mig blir avgörande är detta: frågan om superintelligent AI är inte en etablerad vetenskaplig disciplin med robust empirisk grund. Den är i hög grad spekulativ. Vi arbetar alla med extrapoleringar. Med mer eller mindre sannolika scenarier. Med antaganden om hur intelligens och medvetande ska förstås och definieras.

Att då tala om ”relevant forskningsläge” som om vi diskuterade en väletablerad naturvetenskaplig teori leder fel.

Jag misstänker att en del av vår oenighet ytterst handlar om detta: kan medvetande, intention och existens reduceras till modeller som i princip kan lösas? På samma sätt som när man löser en matematisk ekvation?

Om man tror det, blir alignment ett lösbart tekniskt problem. En fråga om vilja, kontroll, politisk styrning och lagstiftning.

Om man tvivlar på det, blir alignment en del av ett mycket större filosofiskt och existentiellt drama.

I efterhand ser jag att konflikten mindre handlade om enskilda formuleringar eller mer eller mindre hållbara argument och mer om vem som får definiera vad som räknas som legitimt tänkande.

Häggström försvarar ett paradigm där empirisk och filosofisk bärkraft måste demonstreras inom givna ramar. Jag försvarar rätten att ifrågasätta själva ramarna.

Ingen av oss vet vart AI-utvecklingen är på väg. Alla arbetar vi på osäkra, snabbt föränderliga underlag.

Att uteslutande bygga en säkerhetsstrategi för mänskligheten på en begränsad materialistisk grundpremiss, som i bästa fall är en arbetshypotes i värsta fall en dogm, kan knappast ses som en god och över tid hållbar strategi.