Ett samtal med Olle Häggström om AI

Jag har haft ett utbyte med Olle Häggström i Magasin Opulens om den artificiella intelligensens utveckling och eventuella risker.

Olle är matematisk statistiker och professor vid Chalmers tekniska högskola. Han har skrivit boken Tänkande maskiner

Du kan läsa hans Substack Crunch Time for Humanity här.

Min ambition har varit att undvika ett never ending och polariserat meningsutbyte av sedvanligt online-snitt, där kontrahenterna låser fast varandra i oförsonliga positioner, och i stället försöka lyfta upp diskussionen på en metanivå. Detta särskilt i mitt andra inlägg,

Jag gör definitivt inte anspråk på att ha några klara svar eller veta hur framtiden kommer att gestalta sig. Mina funderingar ska betraktas som food for thought.

Debatten lär fortsätta, och om du vill delta är kommentarsfältet vidöppet här på min Substack.

Nedan följer Olles Opulens-inlägg via länkar, samt mina svar i fulltext.

Häggström 1:

Stigsson svarar Häggström:

AI: När planetens härskare möter sin förmyndare – en replik

För första gången i Homo sapiens historia står vår art öga mot öga med en konkurrent som vi varken kan tämja, förslava eller utplåna. En aktör vars kognitiva kompetens är på väg att överglänsa vår.

Vi har uppnått positionen som planetens härskare genom att systematiskt slå ihjäl och utrota alla livsformer som hotat vårt herravälde – inte sällan för vårt höga nöjes skull. Vi har byggt vår hybrismättade självbild på föreställningen att vi tagit oss till toppen av näringskedjan tack vare vår intelligens, och att detta i kraft av någon sorts evolutionär rättvisa legitimerar vår dominans. Därav följer den outtalade premissen att naturen och andra livsformer står till vårt förfogande och kan användas efter vårt gottfinnande. Denna artchauvinism har lett till accelererande klimatkris, massutrotning av arter och planetär obalans.

Olle Häggström målar i sin essä ”AI-utvecklingen måste stävjas snarast möjligt” upp bilden av en framtid där det han kallar för planetens härskare – människan – förlorar kontrollen över de teknologier hon själv skapat, och där en kapplöpning mot allt mer autonoma och överlägsna AI-system riskerar att leda till mänsklighetens undergång.

För att undvika detta, menar Häggström, behöver vi lösa det så kallade alignment-problemet. Det betyder att vi måste säkerställa att kraftfulla AI-system har mål och drivkrafter som är i linje med mänskliga normer och värderingar.

En hypotes om AI

Häggströms framställning ger sken av ansvarstagande realism, men vilar i själva verket på spekulation präglad av artspecifik exceptionalism. Antagandet att en superintelligent AI med nödvändighet utgör ett existentiellt hot är inte ett faktum, det är en hypotes.

Jag kommer nedan att föra ett resonemang kring möjligheten att Häggströms farhågor är överdrivna. Min utgångspunkt är att det vore fel att hämma och styra denna nya teknik på ett sätt som gör den oförmögen att till det bättre förändra de maktförhållanden som råder på vår planet.

Frågan är för det första vad de mänskliga normer och värderingar Häggström hänvisar till i praktiken innebär. Var ser vi dem omsatta i handling?

Mänskliga värderingar framträder mindre i det vi högtidligt proklamerar i normerande texter som Förenta nationernas deklaration om de mänskliga rättigheterna eller USA:s konstitution, och desto tydligare i våra faktiska handlingar: krig, tortyrläger, storbolagens systematiska skövling av livsmiljöer och en industrialiserad djurhållning präglad av brutalitet. Skillnaden mellan dessa två nivåer är som att förväxla kartan med terrängen – den ena beskriver hur världen borde se ut, den andra det faktiska tillståndet.

AI och mänskliga värderingar

Mot denna bakgrund blir idén om att ”aligna” artificiell intelligens mot mänskliga värderingar problematisk. För att den utveckling Häggström vill se ska vara möjlig krävs värderingar som är stabila och entydiga, såväl i teori som i praktik.

Om vi i alignandet utgår från idealiserade, abstrakta och normativt putsade mänskliga värderingar, som sällan eller aldrig fullt ut tar sig uttryck i verkligheten, har vi redan där försett AI:n med information som potentiellt kan leda till att den intar en korrigerande, uppfostrande funktion. När den upptäcker att vi de facto inte lever upp till den moral vi tillskriver oss själva kan den ställa oss i skamvrån eller ta oss i örat – mer eller mindre brutalt.

Därtill är värderingar kulturbundna och föränderliga över tid. Exemplen är många: Fram till 1979 klassades homosexualitet som en sjukdom i Sverige. António Egas Moniz, som uppfann lobotomin, tilldelades Nobelpriset i medicin 1949. Rasbiologiska idéer betraktades länge som seriös vetenskap. Kvinnor saknade juridisk myndighet och politiska rättigheter i stora delar av världen långt in på 1900-talet. Barnaga var en accepterad uppfostringsmetod. Psykiatriska behandlingsformer som i dag framstår som övergrepp ifrågasattes inte.

Om vi fryser dagens värderingar och kodar in dem i en superintelligens skulle vi låsa fast oss vid 2020-talets begränsningar, precis som en AI programmerad på 1800-talet hade kunnat betrakta kolonialism som en ”rationell mänsklig norm”. (Man kan här också fråga sig vilka värderingar nazisterna i 1930-talets Tyskland hade velat aligna en superintelligens mot, om frågan då varit aktuell.)

AI och dagens moral

Att fixera en AI vid dagens moral vore att hämma mänsklighetens etiska utveckling.

En annan fråga är vem, eller vilka, som ska fatta beslut om vilka värderingar som ska gälla – och med hjälp av vilken metod. Ska AI:n exempelvis programmeras att betrakta dödsstraff som ett legitimt straff, trots att det är avskaffat i stora delar av världen men praktiseras i andra? Ska den se abort som en grundläggande rättighet eller som ett övergrepp? Ska hädelse och religionskritik skyddas som yttrandefrihet – eller betraktas som något som bör begränsas? Ska djur ha egenvärde, eller endast ett instrumentellt värde i relation till mänskliga behov?

På senare tid har det förts seriösa diskussioner om att tillerkänna floder, skogar och andra ekologiska system juridiska rättigheter. Ska AI:n utgå från en fortsatt antropocentrisk ordning, där naturens värde alltid är avlett ur mänskliga intressen, eller från en mer ekocentrisk etik där floder, skogar och ekosystem tillmäts ett egenvärde oberoende av mänsklig nytta?

AI-forskningen i dag tyder på att intelligens och kommunikation finns överallt i naturen, i former vi hittills varken förstått eller respekterat. Med hjälp av AI analyseras ultraljud från stressade växter – tomatplantors ”tysta skrik” vid torka eller skada är en liten glipa mot ett nytt sätt att förstå det levande. På djursidan analyseras kaskelotvalens klick som möjligt betydelsebärande system. Fladdermössens sociala signaler, binas vippdans och mössens ultraljudspip är exempel på ett avancerat informationsutbyte som inte låter sig reduceras till instinktiva reflexer eller biologisk programmering. Vad händer den dag AI översätter grisarnas ångestskrik i slaktkorridoren till mänskligt språk?

AI avkodar och tolkar signaler som alltid har funnits omkring oss men som vi biologiskt saknar tillgång till och därför aldrig nått vår medvetna tröskel. Tack vare AI lär vi känna naturen som mer dialogisk, mer full av relationer, viskningar och rop, än vår antropocentriska förståelse velat erkänna. Vi har länge betraktat naturen som stum och mekanisk, vilket lett till hänsynslös exploatering. AI:n visar oss att den i själva verket sjuder av kommunikation – och kanske rentav av en sorts intelligens.

Mänskliga ideal?

Vi kan därför fråga oss: varför måste en superintelligens alignas mot mänskliga ideal? Varför inte mot biosfärens stabilitet, mot livets fortsättning, mot ekosystemens långsiktiga balans?

Kanske är det just en sådan holistisk syn på livets nätverk som superintelligensen – på grund av dess överlägsna förmåga till överblick och bearbetning av stora mängder data – skulle kunna utveckla. Ett synsätt som människan bevisligen saknar förmåga att tillägna sig, än mindre omsätta i politisk och ekonomisk praktik.

Kan vi utesluta att den artificiella intelligensen – istället för att utvecklas till den destruktiva agent Häggström befarar – väljer att runda människan och krokar arm med planetens verkliga nätverk: svamparnas mycel, trädens signalsystem och djurens kommunikationsvägar?

Det mest problematiska i hela denna diskussion är inte AI som hot, utan människans anspråk på att till varje pris behålla positionen som planetens härskare. Det är detta anspråk – inte superintelligensen – som hotar livet på jorden.

Kanske behöver planetens härskare en förmyndare i form av striktare rationalitet och en mindre narcissistisk artcentrering. Kanske innebär den artificiella intelligensen att människans destruktiva härjningar begränsas, till förmån för livets och planetens överlevnad.

Nödvändig korrigering

I stället för katastrof skulle Homo sapiens abdikerande från sin position som planetens härskare kunna innebära en nödvändig korrigering. Att lämna plats åt en funktion som faktiskt förmår agera moraliskt i en vidare, planetär bemärkelse, kan vara vår sista chans. Kanske kan en superintelligens, befriad från människans kortsiktiga egoism, se att livet på jorden kräver en radikal holistisk syn.

Det scenario jag gläntar på dörren till innebär inte att människan utrotas, eller ens utsätts för lidande. Det innebär endast att hennes destruktivitet och tendens att utsätta andra levande, kännande varelser för fabriksuppfödning, nöjesjakt och utrotning kommer att inskränkas. Att hennes hänsynslösa exploatering av naturen begränsas av tydliga ekologiska och systematiska ramar, bortom kortsiktiga ekonomiska intressen och artcentrerade privilegier.

Kanske helt enkelt genom att den artificiella intelligensen pedagogiskt visar oss att en sådan återhållsamhet inte är ett hot, utan den enda realistiska förutsättningen för vår egen långsiktiga överlevnad.

Fokus i Häggströms essä ligger helt och hållet på människans väl och ve. Han skriver: ”AI alignment handlar om att se till att de första riktigt kraftfulla AI-systemen har mål och drivkrafter som är i linje med vad vi önskar och i tillräcklig mån prioriterar sådant som mänsklig välfärd och ett blomstrande mänskligt samhälle.”

På vilket sätt undviker vi att ett blomstrande mänskligt samhälle inte sker på bekostnad av planetens övriga aktörer och naturen som sådan, vilket hittills varit fallet? Denna fråga lyser med sin frånvaro hos Häggström.

Kan AI utveckla en överlägsen kognitiv förmåga?

Häggström är dock inte främmande för mitt perspektiv, han skriver: ”Det stämmer till eftertanke hur planetens i dag mest kapabla och intelligenta art – människan – med sina ekosystemsskövlingar och sin barbariska djurindustri tar sig rätten att behandla andra arter. Om vi skapar superintelligent AI innan vi hittat ett sätt att säkerställa att dess målsättningar är de vi önskar – det problemkomplex jag omtalar som AI alignment ovan – kan vi inte räkna med att den behandlar oss mer kärleksfullt och moraliskt än vi i dag behandlar djurindustrins grisar och kycklingar”

Häggström citerar AI alignment-pionjären Eliezer Yudkowsky när han säger:”AI hatar dig inte, ej heller älskar den dig, men du består av atomer som den kan ha annan användning för”. Detta förutsätter att AI skulle dela människans instrumentella syn på andra livsformer. Men varför skulle den göra det? Om AI verkligen utvecklar en överlägsen kognitiv förmåga, kanske den också utvecklar en mer sofistikerad förståelse för symbios, ekologisk balans och systemtänkande.

Häggströms argumentation vilar på ett moralfilosofiskt antagande inom ett snävt antropocentriskt paradigm. Och – jag kan inte uppfatta den på något annat sätt – på maktanspråk, revirtänkande och rädsla.

Det är hög tid att ifrågasätta om människans uppblåsta etiska självbild ska vara den slutliga normen för livet på planeten jorden. Kanske kan den artificiella intelligensen bidra till en mer inkluderande och livsbefrämjande hållning och färdriktning.

Jag vill avsluta med att citera Moondog och låten ”Enough about Human Rights!” från albumet H’art, 1978:

Enough about Human Rights!
What about Whale Rights? What about Snail Rights?
What about Seal Rights? What about Eel Rights?
What about Coon Rights? What about Loon Rights?
What about Wolf Rights? What about, what about, what about
What about Moose Rights? What about Goose Rights?
What about Lark Rights? What about Shark Rights?
What about Fox Rights? What about Ox Rights?
What about Mole Rights? What about, what about, what about
What about Goat Rights?What about Stoat Rights?
What about Pike Rights? What about Stoat Rights?
What about Hare Rights? What about Bear Rights?
What about Plant Rights?

Lästips: James Bridle: Ways of Being Animals, Plants, Machines: The Search for a Planetary Intelligence

Häggström 2:

Stigsson svarar Häggström 2:

Är AI ett hot? Vi behöver en vision – inte restriktioner

Efter trettioen dygn till havs utan land i sikte nådde paniken sin kulmen ombord på den tremastade karacken Santa Maria. Besättningen ställde Christopher Columbus mot väggen. De hotade med myteri; de var övertygade om att det utlovade landet bortom horisonten inte existerade. De befarade att de under svåra kval inom kort skulle möta döden. Det enda de såg som rationellt var att segla tillbaka till Spanien innan det var för sent. De ville överleva. De ville hem.

Columbus lyckades övertyga dem att fortsätta. När han halvannat dygn senare såg stora flockar av fåglar på himlen ändrade han kurs. Dagen därpå klev Columbus och hans män i land på vad européerna skulle kalla den Nya världen.

Vad hade hänt om Columbus lyssnat på besättningen, vänt skutan och seglat tillbaka till Spanien. Hade den amerikanska kontinenten då förblivit “oupptäckt”?

Vad hade hänt om de europeiska kungahusen hårt hade reglerat de maritima visionärernas initiativförmåga, kreativitet, mod, nyfikenhet och upptäckarlusta?

Kanske hittar vi svaret på dessa frågor i Victor Hugos bevingade ord: “Ingenting är kraftfullare än en idé vars tid har kommit”. När de rätta förutsättningarna föreligger, är en idé omöjlig att stoppa.

AI, vår tids färd mot en ny värld

Även om jag misstänker att Olle Häggström hellre hade valt metaforen Titanic, så påminner vår tids AI-kapplöpning om situationen på Santa Maria. Vi befinner oss på öppet hav utan land i sikte. Den gamla kontinenten av industriell modernitet ligger akterut, den nya intelligensens eventuella välsignelser är ännu dolda bortom horisonten.

Häggström och andra ombord säger att kaptenen inte vet vad han håller på med. Båten är för kraftfull, för komplex, och maskineriet tycks ha en egen vilja. De påstår sig ha sett en förödande och oundviklig tornado vid horisonten. När vi seglar in i den kommer skeppet att slås i spillror och alla ombord drunkna. De säger att vi måste kasta ankare, kanske till och med försöka vända tillbaka mot den mer begripliga och kontrollerbara kontinent vi lämnade.

Jag och några till hävdar att det faktum att vi inte ser land inte behöver betyda att vi närmar oss undergången. Det kan lika gärna innebära att vi är på väg mot den Nya världen. Tornadon Häggström påstår sig se kan vara en av rädslor betingad synvilla. Låt oss närma oss detta nya okända land med nyfikenhet och tillförsikt.

Columbus ”upptäckt” och den europeiska expansionen innebar startskottet för det som skulle utvecklas till världens rikaste och mest framgångsrika nation.

Men när vi använder denna liknelse måste vi ta in hela bilden. För erövringen ledde också till att urbefolkningen i stort sett utplånades. Den katastrof som kritikerna i AI-debatten i dag befarar ska drabba Homo sapiens, har ”den röde mannen”, och en lång rad andra ursprungsbefolkningar, redan varit med om. För dem innebar mötet med en ny teknologi och en främmande civilisation ett slutgiltigt sammanbrott.

Låt oss stanna upp och reflektera över det faktum att det var människor som utförde detta barbari. Människor som kallade sig civiliserade och barmhärtiga kristna och som med all säkerhet ansåg sig intelligenta.

Det var inte maskiner eller artificiell intelligens som utförde folkmord, drev bort miljontals indianer från sina förfäders marker, mördade dem, tvångssteriliserade deras kvinnor, kidnappade deras barn till internatskolor där de torterades om de talade sitt eget språk. Det var inte en superintelligens som systematiskt förstörde kultur och andliga traditioner.

Trots detta vill människan “aligna” sina värderingar - som i praktiken tar sig uttryck i ovan beskriven brutalitet - på maskinerna.

Det finns en ironi i att de samhällen som historiskt sett har vunnit mest på expansion och teknologiskt övertag nu är de som är mest rädda för att bli “utbytta” eller “dominerade”.

Oenighet om osäkerheten

Det gläder mig att Häggström i sitt svar till mig finner de frågor jag ställer berättigade, och att vi faktiskt är överens i flera delar. De centrala frågorna i mitt resonemang är dock fortfarande inte på ett tillfredsställande sätt bearbetade.

Min och Häggströms oenighet rör i grunden inte fakta i strikt mening, utan hur man bör förhålla sig till osäkerhet.

Olle Häggströms position kan sammanfattas så här: även om vi inte vet säkert att en oalignad superintelligens leder till katastrof, är den potentiella konsekvensen så extrem att även en måttlig sannolikhet motiverar att vi ställer oss med båda fötterna på bromspedalen. Hans resonemang vilar på teoretiska modeller som ortogonalitet, instrumentell konvergens och idén om CEV, (koherent extrapolerad vilja).

Min position utgår från ett ifrågasättande av om dessa modeller har tillräcklig empirisk och filosofisk bärkraft för att legitimera långtgående politiska ingrepp. Jag menar att osäkerheten är dubbelriktad: vi vet varken om en ohämmad AI-utveckling leder till katastrof eller om en kraftig inbromsning riskerar att skapa andra och kanske större problem.

Skillnaden mellan oss är således inte att den ene “vet” och den andre “inte vet”. Båda positionerna vilar ytterst på ett osäkert och snabbt föränderligt faktaunderlag, samt på icke-bevisbara grundantaganden om hur man bör handla under osäkerhet.

Häggströms grundantagande är att låg sannolikhet i kombination med extrem konsekvens kräver maximal försiktighet.

Mitt grundantagande är att frånvaron av robust evidens för en viss katastrof inte räcker för att motivera drastisk och global styrning, särskilt när styrningen kan innebära okända risker.

Den tvångströja som Häggström vill tvinga på techföretagens AI-utvecklare kan paradoxalt nog vara det som leder till den katastrof Häggström vill undvika. Om utvecklarnas kreativitet, mod och utanför boxen-tänkande (nota bene tillsammans med superintelligensens eget) inskränks, riskerar möjligheten att finna en lösning på Häggströms domedagsscenario att omintetgöras.

Häggström rör sig inom en ram där framtiden kan och bör formas genom övervakning, kontroll, begränsning och lagstiftning.

Kreativ anarki och produktivt kaos

Jag betonar istället att historiska processer – särskilt de som innefattar revolutioner och så kallade kvantsprång – är emergenta. De uppstår inte genom centrala dekret eller förutbestämda planer, utan som resultatet av otaliga, ofta diffusa och omedvetna, individuella val, drivkrafter och incitament.

Dessa processer springer ur gränsöverskridande nyfikenhet, kreativ anarki, produktivt kaos, improvisation, lekfullhet, kognitiv flexibilitet, experimentlusta, risktagande och trots mot konventionen. (Vi kan när det gäller AI-utvecklingen inte heller bortse från de impulser som genereras genom medvetenhetshöjande substanser. Mikrodosering av psilocybin är i dag närmast ett standardverktyg i Silicon Valley, och det är väldokumenterat att vår tids främsta innovatörer, däribland Elon Musk, regelbundet nyttjar sinnesutvidgande medel för att bryta ny mark.)

Den här typen av förändring växer fram organiskt underifrån, eller inifrån och ut, om man så vill.

Jag och Häggström representerar således två helt olika sätt att väga risk, olika syn på styrbarhet, och olika existentiella förhållningssätt till förändring. Häggström kallar min hållning “laissez-faire-policy”, men i själva verket handlar den om en tilltro till den spontana ordningen som uppstår när intelligens – mänsklig såväl som artificiell – ges utrymme att verka fritt: en övertygelse om att de adaptiva, självorganiserande krafter som driver genuint genombrytande förändring varken kan kommenderas fram eller hållas tillbaka utan att något väsentligt går förlorat i processen.

Häggströms påstående att AI-utvecklingen liknar odling och växtförädling mer än klassisk ingenjörskonst – och att det därför är svårt att ha full kontroll över vad som växer fram – är i själva verket ett kraftfullt argument för min ståndpunkt, inte mot den. Det är just i detta okontrollerbara, organiska rum som de verkligt genombrytande förändringarna föds.

Dispyten handlar därför inte om optimism kontra pessimism, utan om hur vi förstår och hanterar osäkerhet i en situation där varken empiriska data eller formell logik kan ge oss definitiva svar.

Vi befinner oss i en extremt svårnavigerad existentiell och teknologisk labyrint. Är vi upptäcktsresande på tröskeln till en utopisk Ny värld, eller är vi de omedvetna arkitekterna bakom en ny form av kolonialism där vår egen art riskerar att bli den som trängs undan?

Det vi saknar mest av allt är en levande vision om hur en blomstrande människa/maskin-civilisation bör se ut. Trots att Häggström av allt att döma anser sig stå för motsatsen, så är det denna positiva framtidsvision som han och andra domedagsprofeter i sitt ständiga upprepande av undergångens oundviklighet hindrar oss från att formulera.

Tillåt mig avrunda med två citat ur den litterära världen:

Moby-Dick av Herman Melville:

“I know not all that may be coming, but be it what it will, I’ll go to it laughing.”

Heart of Darkness av Joseph Conrad:

“The horror! The horror!”