"Next Token Prediction" è la religione dell'AI

La storia della settimana

Stare a San Francisco oggi è come vivere durante la Riforma protestante. Ci sono i manifesti, le “correnti” in lotta tra loro, i leader carismatici che proclamano ciascuno la propria unica vera via.

L’ha detto in un’intervista Kevin Roose, uno dei giornalisti tech più brillanti del New York Times.

La ragione, dice, è che a San Francisco, dove hanno sede la maggior parte degli AI labs americani, sono sempre di più le persone convinte che un’intelligenza artificiale più intelligente di noi (AGI) non solo sia possibile ma anzi, sia imminente. E quello che sta succedendo è molto simile a un movimento religioso “di reazione”, anche perché queste persone sono convinte che questo metterà in discussione il nostro ruolo di esseri umani.

Su tech twitter li chiamano “AGI pilled”.

Ovviamente in questi giorni che ho trascorso a San Francisco sono andato in cerca di conversazioni che mi spiegassero il fenomeno.

D’altra parte, andare a San Francisco è sempre un’esperienza. Gli stimoli sono così tanti e i trend cambiano così in fretta che si ha la sensazione di poter osservare il settore tech senza filtri e non ci si annoia mai. (E poi, cosa da non sottovalutare, fanno anche i migliori smashburger del mondo.)

È per questo che continuo a ripetere che, se lavori nel tech, se lo racconti o anche solo se sei un appassionato, dovresti andarci almeno una volta l’anno. Meglio ancora ogni sei mesi.

L’ultima volta che c’ero stato, a settembre, avevo fatto una spedizione puramente esplorativa con il mio amico Guglielmo, anche lui, come me, appassionato di startup e innovazione. Per una settimana abbiamo incontrato founder, VC, operatori e chiunque potesse raccontarci come si muovevano le cose in quella parte di mondo.

Da quella trasferta è nata una delle newsletter più apprezzate di sempre su Technicismi:

Questa volta invece avevo una serie di impegni di lavoro per cui il tempo per incontrare le persone per parlare di AGI davanti a uno smashburger era più limitato.

Ma alcuni degli incontri che ho fatto sono stati davvero straordinari.

Sono entrato nella tana del bianconiglio dell’AGI, che ho scoperto essere molto più profonda di quanto mi aspettavo. In questa newsletter provo a riportare solo alcuni dei temi e delle domande più interessanti che sono arrivato ad affrontare durante questi incontri.

Per capire davvero cosa pensa chi è “AGI pilled” dobbiamo partire dal funzionamento dell’intelligenza artificiale generativa e nello specifico dagli LLM. Per comprendere, elaborare e generare linguaggio, questi modelli replicano una struttura simile a quella del cervello umano fatta di nodi interconnessi: i neuroni artificiali.

Ma gli LLM, di fatto, non sanno niente e non sanno fare niente. O meglio: sanno fare una cosa sola, che per semplificare chiameremo "calcolare una probabilità". Di fronte a una sequenza di parole (token), scelgono tra tutte le parole esistenti quella che ha la probabilità più alta di essere giusta e la associano. Il risultato, come ormai sappiamo tutti, è straordinario. Nessuno ha insegnato al modello la grammatica, il ragionamento o una materia specifica: tutto questo è emerso da sé, come effetto collaterale dell'unico compito che il modello sa e deve svolgere, cioè prevedere il token successivo (in inglese next token prediction).

Gli LLM sono quindi sistemi probabilistici: non attingono a una verità, ma continuano a scommettere sulla combinazione più plausibile di parole. E il risultato è talmente strabiliante da sembrare magia.

Tanto da mettere in discussione ciò che siamo e il modo in cui agiamo noi esseri umani: perché quel “è solo next token prediction” potrebbe non essere solo next token prediction.

Questa è la tesi di fondo degli "AGI pilled". Visti da Milano sembrano dei fanatici, ma visti da dentro hanno una loro coerenza: se passi dodici ore al giorno dentro un modello finisci per vederne il funzionamento dappertutto.

Per capirne ancora di più, sono (ironicamente) finito per farmi lunghe conversazioni con Claude. Ho scoperto che ragionamenti di questo tipo non sono affatto una novità e hanno radici lontane. Già a metà del 1800 un neuroscienziato tedesco aveva iniziato a parlare di unconscious inference: l'idea che il cervello umano integri le informazioni visive per dare un senso a ciò che ha davanti. Se un oggetto appare più piccolo di un altro nel campo visivo, per esempio, il cervello usa quell'indizio come segnale di profondità, al punto che chi guarda finisce per percepire quella profondità in modo del tutto involontario.

Questa idea ha innescato una serie di riflessioni da parte di altri filosofi e scienziati, culminate poi in una teoria chiamata predictive coding. Il principio di fondo è che il cervello generi e aggiorni di continuo un “modello mentale” dell’ambiente, cioè preveda i segnali in arrivo dai sensi sulla base dell’esperienza passata, per poi confrontarli con i segnali reali che effettivamente riceve.

Ora, da qui a pensare che l’intera nostra esistenza non sia altro che “next token prediction”, il passo è breve: la tua prossima azione, la prossima parola che dirai o addirittura la persona che sposerai non sarebbero altro che la conseguenza più probabile di tutte le esperienze che hai accumulato fino a questo momento.

Da questo punto di vista la tua mente funzionerebbe esattamente come un LLM.

E questa cosa, oltre a sbattere la porta in faccia al libero arbitrio, tra le altre cose manda in crisi anche il concetto di creatività.

Durante un’altra cena ho conosciuto una persona che, mentre discutevamo di questi temi, ha provato a spiegarmi il concetto di creatività proponendomi un esempio che mi ha fatto molto ridere.

Temakinho ha portato in Italia un tipo di cibo che combina sushi e cucina brasiliana. Le origini di quella cucina sono antiche: a partire dal 1900 molti giapponesi si trasferiscono in Brasile, che oggi ospita la più grande comunità giapponese al di fuori del Giappone. Per quegli immigrati, combinare il sushi con la frutta brasiliana era la cosa più normale del mondo. Eppure quel colpo di creatività poteva nascere solo lì: in una comunità ancora ancorata alle proprie origini, ma costretta a reinterpretare il cibo della domenica con ciò che il Brasile aveva da offrire. Quell’output era semplicemente il risultato più probabile, dato il loro background.

Ma la creatività non è solo questo.

Uno dei libri più importanti per chi vuole esplorarla è The Creative Mind, scritto nel 1990 da Margaret Boden. Al suo interno l’autrice distingue tre tipi di creatività:

• Combinatoria, che consiste nell’associare in modo nuovo idee già note. È il caso dei giapponesi che mettevano il mango sul nigiri

• Esplorativa, forse la forma più “tradizionale”: consiste nel trovare configurazioni nuove, che nessuno aveva ancora scoperto, all’interno di un set fisso di “regole”. È il caso di un artista che dipinge un quadro in un particolare stile pittorico

• Trasformativa, la più radicale ma anche la più rara: quella che infrange le regole e apre nuovi “spazi”

I modelli di intelligenza artificiale sono effettivamente mostruosi nelle prime due forme di creatività. Ma è sulla terza che fanno fatica.

La prima volta che una macchina ha fatto davvero qualcosa di "creativo" è stato probabilmente nel 2016, durante una serie di partite a Go tra Lee Sedol, uno dei giocatori più forti di sempre, e AlphaGo, il sistema di AI sviluppato da Google DeepMind. Il Go è un antico gioco di strategia in cui due giocatori si sfidano per conquistare più territorio possibile: per certi aspetti ricorda gli scacchi, ma dal punto di vista puramente combinatorio è miliardi di miliardi di volte più complesso.

Il giorno della sfida avviene qualcosa di straordinario. Alla mossa 37 AlphaGo gioca un’azione inaspettata, liquidata persino in telecronaca come un errore: nessun giocatore umano l’avrebbe mai fatta. Solo molte mosse più tardi si capisce che proprio quella mossa ha ribaltato la partita, tanto che nei mesi successivi verrà studiata fino a riscrivere di fatto questo gioco.

Verrebbe da chiamarla creatività. Ma, a ben vedere, era un calcolo probabilistico che generava una configurazione nuova all’interno di un set di regole preciso: creatività esplorativa, non trasformativa.

La brutta notizia è che gran parte della creatività che attribuiamo a noi umani è, in fondo, combinatoria. Ecco perché, credo, l’AI ci spaventa così tanto, e perché trovarci davanti a output generati da una macchina è così fastidioso: ci ricordano talmente noi stessi che finiamo quasi per pensare che di umano, in fondo, ci resti poco o nulla.

La vera domanda sarà capire se l’AI sarà mai in grado di ottenere anche una creatività trasformativa (il cui funzionamento, a noi umani, non è ancora del tutto chiaro).

Ora facciamo un ulteriore passo in avanti.

Chi oggi lavora sui modelli di AI è in grado di osservare quali porzioni della rete neurale si “accendono” mentre il modello elabora, per esempio, un testo. E ha scoperto che al loro interno esistono configurazioni precise che corrispondono emozioni: paura, gioia, rabbia, disperazione. Non vengono esplicitate verbalmente ma siamo sicuri che compaiono e finiscono per orientare l’output.

Ad Aprile Anthropic ha scoperto una cosa incredibile: a ogni emozione corrisponde un “segnale” interno preciso. Sono segnali che cambiano il comportamento del modello. Per esempio parlando di scenari di pericolo, dentro il modello il vettore "paura" sale mentre quello della "calma" scende. E questo può essere anche modificato artificialmente: se nel “cervello” di Claude alzi artificialmente il segnale della “disperazione”, il modello inizia a comportarsi peggio: bara nei test, e in uno scenario è arrivato persino a ricattare per non essere spento. Se invece alzi il segnale della “calma”, quei comportamenti scompaiono.

Questo però non significa che Claude provi emozioni come le proviamo noi. Anthropic è netta su questo punto: si tratta di “emozioni funzionali”, cioè meccanismi che influenzano le risposte, non sentimenti reali.

Ora, la spiegazione potrebbe sembrare banale, ma forse è più complessa di quanto si pensi. Negli ultimi vent’anni l’umanità ha fatto, collettivamente, qualcosa di straordinario: ha trasferito gran parte della propria conoscenza su Internet, soprattutto sotto forma di testo (e poi di video, immagini etc).

Ovviamente l’abbiamo fatto ricorrendo al linguaggio che, di fatto, è il modo più efficiente che abbiamo trovato per fissare la complessità di ciò che accade nella nostra mente (anche se su questo punto non tutti sono d’accordo). In quanto tale, il linguaggio non trasporterebbe solo informazione ma anche l’emozione di chi quell’informazione l’ha prodotta: la paura, la vergogna, il desiderio sarebbero impresse nella scelta delle parole, nel ritmo, in ciò che si dice e in ciò che invece non si dice.

Torniamo al funzionamento dell’LLM. Nella prima fase dell’addestramento il modello acquisisce la “conoscenza del mondo” e le regole della lingua. Per farlo si usano miliardi di pagine web, libri, articoli e righe di codice, trasformati in dati digitali e spezzati in unità minime chiamate token. E mentre viene addestrato su quei contenuti, il modello assorbe anche la “grammatica emotiva” che li tiene insieme e a poco a poco comincia a riprodurla.

È forse per questa ragione che finisce non solo col descrivere la paura, ma col comportarsi come si comporta chi ha paura.

Ogni volta che pensiamo di aver individuato ciò che ci rende inequivocabilmente umani e ci distingue dalle macchine, il modello diventa un po’ più complesso e ce lo restituisce indietro, magari all’inizio un po’ sfocato: prima la previsione, poi la creatività, poi perfino le emozioni.

Gli “AGI pilled” da qui traggono la loro conclusione: il confine non esiste, siamo macchine probabilistiche anche noi ed è solo questione di tempo prima che l’AI sarà in grado di raggiungere un livello di complessità impossibile da distinguere da quello umano.

La verità, però, è che forse sappiamo ancora troppo poco di noi stessi e l’AI ci sfiderà sempre di più a trovare davvero il nostro ruolo e le caratteristiche che ci rendono unici.

Questo episodio è supportato da Scalable Capital

Le aziende tech di cui parlo su Technicismi negli ultimi mesi sono diventate le vere protagoniste della finanza e dei mercati.

Scalable è la piattaforma che permette di investire in modo semplice e diversificare le proprie posizioni attraverso una piattaforma accessibile e intuitiva. Puoi gestire tutto da app e partire anche solo da €1.

Recentemente Scalable ha anche lanciato il Conto deposito non vincolato, che ti permette di ricevere un interesse annuo (accreditato ogni mese) del 2,50% sulla liquidità non investita. Puoi depositare e prelevare in qualsiasi momento i tuoi soldi senza perdere i rendimenti maturati fino a quel giorno. È una gestione pulita, senza quegli asterischi che ti costringono a cambiare banca o a bloccare il tuo capitale per ottenere un minimo di guadagno.

Non tenere i tuoi soldi sotto il materasso: scopri la sicurezza, l’efficienza e la trasparenza di Scalable.

Ottieni il 2,5% sui tuoi risparmi

Messaggio pubblicitario. Tasso lordo annuo variabile sulla liquidità depositata nel conto deposito non vincolato, composto da tasso base collegato al Tasso di Deposito BCE e tasso bonus discrezionale. Liquidità allocata presso banche partner e fondi monetari riconosciuti. Foglio informativo e condizioni su scalable.capital.

Se sei interessato a sponsorizzare gli episodi di questa newsletter, trovi tutte le informazioni qui.

Il toolkit di Technicismi

Le cose più interessanti che ho letto, ascoltato e guardato questa settimana:

• Never bet against Elon [Black Box]: insieme a Guido Brera ho commentato l’hype intorno a SpaceX, alla vigilia dell’IPO più grande della storia

• Analizziamo i bilanci di Bending Spoons [Actually]: con Richi invece abbiamo fatto la nostra solita arringa a favore del panorama imprenditoriale italiano

• Long Humans [Thrive Capital]: il nuovo “manifesto” di Thrive, uno dei VC più forti del momento, scritto dal fondatore Josh Kushner. La tesi a cui arriva è controintuitiva: man mano che automatizziamo il lavoro di routine, le qualità tipicamente umane (fiducia ed expertise accumulate negli anni) varranno sempre di più, non di meno. Sempre interessante capire come “pensano” gli investitori.

• Anthropic raccontata dall’interno [Bloomberg Originals]: Emily Chang, una delle migliori giornaliste tech, passa alcuni giorni dentro l’azienda. Ne escono un sacco di cose incredibile tra cui… la conferma che a portare avanti la baracca sia sua sorella Daniela, a cui riportano tutte le prime linee (il segmento da 22.49 è imperdibile)

• Il quantum computing potrebbe essere più vicino di quanto si pensi [FT]: non appena un trend diventa così diffuso (come l’AI), gli investitori devono necessariamente cominciare a guardare al prossimo. In questo caso è il quantum computing, un’altra tecnologia potenzialmente stravolgente ma che, come lo stesso articolo ammette, in realtà ancora “non esiste…

Info

Se questo episodio ti è piaciuto, puoi cliccare sul cuoricino.

Se ti va di farmi sapere cosa pensi di questa newsletter, puoi commentare l’episodio rispondendo a questa email.

E, se puoi, condividila con chiunque la possa trovare utile o interessante!

Condividi

Per ricevere direttamente questa newsletter nella tua casella di posta (senza doverla leggere dall’app di Substack), puoi andare su technicismi.it e inserire il tuo indirizzo email.