Il gioco di Claude

Nel mio libro Una intelligenza fantastica (è possibile scaricarlo gratuitamente o acquistare una copia cartacea a questo link) ho proposto di definire l’IA come ‘un collaboratore magico’. La settimana scorsa ho analizzato la prima parte di questa definizione; oggi parliamo della seconda parte e proviamo a capire perché l'IA ci sembra magica quando la vediamo in azione.

Claude Shannon - Fonte

Nel paragrafo 17 della Monadologia, il filosofo Gottfried Wilhelm Leibniz (1646-1716) propone un esperimento mentale che vale la pena raccontare per intero. Immaginiamo una macchina così sofisticata da essere capace di pensare, di sentire e di avere percezioni. Ora immaginiamo di ingrandirla fino ad arrivare alle dimensioni di un mulino, mantenendo le stesse proporzioni. Se entrassimo in quel mulino, aggirandoci al suo interno e guardandoci un po’ intorno, cosa troveremmo? Pezzi che si spingono a vicenda: ingranaggi, leve, meccanismi. Nulla di più. Nulla che assomigli a una percezione, a un pensiero, a qualcosa che sente di stare pensando. La conclusione di Leibniz è netta: la percezione non può essere spiegata meccanicamente, perché nessuna disposizione di parti, per quanto complessa, produce mai qualcosa di interno e soggettivo.
Se anche noi entrassimo, come Leibniz, nel ‘mulino dell’IA’, cosa troveremmo? Qualcosa di idealmente analogo agli ingranaggi anche se molto più astratto. Per capirlo bisogna fare un passo indietro e seguire una storia che ha a che fare con la linguistica e l’informatica. A partire dalla metà del Novecento, alcuni studiosi cominciarono a chiedersi se fosse possibile descrivere il linguaggio non come un insieme di regole grammaticali ma come un sistema di probabilità. L’idea di fondo è quella che il linguista John Firth formulò nel 1957: il significato di una parola è dato dalle parole che le stanno intorno. In una lingua, infatti, non tutte le parole hanno la stessa probabilità di seguire un’altra parola: dopo ‘buona’ è molto più probabile trovare ‘notte’ o ‘fortuna’ che ‘margherita’; dopo ‘il’ è molto più probabile trovare un sostantivo che un verbo.
L’intuizione di Firth sul ruolo del contesto si innestava su un’idea già esplorata in ambito matematico: le parole che precedono un termine non contribuiscono soltanto a definirne il significato ma permettono anche di prevedere, con un certo grado di probabilità, quale parola verrà dopo. Già negli anni Quaranta Claude Shannon (il matematico che ha fondato la teoria dell’informazione e al cui nome è dedicato - probabilmente - il modello di IA di Anthropic) aveva mostrato che il linguaggio poteva essere modellato statisticamente: date le parole precedenti, si può calcolare la probabilità di ciascuna parola successiva. I primi sistemi costruiti su questa base erano rudimentali, perché calcolavano quella probabilità sulla base delle due o tre parole immediatamente precedenti. I sistemi attuali hanno portato la stessa logica a una scala che Shannon non avrebbe potuto immaginare: vengono addestrati su un numero enorme di parole (libri, articoli, pagine web, conversazioni, etc.) e durante questo processo aggiustano miliardi di parametri matematici interni, fino a diventare straordinariamente precisi nel rispondere a una sola domanda: data questa sequenza di testo, qual è il frammento di testo (il token) statisticamente più probabile come continuazione?
Ed eccoci davanti agli ingranaggi.
Dentro il mulino dell’IA non ci sono idee, immagini mentali o intenzioni: ci sono parole diventate numeri. Ogni termine viene infatti trasformato in una lista di centinaia di cifre che ne codifica il significato attraverso la ‘compagnia’ che frequenta e la posizione che occupa rispetto agli altri termini che più spesso lo accompagnano.

Per capire come questi principi si applichino concretamente all’IA conviene tornare a Shannon. In un articolo del 1951 intitolato Prediction and Entropy of Printed English, Shannon racconta un gioco molto semplice: si prende un brano che il soggetto non conosce e gli si chiede di indovinarlo lettera per lettera. Se indovina la lettera, si passa alla successiva; se sbaglia, gli si rivela la lettera giusta e si prosegue. Il metodo, spiega Shannon, sfrutta il fatto che chiunque parli una lingua ne possiede implicitamente un’enorme conoscenza statistica: è la stessa familiarità con le parole, i modi di dire e le frasi fatte che ci permette di correggere un refuso senza quasi accorgercene o di completare la frase di chi ci sta parlando.
Proviamo a replicare l’esperimento.
Prendete una frase qualsiasi (quella che state leggendo ora, la prima riga del romanzo che avete sul comodino, un titolo di giornale), fermatevi a metà e chiedetevi: qual è la parola che viene dopo? Vi accorgerete che siete in grado, con un buon margine di approssimazione, di prevederla: attivate tutto ciò che sapete sul genere del testo, sul tono, sulle parole già incontrate, e calcolate intuitivamente la continuazione più probabile.
Facciamo una prova con una frase sospesa: ‘La situazione era diventata insostenibile e qualcuno avrebbe dovuto’.
Se state leggendo un romanzo realistico (una storia d’amore, un dramma familiare) quasi certamente state aspettando ‘dire’, ‘fare’, ‘intervenire’. Il vostro cervello ha già scartato centinaia di opzioni.
Ora ritornate mentalmente alla stessa frase sospesa e cambiate soltanto il contesto: siamo in un romanzo fantasy, e nelle righe precedenti una creatura stava devastando un villaggio. ‘Dire’ non convince più: vi aspettate ‘combattere’, o ‘sacrificarsi’.
Spostiamoci ancora, in un giallo: subito dopo il ritrovamento di un cadavere, torna ‘parlare’, ma con una sfumatura completamente diversa da prima, cioè con il significato di ‘confessare’, ‘accusare’, ‘rompere un silenzio che pesa’.

Il contesto non è dunque solo le ultime tre parole: è tutto. Il genere, il tono, i personaggi, le pagine precedenti, persino il fatto che siate lettori abituali di romanzi o di manuali tecnici. La probabilità non è una proprietà della parola isolata: è una proprietà della parola in relazione a tutto ciò che la circonda. Ed è esattamente quello che facciamo quando lavoriamo con l’IA: forniamo un contesto. Se chiediamo ‘aiutami a scrivere una mail formale al mio capo’, spostiamo la distribuzione di probabilità verso un certo registro, una certa struttura, un certo vocabolario; se chiediamo ‘scrivi una scena in cui un commissario svogliato interroga un presunto colpevole’ la spostiamo verso il noir, con le sue pause, le sue allusioni, i suoi sospetti.

Possiamo allora provare a riassumere cosa fa l’IA quando le chiediamo qualcosa: non comprende la nostra domanda e non sa in anticipo cosa dirà; calcola, un frammento dopo l'altro, quale continuazione sia la più coerente statisticamente alla luce di tutto ciò che la precede, cioè del contesto che le abbiamo fornito. È un mulino che macina probabilità.

Se, con questa consapevolezza, proviamo a usare di nuovo ChatGPT o Claude, ci accorgeremo che per noi le cose non sono poi cambiate più di tanto; anche se ora sappiamo che si tratta ‘soltanto’ di un calcolo statistico, l’IA continuerà a sembrarci sempre un po’ magica. Conoscere il principio del funzionamento della IA non mi consente infatti né di prevedere né di spiegare fino in fondo l'efficacia dell’output che mi ritrovo sul monitor: so in virtù di quale logica generale l’IA sceglie la parola successiva ma non so dire perché, mettendo in fila milioni di queste scelte, esca fuori proprio quel testo e proprio con quella qualità. È come nei trucchi dei grandi maghi: capire come funziona l’illusione non basta a disinnescare lo stupore quando poi materialmente si compie davanti a noi.

La settimana prossima lasciamo il primo capitolo di Una intelligenza fantastica e parliamo del secondo (che si intitola Empatia canaglia), partendo da una domanda semplice: perché ci commuove un’imitazione fatta bene?

🙏 Grazie per aver letto Macchine Pensanti!
❤️ Puoi lasciare un commento, condividere questo contenuto per farlo conoscere o, se non lo hai già fatto, puoi iscriverti lasciando la tua mail.

Lascia un commento

Condividi