Parliamo e non ci capiamo

Quando scriviamo un prompt o ‘parliamo’ con una macchina, siamo sicuri che riesca a capire quello che diciamo? È questa la domanda che, secondo me, suggerisce We Can’t Understand AI Using our Existing Vocabulary, un position paper pubblicato su Arxiv (l’archivio open access creato da Paul Ginsparg e gestito dalla Cornell University) da John Hewitt, Robert Geirhos e Been Kim, ricercatori presso Google DeepMind.

Il punto di partenza del paper è una constatazione apparentemente ovvia: se addestriamo i modelli su dati prodotti da esseri umani, ci aspettiamo che pensino come noi. Ma questa aspettativa, secondo Hewitt, Geirhos e Kim, si scontra con una realtà più complessa: umani e macchine ‘leggono’ il mondo in modo diverso, e questo genera tre problemi fondamentali nella comunicazione.

Il primo problema riguarda i meccanismi di concettualizzazione. Il paper un esempio celebre: la mossa 37 di AlphaGo nella seconda partita contro il campione Lee Sedol nel 2016. Una mossa che nessun giocatore ‘umano’ di Go avrebbe contemplato in quella situazione; una scelta estremamente efficace che però non rientrava nel repertorio di soluzioni che un giocatore umano avrebbe esplorato. Dietro quella mossa potrebbe esserci un concetto generale - un pattern riconosciuto nella configurazione del gioco - al quale gli esseri umani non avevano mai pensato. L’ipotesi del paper è che la macchina non ha ‘applicato male’ i nostri concetti di 'attacco' o 'territorio' ma che operi con concetti propri, che appartengono a uno spazio diverso dal nostro.
Il secondo problema è quello dell’astrazione, e riguarda a quale livello di dettaglio dobbiamo guardare per capire davvero cosa fa la macchina. Anche nella nostra quotidianità, quando comunichiamo con qualcuno non ci interessa prendere nota passo passo di ogni suo movimento: quello che vogliamo comprendere sono le sue strategie cognitive generali, il modo in cui ragiona. Lo stesso vale per le macchine: se ci limitiamo a osservare i singoli calcoli - tutti i numeri che la macchina genera per valutare ogni posizione - ci troviamo sommersi da una massa di dati tecnici che non ci dice nulla sulla strategia complessiva. Ma se facciamo il contrario, e diciamo semplicemente “AlphaGo preferisce soluzioni a lungo termine”, otteniamo un’affermazione così generica da essere inutile: non ci aiuta né a prevedere cosa farà la macchina né a controllarla davvero. Dovremmo stare in mezzo, a un livello intermedio che sia abbastanza specifico da essere informativo ma abbastanza generale da essere comprensibile.
In terzo luogo, il problema dei bias di conferma. Come facciamo a evitare, in questa comunicazione così complessa con le macchine, il rischio di vedere solo ciò che il nostro occhio è già pronto e desidera trovare? Ancora il Go: quando vediamo il computer fare una certa mossa, siamo tentati di dire "ha capito il concetto di influenza" oppure "sta applicando il principio dell'equilibrio territoriale". Ma forse il computer sta operando con categorie completamente diverse, che non corrispondono cioè ai nostri concetti di ‘attacco’, ‘difesa’, ‘territorio’, etc.

Di fronte a questi tre ostacoli intrecciati - concettualizzazione diversa, astrazione difficile da calibrare, bias di conferma che non riusciamo a vedere - l’ipotesi formulata dal paper è che sia utile creare neologismi: inventare cioè nuove parole per definire i concetti sui quali lavorano le macchine.
Nel nostro parlato quotidiano, i neologismi svolgono una funzione essenziale: ci permettono di condensare in una sola parola un concetto complesso che altrimenti richiederebbe ogni volta una spiegazione lunga. Pensiamo a un termine come ‘ghosting’: prima che esistesse, per descrivere quel comportamento avremmo dovuto dire "quando qualcuno con cui stai interagendo sparisce improvvisamente senza dare spiegazioni, ignorando i tuoi messaggi come se fossi diventato invisibile". I neologismi in tal senso non sono semplici etichette: sono strumenti cognitivi che ci permettono di pensare e comunicare concetti che altrimenti sarebbe complesso rappresentare.
Applicata alla comunicazione con le macchine, questa stessa funzione risolve anche il problema dell’astrazione in modo naturale. Nelle lingue vive, infatti, sopravvivono solo le parole davvero utili: quelle che trovano il giusto equilibrio, che non sono né troppo specifiche da risultare inutilizzabili né troppo generiche da perdere significato. È una sorta di selezione naturale linguistica che opera automaticamente, senza bisogno di decisioni deliberate su quale livello di astrazione sia quello giusto. Una neologismo che non riuscisse efficacemente a descrivere un processo avrebbe vita breve.
Sul fronte del bias di conferma, infine, la funzione del neologismo è ancora più sottile: dare un’etichetta nuova a una cosa invece di chiamarla con un nome già conosciuto ci obbliga anche materialmente, cioè quando la pronunciamo o la scriviamo, a un cambio di prospettiva; ci spinge cioè a pensarla come qualcosa di nuovo e sconosciuto, invece che come una variante di ciò che già sappiamo.

Riprendo la domanda dalla quale sono partito.
Quando in un prompt chiediamo a un LLM di scrivere un testo con un tono ironico, o di essere prudente nei giudizi o ancora di usare solo termini semplici, come possiamo verificare che le parole ‘ironia’, ‘prudenza’ e ‘semplicità’ significhino per noi e per lui la stessa cosa? La natura ‘conversazionale’ di questo strumento ci facilita il compito perché non ci costringe a usare un linguaggio specialistico; allo stesso tempo però ci riporta al problema (eterno) di ogni conversazione: quando io e un mio interlocutore parliamo e usiamo una certa parola, pensiamo la stessa cosa?
La riflessione che il paper di Hewitt, Geirhos e Kim suggerisce (al di là della efficacia dello strumento-neologismo che propone) è proprio questa: che forse, se l’IA è una nuova specie simbolica, per usarla potrebbe essere necessario inventare una nuova lingua. O quantomeno non dare per scontato che quella che usiamo sia sempre efficace.

🙏 Grazie per aver letto Macchine Pensanti!
❤️ Puoi condividere questo contenuto per farlo conoscere e puoi iscriverti lasciando la tua mail.

Condividi