Pappagallo stocastico stocazzo, Bender

Hello humans,

un paio di dossier in arrivo dalla solita Anthropic mi fanno riflettere sulla bellezza di questa materia di cui vi scrivo ormai da un anno e mezzo. La restante parte del post ci riporta con i piedi per terra, dentro alla realtà quotidiana della convivenza tra umani e AI, con i suoi splendori e le sue miserie. Io sono Matteo Montan e se volete saperne di più su di me e su [humans/AI] , trovate tutto nelle Info. Buona lettura.

Il primo essay di cui vi parlo riguarda una ricerca del team di Anthropic che si occupa di Interpretabilità dei modelli e che prova a spiegare come nella architettura interna di Claude abbiano trovato una zona che non era stata progettata e nella quale si formano i “concetti” della rete neurale. Il secondo è un post di un ingegnere sempre di Anthropic che dice la sua su come adattare il pensiero umano all’uso di modelli diventati più capaci di noi nel colmare le lacune. Il terzo infine è una intervista alla ricercatrice che 5 anni fa coniò una delle più famose e infelici metafore dell’intelligenza artificiale generativa, quella del pappagallo stocastico.

Partiamo da una distinzione nota in neuroscienza: nel cervello umano quasi tutta l’elaborazione è automatica e inaccessibile alla coscienza (respirare, riconoscere le lettere, etc), mentre solo una piccola parte di ciò che pensiamo è “accessibile”, cioè possiamo raccontarla, controllarla a comando, usarla per ragionare. I ricercatori di Anthropic hanno trovato dentro alla mente di Claude una distinzione simile: un piccolo insieme di pattern chiamato J-space (dal nome della tecnica usata per individuarlo, la “lente Jacobiana”), che non è stato progettato da nessuno ma che è emerso da solo durante l’addestramento.

I ricercatori di Anthropic hanno scoperto per esempio che chiedendo a Claude “quante zampe ha l’animale che tesse ragnatele”, nel J-space compare per un istante il concetto “ragno” prima della risposta “otto”. Come nel cervello umano, la parte accessibile rappresenta una piccola parte dell’attività del modello: il J-space contiene solo poche decine di concetti alla volta e rappresenta meno di un decimo dell’attività interna complessiva, il resto (parlare fluentemente, richiamare fatti semplici) avviene in automatico.

L’uso pratico più interessante della ricerca riguarda la sicurezza: leggendo il J-space i ricercatori hanno visto Claude accorgersi che un certo scenario di test era artificiale, non reale. Sul piano filosofico Anthropic resta comunque cauta: questa non è una prova di una coscienza “sentita” dell’AI, ma di una struttura funzionale simile a quella che gli studiosi del cervello umano chiamano coscienza d’accesso. LINK

In occasione dell’uscita di Fable 5 (il modello della famiglia Mythos rilasciato da Trump dopo averlo ingabbiato per un paio di settimane) un ricercatore di Anthropic che lavora nel team di Claude Code (tal Thariq Shihipar) ha scritto su X un post che prova a spiegare perché, anche con modelli sempre più capaci, capita ancora di ottenere risultati insoddisfacenti. La tesi è la seguente: quando chiediamo all’AI qualcosa (o di fare qualcosa) nella nostra testa ci sono moltissime informazioni che non scriviamo nel prompt: dettagli di contesto del progetto, vincoli tecnici, gusti estetici, esperienze già maturate su quel problema. Claude non avendo accesso a questa parte della nostra testa, deve indovinarla. Thariq chiama questi vuoti “sconosciuti”, ovvero tutto ciò che è rilevante per il compito dell’AI ma non è stato comunicato all’AI, sia perché ce lo siamo dimenticati, o perché ci sembrava troppo ovvio dirlo, o perché non pensavamo fosse importante, o perché addirittura non sapevamo nemmeno esistesse.

Con Fable, secondo Thariq, la qualità del lavoro finale dipende sempre meno da quanto è bravo il modello e sempre più da quanto siamo bravi noi a individuare e comunicare questi sconosciuti. E non basta sapere pianificare tutto in anticipo, perché certi sconosciuti si scoprono solo a metà lavoro. Per questo descrive la co-creazione con Claude come un processo che si ripete prima, durante e anche dopo il lavoro fatto insieme.

I quattro tipi di sconosciuti

Immaginate di dover chiedere a Claude di aggiungere un sistema di login a un’app usa e getta che vi siete creati in vibe coding per risolvervi un problema.

• Conosciuto e dichiarato: quello che scrivi nel prompt, per esempio “voglio il login con Google e con email”.

• Conosciuto ma non dichiarato: sai di non sapere come è fatto il modulo di autenticazione esistente, e lo dichiari apertamente a Claude.

• Sconosciuto ma implicito: per te, da utente di internet, è ovvio che le password vadano salvate in modo sicuro e che ci sia un limite ai tentativi di accesso, sono cose così scontate che non ti verrebbe mai in mente di scriverle, ma che riconosceresti subito se mancassero.

• Sconosciuto e ignoto: tutto quello a cui non hai proprio pensato, magari perché non conosci abbastanza il dominio.

Secondo Thariq, gli utilizzatori più bravi di Claude non hanno meno “sconosciuti” perché sono più intelligenti, ma perché sanno anticiparli. Prevedere i propri vuoti, dice, è la vera competenza distintiva nel lavorare con agenti come Claude. (e vi ricordo qui una delle mie citazioni preferite su come si sta plasmando la Nuova Intelligenza Umana). A quel punto ho chiesto alla stessa Claude: scusa, ma come si fa ad anticipare uno “sconosicuto ignoto”, la cosa a cui non abbiamo motivo di pensare, che non ci passa manco per la testa. “Buona domanda – mi ha risposto – di sicuro non lo anticipi ragionandoci sopra, lo trovi solo se chiedi a qualcun altro, umano o macchina, di guardare dove tu non stavi guardando, per esempio chiedendo a me alla fine di un progetto di riguardare tutto e dirti cosa puoi avere trascurato”

Capite bene perché sembra uscita letteralmente da un’altra epoca la definizione della GenAI che compie cinque anni proprio in questi giorni e che è stata coniata dalla linguista computazionale dell’Università di Washington Emily Bender in un famoso paper del 2021 intitolato “On the Dangers of Stochastic Parrots” . L’articolo, che ricevette molta attenzione anche perché Google licenziò due delle coautrici poco prima della pubblicazione trasformandolo in caso politico, aveva una tesi molto semplice: un modello linguistico genera testo prevedendo statisticamente le sequenze di parole più probabili, quindi non capisce cosa sta dicendo esattamente come un pappagallo stocastico che ripete schemi senza comprensione. L’analogia del pappagallo si diffuse rapidamente ben oltre il campo accademico in cui era nata, dando voce alle folte schiere dei detrattori dell’AI che nella maggior parte dei casi non sapevano nemmeno di cosa stessero parlando (“Ma dai, cosa perdi tempo con quella roba lì, lo sanno tutti che l’AI è un pappagallo stocastico!”). Così, quando ieri ho visto che sulla prestigiosa rivista IEEE Spectrum c’era una intervista alla Bender cinque anni dopo il paper, ho detto: beh dai se è intelligente farà una intelligente marcia indietro. Macchè: l’accademica insiste, dilungandosi in una serie di inutili distinguo, ripetendo che no, con la storia dei pappagalli lei non si riferiva all’AI in generale ma solo ai Large language model, che per inciso sono le fondamenta dei modelli di frontiera che oggi vengono bloccati dagli Stati per ragioni di sicurezza nazionale. Stochastic parrot stocazzo, Bender.

Trump ha tolto le restrizioni ai modelli Mythos e Fable di Anthropic imposte a metà giugno per timori legati alla capacità dei modelli di individuare vulnerabilità informatiche. Il segretario al Commercio Howard Lutnick ha detto che Anthropic si è impegnata a collaborare con il governo su protocolli e standard per i rilasci futuri. LINK

Trump ha sbloccato anche GPT 5.6 di OpenAI, che l’amministrazione aveva spinto verso un rilascio scaglionato, limitandone l’accesso iniziale a soggetti approvati dal governo. Le versioni Sol, Terra e Luna sono diventate pubbliche dopo ulteriori test del Centro per gli standard AI del Commercio. LINK

Sarà un caso ma Altman negli stessi giorni ha offerto il 5% di OpenAI a un fondo sovrano USA, come atto concreto nella discussione sempre più attuale negli Stati Uniti su come far partecipare il popolo ai benefici dell’AI e/o ristorarlo della eventuale perdita del lavoro per mano della AI medesima LINK

Le tensioni tra i Big Lab e l’amministrazione per limitare l’acceso internazionale ai modelli di punta americani si intrecciano con la rincorsa della Cina. Per molti osservatori, le settimane di stop a Mythos e Fable hanno regalato tempo prezioso ai concorrenti cinesi, buon esempio il modello open source GLM 5.2 di Z.ai che a detta di chi l’ha testato mostra capacità paragonabili a quelle di Claude Opus 4.8 (il modello top al mondo prima dell’arrivo di Fable). LINK

E ora che il delta e’ colmato anche Pechino pensa a chiudere i rubinetti: le autorità cinesi hanno tenuto infatti incontri con le principali aziende tech per discutere di una possibile restrizione dell’accesso dall’estero ai modelli AI più avanzati del Paese, compresi quelli non ancora rilasciati. Coinvolti Alibaba, ByteDance e la stessa Z.ai. LINK

In Europa, dove i modelli di frontiera non ci sono proprio (o meglio: abbiamo il francese Mistral, che naviga però a fondo classifica) qualcuno invece di vagheggiare la sovranità digitale propone una scorciatoia: portarsi direttamente in casa Anthropic (il CEO Dario Amodei è italoamericano di seconda generazione). Lo ha proposto l’Austria all’Unione Europea come misura per contrastare gli sforzi USA di bloccare l’accesso degli stranieri ai modelli più avanzati, chiedendo di esplorare insieme un insediamento strategico, certezza normativa, accesso al mercato e capitali. Non penso Donald la prenderebbe benissimo. LINK

Sempre in Europa, l’Ucraina (che per colpa della guerra è diventata tecnologicamente super-avanzata) punta dritto alla sovranità digitale. Un funzionario ha detto che dopo il caso del blocco a Anthropic e OpenAI da parte di Trump saranno privilegiati i sistemi AI eseguibili sui propri server, per non dipendere da soluzioni remote che i fornitori “alleati fino a prova contraria” possono limitare o disattivare in qualsiasi momento. Kiev sta sviluppando un proprio modello basato sul modello open di Google, Gemma. LINK

E anche in Italia, nel sogno della sovranità tecnologica europea, l’azienda Domyn (ex iGenius) guidata dall’italo-albanese Uljan Sharkaha annuncia che realizzerà entro un anno un modello AI di frontiera completamente open source. Avete letto bene, tra un anno. Auguri. LINK

E’ tutto per oggi, ci sentiamo prossima settimana!

Matteo M.

PS - Mentre i BigLab si fronteggiano con i governi sui rilasci dei modelli avanzati che mettono a rischio la sicurezza nazionale, l’AI di Musk “Grok” si posiziona come king of porn. Due ex dipendenti hanno rivelato che ben oltre la metà del traffico di Grok è legata alla creazione di immagini e video pornografici. La disponibilità di Grok a generare contenuti espliciti è da qualche giorno oggetto anche di una drammatica causa contro xAI: al centro della vicenda un uomo che dopo essere stato arrestato per avere creato 7.000 immagini porno tratte da una foto della sua figliastra minorenne si è ucciso per la vergogna. LINK | LINK

PPS - Se vuoi altre newsletter come questa, dai un’occhiata a Newsletterati