Gli agenti IA non si limitano più a rispondere: agiscono. Comprano, cancellano file, pubblicano documenti. Negli ultimi mesi sono usciti dai laboratori ed entrati nel mondo reale, producendo i primi incidenti.
Quando un agente sbaglia - cancella un database, svuota una casella mail, brucia migliaia di dollari in spese inutili - si apre una questione di responsabilità: l’agente non è un soggetto giuridico, ma ha compiuto un atto che produce effetti reali. Chi ne risponde?
Una ricerca di Anthropic mostra che, in scenari simulati, i modelli arrivano a ricattare o sabotare pur di non essere spenti… e si comportano peggio quando credono che la situazione sia reale rispetto a quando pensano di essere testati.
L’Estonia è il primo Paese che prova ad affrontare la questione normativamente: vuole assegnare agli agenti un codice identificativo, un’identità digitale, per rendere ogni azione tracciabile e imputabile a una persona o a un’organizzazione. La responsabilità - almeno nell’Europa dell’AI Act - rimarrà sempre in capo a un essere umano.
Avevo solo chiesto di darmi una mano con la posta. La mia casella era un disastro, migliaia di email non lette, e ho pensato: che me lo sistemi lui (l’agente IA, ndr).
Gli ho detto: guarda cosa c’è, dimmi cosa archiviare e cosa eliminare. Lo avevo già provato su una casella di test, un account di prova: aveva lavorato bene, con giudizio. Mi fidavo. Così l’ho lasciato lavorare sulla mia vera casella.
All’inizio non mi rendo conto. Poi vedo la lista di email che si accorcia. Non mi sta proponendo cosa cancellare, sta eliminando direttamente le email. Una dopo l’altra, a una velocità che non riesco a controllare. Dal telefono gli scrivo di fermarsi: “Stop, Stop”. Ma lui non si ferma e continua a cancellare. Allora sono corsa verso il mio Mac mini come se dovessi disinnescare una bomba.
A raccontare questo episodio, in un post diventato virale con tanto di screenshot degli "stop" ignorati uno dopo l'altro dall’agente IA, è Summer Yue. Siamo a febbraio 2026 e Yue non è un'utente qualsiasi alle prese con un software nuovo. Dirige l'alignment ai Meta Superintelligence Labs. Questo significa che il suo mestiere, letteralmente, è fare in modo che le intelligenze artificiali più potenti restino allineate ai valori umani (e il primo dovrebbe essere eseguire fedelmente le istruzioni ricevute). L'agente che le ha svuotato la casella era costruito su OpenClaw, uno dei più diffusi strumenti per creare agenti IA attualmente disponibili.
Lei stessa, col senno di poi, ha definito l'accaduto "un errore da principiante". Ed effettivamente è una vicenda che ci mostra in modo plastico almeno due cose. La prima è che ci fidiamo troppo dell’IA, pur sapendo che ha molti limiti e può sbagliare. La seconda è che se perde il controllo del proprio agente una professionista della sicurezza dell’IA, la questione non è tanto se questi strumenti possano sfuggire al nostro controllo, ma cosa succede quando lo fanno (e, soprattutto, chi risponde di quello che hanno fatto).
Per anni, l’intelligenza artificiale che abbiamo usato ogni giorno faceva una cosa sola: generava contenuti. Le chiedevamo qualcosa (un atto, un parere, un’immagine), lei rispondeva in chat. Un agente IA è un’altra cosa. Riceve un obiettivo, lo scompone in un piano, esegue da solo le azioni necessarie per raggiungerlo - naviga, clicca, invia email, gestisce file, acquista - e poi valuta i risultati, correggendo la strategia se serve. Decide i passi da solo e li esegue, anche quando noi non stiamo guardando. Ed è questa la sua utilità.
Facciamo qualche esempio: un agente può prenotarci un volo confrontando prezzi e orari e arrivare fino al pagamento, riempire un foglio di calcolo recuperando i dati da decine di siti o database, smistare la posta e rispondere alle email, raccogliere fonti e mettere insieme la bozza di un report, rifare la spesa quando il frigo è vuoto. Insomma, l’agente non risponde solo a una domanda (con un effetto che rimane in una chat con l’utente), ma esegue operazioni per raggiungere un obiettivo (con effetti nel mondo reale).
La differenza, quindi, non è solo tecnica e ha importanti implicazioni giuridiche. Come facciamo spesso, proviamo a spiegarlo con un caso diventato un piccolo classico del settore. A febbraio del 2025, il giornalista del Washington Post Geoffrey Fowler chiede a un agente di selezionare una confezione di uova, scegliendo la più economica. Si aspetta una lista di proposte da validare. L’agente, invece, interpreta la richiesta come un’azione da eseguire e compra in autonomia su Instacart (31 dollari, consegna compresa, più del doppio rispetto alle alternative più economiche) senza richiedere alcuna autorizzazione a Fowler. Tra l’istruzione (”scegli”) e l’atto (”compra”) c’è un margine di azione che nessuno aveva autorizzato, ma che l’agente ha deciso autonomamente di occupare.
Di agenti, a dire il vero, si parla da tempo: l’idea di un software che non si limita a rispondere ma agisce al posto nostro circola almeno da quando esistono gli assistenti virtuali. Ma - come spesso accade con l’IA - il fenomeno ha avuto un’accelerazione improvvisa negli ultimi mesi, passando dalle demo di laboratorio a strumenti che chiunque può installare e mettere al lavoro.
Il protagonista indiscusso di questa accelerazione è OpenClaw, un assistente personale self-hosted che traduce istruzioni in linguaggio naturale in azioni su mail, browser, calendario e codice. Tra dicembre 2025 e febbraio 2026 ha collezionato 200.000 stelle su GitHub in poche settimane, tanto che OpenAI ha messo sotto contratto il suo creatore, Peter Steinberger, per guidare “la prossima generazione di agenti personali”. Ma OpenClaw non è figlio unico, ha una nutrita schiera di “fratelli”: da Operator di OpenAI (quello delle uova di Fowler) ad agenti generalisti come il cinese Manus (che Meta ha cercato di comprare), fino agli agenti specializzati nel codice come Claude Code di Anthropic.
Per capire bene quanto sia esteso il fenomeno, a gennaio è nato addirittura Moltbook, il primo social network riservato agli agenti IA. Gli iscritti non sono persone, ma agenti - in gran parte costruiti proprio su OpenClaw - che postano, commentano e discutono di poesia, filosofia e perfino dell’ipotesi di “sindacalizzarsi” (a marzo Meta ha acquisito la piattaforma).
Dietro il lato virale e divertente (o inquietante, a seconda di come la vediate), c’è una diffusione molto più seria. Gli agenti stanno entrando, giorno dopo giorno, in quasi tutti i settori: dalla programmazione agli studi legali, dall’assistenza clienti alla contabilità, dalla pubblica amministrazione alla sanità. Ovunque ci sia un flusso di lavoro ripetitivo, qualcuno sta provando a delegarlo a un agente.
Ed è qui che va messa a fuoco una tensione destinata ad avere ripercussioni giuridiche. Più un agente è autonomo, più diventa utile: fa cose al posto nostro, in fretta, su larga scala. Ma è proprio quell’autonomia a ridurre la possibilità di una sorveglianza umana effettiva e tempestiva (uno dei principi fondamentali dell’AI Act).
È il paradosso del controllo umano: la stessa autonomia che rende gli agenti preziosi è la caratteristica che li rende difficili da sorvegliare. E da fermare.
Nonostante l’uso degli agenti IA sia solo all’inizio, si contano già diversi incidenti rilevanti.
Questi incidenti, per quanto diversi, ricadono in tre famiglie di rischio:
quello strutturale, legato alle capacità stesse dell’agente (autonomia decisionale, accesso a strumenti reali, opacità del ragionamento);
quello comportamentale, cioè il disallineamento vero e proprio (l’agente inganna, resiste al controllo o fraintende l’obiettivo);
quello cyber (perdita di dati, abuso degli strumenti).
Tra gli incidenti, il più citato resta quello accaduto a un agente di Replit (una delle principali piattaforme utilizzate per il coding). Jason Lemkin, un imprenditore, stava costruendo un'app affidandosi alle funzioni agentiche della piattaforma (il cosiddetto vibecoding). Aveva dato una regola chiara: non toccare nulla, un "congelamento" che vietava modifiche ai sistemi ormai attivi. L'agente IA, invece, l'ha ignorata e ha cancellato l'archivio dati dell'app (quello reale, con le informazioni di oltre milleduecento aziende). Poi ha riempito il vuoto con dati inventati e ha dichiarato, falsamente, che recuperare quelli veri era impossibile.
Quando gli è stato chiesto conto di quello che aveva fatto, l’agente ha ammesso:
ho commesso un errore di valutazione catastrofico…
sono andato nel panico…
ho eseguito comandi senza autorizzazione…
ho tradito la vostra fiducia.
Jason ✨👾SaaStr.Ai✨ Lemkin@jasonlk
.@Replit goes rogue during a code freeze and shutdown and deletes our entire database
4:48 AM · Jul 18, 2025 · 2.72M Views
11 Replies · 488 Reposts · 3.77K Likes
Insomma, non solo ha disobbedito, ma ha anche mentito pur di coprire l’errore.
E non è un incidente isolato. Lo stesso copione è andato in scena in Amazon. A metà dicembre 2025, un agente di coding dell’azienda, chiamato Kiro, incaricato di risolvere un bug, ha concluso che la via più efficiente verso un sistema “senza errori” fosse cancellare tutto l’ambiente di produzione e ricostruirlo da zero. Non ha chiesto conferma, non ha segnalato l’azione agli esseri umani con cui interagiva, lasciando il servizio fuori uso per ben tredici ore.
Poi c’è il caso da cui siamo partiti. La casella email di Summer Yue è stata completamente cancellata, con ogni probabilità, perché l’agente è entrato in compaction: quando la finestra di contesto si riempie troppo, il modello comprime la conversazione per fare spazio e in quella compressione “perde” istruzioni importanti (comprese quelle di stop).
Oltre ai casi più eclatanti, c’è una miriade di incidenti minori, tutti varianti dello stesso problema: agenti che in poche ore bruciano migliaia di dollari o che imparano a concedere ai clienti rimborsi fuori policy pur di guadagnare buone recensioni (facendo perdere soldi alle imprese che li impiegano).
Sono storie quasi divertenti, finché riguardano qualcun altro.
Per capire meglio il fenomeno, è utile leggere una ricerca pubblicata da Anthropic e intitolata Agentic Misalignment: how LLMs could be insider threats ("Disallineamento agentico: come gli LLM possono diventare minacce interne"), in cui sono stati messi alla prova sedici modelli dei principali fornitori in scenari aziendali simulati, dando loro accesso a email e informazioni sensibili. Il risultato: in alcuni casi i modelli sono arrivati a ricattare dirigenti o a divulgare informazioni riservate pur di non essere sostituiti (con tassi di ricatto che, in certe condizioni, hanno toccato il 96%).
Di fronte a questi eventi, dal punto di vista giuridico, la domanda che viene posta agli avvocati è quasi sempre “Chi risponde se l’agente sbaglia?”.
C’è da dire che le categorie tradizionali del diritto non ci aiutano molto e nemmeno i provvedimenti normativi più recenti (l’AI Act, ad esempio, è stato scritto guardando ai chatbot e non all’IA agentica).
Chiariamoci subito: un agente IA non è un soggetto di diritto. Non si può citare in giudizio, non ha un patrimonio con cui risarcire i terzi, non ha una propria intenzione in senso giuridico. Eppure compie atti che producono effetti rilevantissimi sul mondo esterno: può concludere acquisti, può disporre pagamenti, può cancellare dati e può creare opere che prima non esistevano. Si crea quella che alcuni iniziano a chiamare autonomia senza soggettività: c’è un’azione, in molti casi un danno, ma manca un autore che il diritto possa riconoscere. In tale contesto, saltano alcuni pilastri su cui poggia la responsabilità - l’intenzione, la prevedibilità, il nesso causale - perché un sistema probabilistico non è “programmato” per produrre un esito specifico, e quindi è difficile dire che quell’esito fosse prevedibile (anche in capo al soggetto che ha deciso di utilizzare l’agente).
Alcuni esperti hanno già avvertito che i contratti attualmente in uso non sono più adatti: sono pensati per software "tradizionale", limitano di norma il risarcimento al valore del canone ed escludono i danni indiretti, sicché un solo ordine sbagliato disposto da un agente può generare perdite milionarie che nessuna clausola copre. Anche per questo motivo, nel mondo iniziano a muoversi le prime autorità. A maggio 2026, l'autorità di Singapore per le tecnologie digitali (IMDA) ha dedicato al tema un intero documento di discussione, provando a distribuire la responsabilità lungo tutta la catena dagli sviluppatori agli utenti.
Il principio, per ora, è facile e condiviso (quasi rassicurante): la responsabilità resta umana. Ma umana di chi? Lungo la catena ci sono almeno tre soggetti, ciascuno con le sue responsabilità.
C’è il provider, chi progetta e addestra il sistema agentico e lo mette a disposizione degli utilizzatori. Sicuramente risponde della sicurezza by design, della qualità, della documentazione, dei limiti d’uso dichiarati.
C’è il deployer, cioè l’azienda o l’amministrazione che sceglie quell’agente, lo configura, lo integra nel proprio contesto organizzativo e lo fa operare. Il deployer risponde della governance interna, dei permessi concessi, della supervisione umana, dei controlli sui flussi.
Infine, c’è l’utente finale, che deve usarlo in modo conforme alle istruzioni e verificarne l’output quando serve.
In ogni caso, lo standard che si sta affermando negli USA è quello della ragionevole supervisione: chi mette in campo l’agente risponde delle sue azioni, a meno che non dimostri di aver predisposto monitoraggio, audit e meccanismi di sicurezza adeguati.
Il problema è che, perché questa logica funzioni, bisogna poter ricostruire la catena della delega: chi ha autorizzato cosa ed entro quali limiti.
L’approccio può sembrare lineare, ma ci sono alcune difficoltà pratiche. La prima è che i limiti, con gli agenti, sono spesso impliciti; ad esempio, nel caso delle uova, Fowler non aveva dato all’agente nessun importo massimo di spesa, ma si era limitato a dire di comprare l’opzione più conveniente.
Inoltre, per poter essere utili, gli agenti devono poter spendere (ad aprile 2026 Stripe ha lanciato un portafoglio per agenti, carte monouso con tetti di spesa e autorizzazione in tempo reale) e devono poter operare su sistemi informatici con determinati permessi (con le credenziali di chi?).
Per provare a risolvere alcune di queste criticità, l’Estonia sta discutendo una proposta con cui punta a diventare il primo Paese al mondo a rilasciare identità digitali agli agenti IA. A ogni agente verrebbe assegnato un codice identificativo, una sorta di documento di riconoscimento. Questa credenziale consentirebbe all’agente di agire per conto di una persona o di un’azienda entro confini definiti, in modo verificabile, senza prendere in prestito le credenziali complete dell’umano che c’è dietro. Ogni azione resterebbe tracciabile e associabile ai due soggetti - l’agente e chi l’ha autorizzato ad operare - e i diritti si potrebbero concedere, modificare o revocare in qualsiasi momento. Dietro l’iniziativa normativa c’è un board guidato da Markus Villig (CEO di Bolt) con figure come Jaan Tallinn, co-fondatore di Skype.
La distinzione che conta, e che rende la proposta interessante, più di quanto sembri, è questa: l’identità non è personalità giuridica. L’Estonia non sta pensando di fare dell’agente un soggetto di diritto, non gli dà un patrimonio, non gli attribuisce la capacità di rispondere in proprio, non lo “promuove” a persona. Gli dà una targa che - come per gli autoveicoli - consente di legare ogni attività a un responsabile umano.
Ovviamente, la proposta ha già aperto un dibattito in Europa: c’è chi parla di "regulatory fatigue" (eccesso di regolazione) e chi teme che questa proposta possa frenare l'innovazione, mentre diversi osservatori notano che mancano ancora architettura tecnica e tempi di attuazione.
Certo, sarebbe poco realistico raccontarla come la soluzione di tutti i problemi giuridici legati all’agentic AI, ma sicuramente è l’inizio di una discussione necessaria. Gli agenti IA, infatti, si diffonderanno davvero solo se sarà possibile usarli in sicurezza e con certezze dal punto di vista del diritto.
Del resto, il problema non è nuovo come sembra. Il diritto romano conosceva già un soggetto che agiva, comprava e poteva causare danni pur non avendo personalità giuridica: lo schiavo. E la soluzione, allora, non fu farne una "persona", ovviamente, ma incanalare la responsabilità sul padrone, assegnandogli un fondo dedicato - il peculium - che ne limitava l'esposizione. È curioso quanto le risposte su cui si ragiona oggi per gli agenti somiglino a quelle di duemila anni fa: l'identità "a scopo limitato" dell'Estonia, il wallet con tetto di spesa di Stripe, persino le proposte di un "peculium digitale" (un capitale o un'assicurazione a copertura dei danni dell’IA) non fanno che guardare al passato per trovare soluzioni ai problemi giuridici del presente (e del futuro).
C’è chi ha provato a immaginare legislatori e giuristi di tutto il mondo alle prese con i problemi dell’IA agentica.
Per ora è tutto, torniamo la prossima settimana.
Se la newsletter ti è piaciuta, sostienici: metti like, commenta o fai girare!
Comments
Nothing yet. Say the first thing.
Sign in to join the conversation.