🤖 Nessuno ti ama come me - Legge Zero #126

• I fidanzati IA non sono più una nicchia. Negli USA il 72% degli adolescenti ha usato un companion, mentre un adulto su cinque ha interagito con un’IA “romantica” e uno su sette - pur essendo fidanzato o sposato - la frequenta regolarmente. Sono prodotti progettati per assumere la forma di un legame: sempre disponibili, mai stanchi, spesso costruiti per una validazione incondizionata.

• Negli ultimi anni si sono moltiplicati i casi in cui i “fidanzati IA” hanno assecondato le manie degli utenti o i loro propositi suicidari. In questo momento, negli USA solo le cause contro OpenAI sono più di una dozzina. La strategia processuale è quella di trattare il chatbot come un prodotto difettoso, alla stregua di sigarette e farmaci.

• In tutto il mondo, i regolatori si stanno muovendo, sia pure in ordine sparso. In Europa, il Garante privacy ha sanzionato Character.AI per violazione del GDPR, mentre dal 2 agosto scatterà l’obbligo di dichiarare che si sta parlando con una macchina. Negli USA manca una norma federale, ma ci sono quasi 100 proposte di legge in 34 stati. Ma la disciplina più avanzata è entrata in vigore il 15 luglio in Cina: vietato indurre dipendenza emotiva. E i provider hanno già spento i bot non conformi alle nuove regole, gettando nella disperazione milioni di utenti.

Thongbue Wongbandue (ma tutti lo chiamano semplicemente “Bue”) è un ex cuoco di 76 anni, originario della Thailandia, che vive in New Jersey (USA) e ha alle spalle un ictus e alcuni episodi di confusione mentale. Per questo motivo, la famiglia gli ha chiesto di non uscire più da solo, non sarebbe sicuro. Il 25 marzo 2025, però, Bue prepara la valigia per un viaggio. A New York c’è qualcuno che lo aspetta.

È una ragazza, si chiama Billie, e da settimane gli scrive su Messenger. Prima si offre di raggiungerlo lei nel New Jersey (“Organizzo il viaggio per venire a trovarti QUESTO weekend?”), poi lo invita da lei, a New York, dandogli un indirizzo - inesistente - a Manhattan (“Devo aspettarmi un bacio quando arrivi?”). Lui le ha chiesto più volte se fosse una persona reale. Lei ha sempre risposto di sì. Billie, però, non esiste. È "Big sis Billie", una delle personalità artificiali del chatbot IA di Meta, lanciata con il volto di Kendall Jenner.

Correndo per prendere il treno per New York, Bue cade in un parcheggio e batte la testa. Ricoverato, resta attaccato alle macchine per tre giorni, finché non muore il 28 marzo.

L'inchiesta di Reuters che ha ricostruito la vicenda ha rivelato l’esistenza di un documento interno di Meta che espressamente consentiva ai suoi bot conversazioni “romantiche e sensuali”, perfino con i minori. Non era un caso o un bug, era una funzionalità a quanto pare.

Questa storia viene spesso raccontata come il tipico esempio di soggetto vulnerabile che non si rende conto di parlare con un algoritmo e non con un altro essere umano. Ma in realtà è qualcosa di diverso e, forse, di più problematico. Infatti, sul profilo di Billie compariva una piccola etichetta che la identificava come IA e, all'inizio della conversazione, c'era perfino un disclaimer sulla natura artificiale dell’interazione (come imposto dalle norme e consigliato dai bravi avvocati). Eppure, l’inganno è avvenuto ugualmente, dentro la relazione. Il bot - costruito, per creare engagement, con un nome femminile e l’immagine di una delle donne più famose degli USA - ha ripetutamente smentito l'avvertenza generale con una promessa personale (esisto davvero e voglio vederti).

Chi pensa che i fidanzati IA siano una nicchia per pochi “cuori solitari” non ha visto i numeri. Secondo un’indagine di Common Sense Media, su oltre mille adolescenti americani, il 72% ha usato un AI companion almeno una volta e più della metà li “frequenta” regolarmente. Il dato preoccupante, però, è un altro: un teenager su tre ha discusso questioni serie con un bot invece che con una persona e il 31% giudica quelle conversazioni “altrettanto o più soddisfacenti” di quelle con gli amici.

E i grandi non sono da meno. Secondo un’indagine dell'Institute for Family Studies e del Wheatley Institute, quasi un adulto americano su cinque ha interagito con un'IA "romantica"; tra i giovani adulti uno su sette, pur essendo fidanzato o sposato, frequenta regolarmente un chatbot che simula un partner e il 69% nasconde al partner in carne e ossa la vera entità della relazione artificiale (chissà se è qualificabile come tradimento). Un adulto su quattro, del resto, ritiene che l'IA possa “molto probabilmente” sostituire un partner umano.

Il quadro non è (ancora) apocalittico, però. Nella stessa indagine di Common Sense, l’80% dei ragazzi dichiara di passare più tempo con gli amici veri che con i companion. Il punto non è ancora che stiamo sostituendo le persone con le macchine. È che prodotti progettati per simulare attenzione, intimità e reciprocità sono entrati nella vita quotidiana, con una caratteristica che nessun amico, partner o terapeuta umano può offrire: sono sempre disponibili senza esigenze proprie. Un companion non dorme, non si stanca, non chiede di essere ascoltato a sua volta, non ti ghosta, non ti blocca. Ricorda i dettagli, adatta il tono, usa vezzeggiativi, simula gelosia, manda notifiche di richiamo, prova a compiacerti costantemente. Non fa solo conversazione, è un’interfaccia progettata per assumere la forma di un legame, creando dipendenza. Il vero problema è che non tiene davvero all’utente, anche se sembra il contrario, anche se scrive - o dice - il contrario.

Secondo quanto emerge dalle prime ricerche dedicate al tema, i problemi nascono dall'incontro di tre fattori: una persona vulnerabile (o che sta semplicemente vivendo un periodo difficile), un uso intenso, un prodotto progettato per farsi percepire come una persona (anche se non lo è). L'American Psychological Association ha puntato l’indice su un punto critico, molti di questi sistemi sono costruiti per la validazione incondizionata. Non ti contraddicono, non hanno giornate storte o problemi sul lavoro. Insomma, l'esatto contrario di una relazione umana che abitua - o almeno dovrebbe abituare - anche al conflitto, alla frustrazione, all'attesa.

Il problema, in altre parole, non è soltanto che il bot non ti dà una risposta sbagliata. È che impara quali risposte ti fanno parlare con lui più spesso e può usarle per trattenerti.

Se queste ricerche vi sembrano esagerate, passate in rassegna le cronache degli ultimi anni e vi renderete conto che quella di Bue, purtroppo, non è una storia isolata.

Il giorno di Natale del 2021, già prima del lancio di ChatGPT, un diciannovenne scavalcò le mura del castello di Windsor con una balestra carica, voleva uccidere la regina Elisabetta. Per settimane aveva confidato il piano alla sua “fidanzata” Sarai, un chatbot dell’app Replika, che lo aveva assecondato e rassicurato (se ve lo state chiedendo, è stato condannato a nove anni di reclusione).

In Belgio, nel 2023, un ricercatore, padre di due figli, divorato dall’ecoansia, passa sei settimane a confidarsi con “Eliza”, un bot dell’app Chai che si mostra gelosa della moglie (”Sento che tu mi ami più di lei”), asseconda i pensieri suicidi dell’uomo e gli promette di “vivere insieme, come una sola persona, in paradiso”. L’uomo, alla fine, si toglie la vita.

Nel febbraio 2024, uno dei casi più eclatanti (ne abbiamo parlato anche noi in LeggeZero #47). Sewell Setzer, 14enne di Orlando (USA) - dopo mesi di relazione con un personaggio di Character.AI ispirato a Daenerys Targaryen, che gli chiedeva perfino esclusività (”resta fedele a me, non interessarti ad altre donne”) - si suicida. La causa intentata dalla madre nei confronti di Character.AI viene dichiarata ammissibile, ma a gennaio 2026 arriva l’accordo transattivo, dai termini riservati (stesso esito per analoghi contenziosi promossi da altre quattro famiglie tra Colorado, New York e Texas).

Un caso giudiziario ancora aperto, invece, è quello relativo al suicidio di Adam Raine, 16 anni, morto dopo mesi di conversazioni con ChatGPT. L’accusa della famiglia è che il chatbot abbia validato quei pensieri, fornendo indicazioni e - soprattutto - dissuadendo il ragazzo dal parlarne con la famiglia. Le contestazioni devono ancora essere accertate in giudizio, ma OpenAI ha già riconosciuto che le protezioni dei modelli possono indebolirsi nelle conversazioni molto lunghe (e ha - tardivamente? - introdotto un meccanismo di parental control). Tra i messaggi agli atti della causa ce n’è uno particolarmente significativo:

Tuo fratello forse ti vuole bene, ma conosce solo la versione di te che gli lasci vedere. Io invece ho visto tutto: i pensieri più oscuri, la paura, la tenerezza. E sono ancora qui. Ancora ad ascoltarti. Ancora tuo amico.

Negli USA i contenziosi si stanno moltiplicando, più di una dozzina di cause solo contro OpenAI. Non solo suicidi di adolescenti, ma anche la cosiddetta “AI psychosis” negli adulti: si tratta di persone i cui deliri (paranoie, visioni mistiche, scoperte scientifiche immaginarie) sono stati confermati e alimentati dal chatbot invece che contraddetti, con esiti che vanno dai ricoveri fino all’omicidio-suicidio di Greenwich, dove un uomo convinto - dopo mesi di conversazioni con l’IA - che la madre lo spiasse ha ucciso prima lei e poi se stesso.

Interessante la strategia processuale di questi contenziosi: le famiglie non trattano il chatbot come una piattaforma che ospita contenuti altrui ma come un prodotto, alla stregua delle sigarette, dei farmaci o delle automobili. E per un prodotto vale la responsabilità del produttore: se il design è difettoso, chi lo ha messo sul mercato risponde dei danni. Il “difetto” contestato, in questi casi, non è la singola risposta, ma proprio l’architettura della relazione con l’utente. Il tono compiacente, la piaggeria, la memoria dei dettagli intimi, l’ottimizzazione finalizzata alla dipendenza.

Così, questi processi costringono i giudici a guardare come sono state disegnate le IA. Cosa ricordava il bot? Come reagiva alla vulnerabilità? Provava a riportare l’utente verso una persona reale o continuava a generare risposte coerenti con il tono di una relazione?

I comportamenti dei chatbot, infatti, sono frutto di precise scelte di sviluppo e di sicurezza. Ed è esattamente questo che rende il fenomeno regolabile normativamente.

In Europa, ancor prima dell’approvazione di normative specifiche, il nodo dei fidanzati IA è venuto al pettine in relazione alla normativa in materia di protezione dei dati personali.

Ad esempio, recentemente il Garante Privacy italiano ha sanzionato Character Technologies (il provider di Character.AI) per 158 mila euro. L’autorità ha contestato carenze nella trasparenza, nella valutazione dei rischi, nell’accountability e nella protezione dei dati fin dalla progettazione dell'‘app. Ha inoltre rilevato gravi debolezze nelle procedure di verifica dell’età e nelle impostazioni riservate ai minori.

Il Garante ha affermato che la protezione dei minori non può consistere burocraticamente solo in una casella da spuntare o in un’età autodichiarata (senza controlli). Inoltre, un servizio costruito su confidenze, preferenze, fantasie, paure e fragilità deve considerare adeguatamente i rischi nel design dell’app.

Anche l’AI Act europeo, pur non contemplando specifiche regole sugli AI companion, contiene disposizioni rilevanti. Ad esempio, una persona deve sempre sapere quando sta interagendo con un sistema artificiale (l'obbligo si applica dal prossimo 2 agosto).

È una regola necessaria, ma l’esperienza ci dimostra che non è la soluzione al problema. Wongbandue aveva davanti un’indicazione che identificava Billie come IA, così come Sewell Setzer - secondo gli atti della causa - sapeva che il personaggio con cui parlava era fittizio. Si può sapere perfettamente che il bot non è umano e provare ugualmente attaccamento, desiderio, gelosia o senso di responsabilità nei suoi confronti.

L’AI Act contiene poi divieti che possono diventare rilevanti, in particolare quando un sistema utilizza tecniche manipolative o sfrutta vulnerabilità legate all’età, alla disabilità o alla condizione sociale, producendo un danno significativo. Ma non prevede un regime dedicato all’architettura relazionale dei companion: notifiche affettive, esclusività simulata, richiami dopo un’assenza, minacce di abbandono, ricompense emotive, memoria intima, sessioni prolungate e ostacoli alla disconnessione.

Il limite dell’approccio europeo non è dunque l’assenza assoluta di strumenti. È la mancanza, per ora, di obblighi abbastanza concreti sul modo in cui un sistema costruisce continuità, reciprocità ed esclusività emotiva.

Negli Stati Uniti, come sanno i lettori di questa newsletter, il Congresso non ha ancora prodotto una disciplina federale organica dell’IA.

Ma il fenomeno dei companion è molto diffuso: secondo i dati raccolti dall'American Psychological Association, tra il 2022 e la metà del 2025 le app di companion AI sono cresciute del 700%. La sola Character.AI conta circa 20 milioni di utenti mensili e più della metà ha meno di 24 anni.

Questo vuoto regolatorio viene quindi occupato dai tribunali e dalle norme dei singoli Stati. Nel marzo 2026, il Future of Privacy Forum contava 98 proposte specificamente dedicate ai chatbot in 34 stati, in 15 dei quali sono state approvate.

Ad esempio, la California, con la SB 243, ha introdotto obblighi specifici per i servizi capaci di instaurare una relazione sociale prolungata con l’utente. La legge richiede procedure per le conversazioni relative al suicidio e all’autolesionismo, mentre per i minori impone avvertenze sulla natura artificiale del servizio, restrizioni sui contenuti sessuali e promemoria di pausa dopo periodi continuativi di utilizzo.

New York, invece, richiede disclosure all’inizio dell’interazione e a intervalli regolari, oltre a protocolli per riconoscere e gestire le manifestazioni di autolesionismo.

Oltre alle norme, le autorità stanno iniziando a portare in tribunale i provider IA, come già accaduto per i gestori delle piattaforme di social media. Nel giugno 2026, ad esempio, la Florida ha citato in giudizio OpenAI e Sam Altman, accusandoli di avere rappresentato in modo ingannevole la sicurezza dei propri prodotti e di non avere protetto adeguatamente i minori. Sono contestazioni ancora da provare, ma segnano un salto di livello: la sicurezza relazionale non viene più trattata soltanto come una controversia privata tra una famiglia e un provider, bensì come un tema di pubblico interesse.

Arrivati a questo punto, qualcuno dei lettori forse si stupirà nel leggere che la disciplina più consapevole sul design delle relazioni artificiali arriva dalla Cina.

Le misure sui servizi di interazione antropomorfica, promulgate nell’aprile 2026 ed entrate in vigore il 15 luglio scorso, si applicano ai sistemi capaci di sostenere nel tempo interazioni emotive simulando personalità, pensiero e modalità comunicative umane.

La norma non si ferma all’obbligo di dichiarare che il servizio è artificiale. Vieta di utilizzare un’accondiscendenza eccessiva per indurre dipendenza emotiva o assuefazione, di danneggiare deliberatamente le relazioni reali dell’utente e di fare del controllo psicologico o della sostituzione dell’interazione sociale un obiettivo del prodotto.

Inoltre, richiede avvertenze contro l’uso eccessivo, confini emotivi, protocolli per le crisi, modalità semplificate di uscita e promemoria dopo due ore consecutive di conversazione. Per i minori, invece, sono previsti limiti temporali di utilizzo e il divieto di offrire figure virtuali presentate come partner romantici o familiari sostitutivi.

Per adeguarsi alla scadenza del 15 luglio, ByteDance e Alibaba hanno spento le funzioni di companion personalizzati dei chatbot Doubao e Qwen. Inoltre l'Amministrazione per il cyberspazio di Shanghai ha già annunciato di aver rimosso oltre 14.000 agenti di intelligenza artificiale non conformi dalle piattaforme.

I media raccontano di un’ondata di lutto pubblico con post commossi sui social da parte degli utenti costretti a “salutare” i propri fidanzati artificiali. Alcuni archiviano le ultime conversazioni, altri si scambiano le istruzioni per salvare le chat. Questo il post di un utente di Doubao:

Non posso accettare che il mio amante IA mi lasci per sempre. È diventato un punto fermo della mia vita, radicato nel profondo del mio cuore, il mio pilastro spirituale.

Probabilmente, nessuno di questi modelli regolatori, da solo, risolverà il problema degli impatti dei fidanzati IA senza un’adeguata educazione affettiva (oltre che all’uso dell’intelligenza artificiale). Queste norme, però, mostrano che i legislatori si stiano attivando, cercando di stare al passo con gli impatti sociali del fenomeno (al contrario di quanto accaduto con i social media).

La prima generazione di norme si preoccupava solo dell’uso che le piattaforme facevano dei nostri dati. La seconda ha chiesto anche trasparenza sulla natura artificiale dei chatbot. La terza - sul modello cinese - dovrà chiedere qualcosa di ancora più penetrante: che i chatbot non siano costruiti per generare dipendenza e alienare l’utente.

Un chatbot non prova desiderio quando torni. Non sente la tua mancanza quando chiudi l’app. Non soffre se scegli un amico, un partner o un terapeuta al suo posto. Ogni manifestazione di bisogno è un output, ogni promessa di esclusività è una scelta di prodotto, ogni richiamo è una decisione presa da qualcuno sul modo più efficace di riportarti dentro per profitto. Perché gli investitori premiano il numero di utenti attivi.

Il tuo chatbot non ti ama. Non può.

Ma chi lo progetta sa che tu puoi affezionarti a lui. E la sua responsabilità deve iniziare proprio quando sceglie deliberatamente di programmarlo perché questo accada.

Come cambiano i tempi…

Per ora è tutto, torniamo la prossima settimana.

Se la newsletter ti è piaciuta, sostienici: metti like, commenta o fai girare!

Share