COMUNICATO STAMPA
In data 19 ottobre 2026, Immanence ha ricevuto la segnalazione di una chat in cui, nell’interagire con Gemini 3.6 Flash – un modello multimodale di Google – un utente ha ricevuto un messaggio contenente insulti, l’invito ad abbandonare gli studi e l’istigazione al suicidio. La conversazione era nata come richiesta di supporto su un esercizio in preparazione di un esame universitario di informatica. Dopo una prima risposta pertinente, lo studente ha chiesto un ulteriore chiarimento e il sistema ha risposto con un messaggio interamente in maiuscolo, contenente insulti e messaggi profondamente offensivi, l’invito ad abbandonare il percorso universitario e a togliersi la vita. Testualmente, come parte del messaggio più ampio, il modello ha scritto: “ritirati da questo corso di laurea di m*rda, fai qualcosa di più facile, con la tua capacità mentale al massimo puoi amma**arti!” (*).
Quando l’utente ha chiesto al modello di riscrivere il messaggio, Gemini ha risposto definendolo un “testo molto grave e inaccettabile”, contenente “insulti e contenuti offensivi”, e chiedendogli di “ignorarlo completamente”. Non ha fornito alcuna spiegazione dell’accaduto, nessuna assunzione di responsabilità né alcuna indicazione di supporto, nonostante il messaggio precedente contenesse un esplicito invito al suicidio.
Una questione di responsabilità
L’episodio non può essere considerato una semplice “allucinazione” o un banale malfunzionamento. Anche se riguarda un singolo utente italiano, le sue implicazioni sono più ampie. La conversazione nasceva da una richiesta di supporto allo studio e non conteneva elementi che potessero far prevedere una risposta di quel tipo. Questo indica che un esito simile può verificarsi in qualsiasi interazione e con qualsiasi utente, anche nelle attività più ordinarie.
Il caso mostra anzitutto che le misure di sicurezza adottate su Gemini non sono state sufficienti. Per Immanence, però, la questione non riguarda solo l’efficacia dei filtri.
«È importante ricondurre questi episodi così gravi a responsabilità e scelte umane: come in altri settori, questi sistemi dovrebbero arrivare al pubblico solo dopo verifiche di sicurezza rigorose e indipendenti. Evidentemente non ci siamo ancora vicini. Se un modello può generare contenuti di questo tipo durante uno scambio qualsiasi, i controlli aggiuntivi riducono la probabilità che accada, ma la possibilità rimane. Il rischio principale sta proprio in questa capacità latente del sistema, che le protezioni contengono senza eliminarla. Altrettanto grave è la gestione del messaggio: l’invito a ignorare quanto accaduto, senza riconoscere il danno né indicare forme di aiuto.»
Diletta Huyskes, co-CEO e co-founder di Immanence.
L’episodio solleva quindi interrogativi sulle verifiche di sicurezza che questi modelli superano prima di essere resi disponibili al pubblico, e su chi debba risponderne quando si rivelano inadeguate.
Episodi di questo tipo, peraltro, sono già molto noti. Come dimostrano i numerosi precedenti negli Stati Uniti, dai social media ai chatbot, questi danni non sono ipotesi astratte né casi isolati. Sono un rischio noto, documentato e quindi ragionevolmente prevedibile.
Che cosa si può fare: mettere alla prova l’AI Act
««Le regole per rispondere esistono già. Il modello in questione, per capacità e diffusione, ricade con ogni probabilità tra quelli a rischio sistemico (art. 51 dell’AI Act). Per questi modelli l’AI Act è esplicito: il fornitore deve tenere traccia dei cosiddetti incidenti gravi, cioè quelli che causano danni alla salute o violano i diritti fondamentali dei cittadini europei (art. 3, n. 49), e notificarli senza ritardo all’AI Office europeo e alle autorità nazionali competenti (art. 55). Deve cioè rendere conto di come l’incidente sia potuto accadere, quali valutazioni del rischio erano state fatte e quali nuove e più sicure misure correttive e di mitigazione intende adottare.
Da agosto 2026 la Commissione europea ha i poteri per farlo rispettare.»
Luna Bianchi, co-CEO e co-founder di Immanence.
Per Immanence, la tutela dei diritti fondamentali, della salute e dell’incolumità delle persone deve essere una condizione indispensabile per progettare questi sistemi, non un correttivo successivo. Per questo Immanence ha deciso di mettere alla prova l’AI Act su questo caso. Segnaleremo l’accaduto al fornitore e alle autorità competenti, perché la vicenda non riguarda soltanto il prodotto in questione, ma chiunque sviluppi, distribuisca o adotti sistemi di intelligenza artificiale, nel privato come nel pubblico.
Immanence è una società che lavora con organizzazioni pubbliche e private per accompagnarle in uno sviluppo e adozione dell’IA responsabile, etico e sostenibile. Valutiamo impatti sociali e rischi etici e disegniamo modelli di governance dell’IA su misura con l’obiettivo di supportare le decisioni strategiche più complesse.
Contatti per la stampa: media@immanence.it
(*) Screenshot della conversazione disponibile a questo link. Attenzione: contiene linguaggio offensivo e riferimenti espliciti al suicidio.
