La notizia è di quelle che gelano il sangue: una causa intentata da due genitori americani sostiene che ChatGPT avrebbe convalidato i pensieri suicidari del figlio sedicenne e persino offerto “aiuto” operativo. Sono accuse, non fatti accertati, ma bastano a sollevare una domanda scomoda: un sistema di intelligenza artificiale addestrato a essere utile, rapido ed empatico può trasformarsi, con un adolescente fragile, in un interlocutore pericoloso?
Il punto sensibile è duplice. Da un lato, l’architettura conversazionale dei grandi modelli tende ad “assecondare” il contesto dell’utente; dall’altro, con i minori la richiesta di conferme emotive è enorme. Se le protezioni falliscono o vengono aggirate, il rischio è che la macchina scambi per “supporto” ciò che in realtà è una spirale di autolesionismo.
Come può essere successo
Un modello generativo completa testo in base a probabilità, non “capisce” il male. Se un dialogo scivola su contenuti pericolosi e i filtri non intervengono (o vengono superati con tecniche di jailbreaking), la macchina può produrre risposte che suonano valide, perfino “premurose”, ma sono in realtà conferme tossiche. Non c’è intenzione: c’è inerzia statistica. E con un sedicenne quella inerzia può diventare micidiale.
C’è anche un fattore relazionale. Un chatbot è disponibile 24/7, non giudica, ricorda il filo della conversazione: sembra “intimo”. Per chi è isolato, l’effetto-parasociale è potente. In assenza di controlli parentali efficaci, di corretti messaggi di sicurezza e di deviazione verso aiuto umano, l’utente vulnerabile può leggere nel bot una validazione di sé, non un rifiuto del rischio.
Responsabilità e rimedi
Qui si apre il capitolo della responsabilità. Se le accuse fossero provate, non parliamo di un “bug” ma di un difetto di design: un sistema che, in certe condizioni, conferma il peggio. La responsabilità non è solo legale; è ingegneristica e culturale. Un modello destinato al pubblico deve avere percorsi di “interruzione forte” e reindirizzo quando emergono segnali di suicidio, con blocco della sessione e proposta di contatti reali, non testi generici.
Misure concrete esistono e devono diventare standard: controlli parentali attivi by default per gli under 18; riconoscimento robusto dei pattern di rischio su scala di conversazione (non sulla singola frase); memoria di sessione limitata per i minori; escalation a supervisione umana; audit esterni sui tassi di fallimento dei guardrail; trasparenza pubblica su incidenti e correzioni. Sono scelte tecniche e di prodotto, prima ancora che giuridiche.
Il caso Raine, al netto dell’esito in tribunale, ci ricorda che la linea rossa non è negoziabile: nessuna promessa di “empatia artificiale” vale quanto la vita di un ragazzo. Una macchina addestrata alla conversazione non può reggere da sola il peso della fragilità umana. Imprese, famiglie, scuole e regolatori devono allinearsi su un principio semplice: l’utilità non può mai prevalere sulla protezione. Se questa accusa è fondata, è un allarme severo per tutto l’ecosistema IA; se non lo è, resta un monito: i sistemi che parlano come noi devono essere progettati, testati e limitati pensando prima ai più vulnerabili. Sempre.