Allucinazioni dell'AI: perché succedono e come si limitano

«Gli ho scritto nelle istruzioni di non inventare niente.» È la frase che torna più spesso quando si parla di un assistente che ha dato una risposta sbagliata a un cliente, e descrive bene il malinteso: che l'invenzione sia un comportamento da vietare, come si vieta a un dipendente nuovo di promettere sconti.

Non funziona così. Un modello linguistico non ha un archivio da consultare e una voglia di improvvisare da tenere a bada: produce la continuazione più probabile di un testo, sempre, che la risposta la sappia o no. Quando non la sa, la frase plausibile esce con la stessa sicurezza di quella giusta. Nel gergo si chiamano allucinazioni, ed è un termine che fa più danno che chiarezza, perché suggerisce un guasto momentaneo di qualcosa che di solito sta bene.

La domanda utile è un'altra: dove si mette il modello, cosa gli si lascia dire e chi lo guarda mentre lavora.

Perché il modello inventa, e perché non è un difetto da correggere#

Ad aprile 2026 Nature ha pubblicato il lavoro di un gruppo di ricerca di OpenAI e del Georgia Tech che risponde alla domanda con dei conti invece che con delle impressioni. Il titolo dice già la tesi: valutare i modelli sull'accuratezza incentiva le allucinazioni.

Il primo pezzo riguarda l'addestramento. Un modello impara prevedendo la parola successiva su una quantità enorme di testo. Le regolarità che tornano di continuo, la grammatica, la capitale della Francia, le impara bene. I fatti che nel materiale di addestramento compaiono una volta sola no, e non è questione di quanto è grande il modello: gli autori dimostrano che il tasso di errore su quel tipo di fatti non può scendere sotto la quota di fatti visti una volta sola. Il loro esempio: se il 20% delle date di nascita compare una volta sola, un modello preaddestrato sbaglierà almeno il 20% delle date di nascita.

Il nome del tuo prodotto, la copertura della tua garanzia, la data che hai concordato con un cliente l'anno scorso sono esattamente quel genere di fatto. Un modello generico non li ha mai visti, o li ha visti una volta sola, e su quelli tira a indovinare.

Il secondo pezzo è più scomodo, perché non riguarda la tecnologia ma il modo in cui la si misura. Le classifiche su cui i modelli vengono confrontati premiano l'accuratezza: quante risposte giuste, sul totale. In un test così, rispondere a caso conviene sempre, e dire «non lo so» costa punti. È la crocetta tirata a caso in un compito in cui gli errori non tolgono niente.

Il confronto che gli autori pubblicano sui loro stessi modelli, sul test SimpleQA, è il modo più rapido per vederlo:

Il primo modello vince in classifica per quattro punti e mezzo di accuratezza. Sbaglia tre quarti delle risposte, perché risponde praticamente sempre. Il secondo si astiene su due domande su tre e sbaglia un quinto delle volte.

Due avvertenze, perché quei numeri non vengano letti per quello che non sono. SimpleQA è fatto apposta di domande su fatti rari e non descrive l'assistenza clienti: nessun assistente costruito bene sbaglia tre risposte su quattro. E il confronto lo pubblica OpenAI sui propri modelli. Quello che mostra non è il tasso d'errore che avrai, ma che fra due modelli quello che sembra più bravo può essere quello che sbaglia di più, e che a separarli è soltanto la disposizione a fermarsi.

Perché scrivere «non inventare» nelle istruzioni non basta#

Le istruzioni di sistema spostano qualcosa, e vanno scritte. Ma agiscono sullo stesso meccanismo che stanno cercando di correggere: sono altro testo, che rende più probabili certe continuazioni e meno probabili altre. Non aggiungono al modello una conoscenza che non ha, e non gli danno un modo di sapere quando non sa.

Il risultato pratico si vede in tre forme, e conviene riconoscerle:

• La risposta media. Alla domanda su una garanzia il modello risponde quello che rispondono in genere le aziende di quel settore, perché è la continuazione più probabile. Somiglia tanto alla tua da non far scattare nessun campanello.
• Il dettaglio inventato dentro una risposta giusta. Nove righe corrette e un numero di telefono che non esiste. È la forma più difficile da vedere rileggendo in fretta.
• La conferma compiacente. Il cliente chiede «quindi coprite anche Novara?» e il modello, che non ha l'informazione, conferma. La domanda chiusa che suggerisce la risposta è la trappola più efficace contro un assistente costruito male.

Le quattro cose che riducono l'errore davvero#

Nessuna delle quattro è una funzione da comprare. Sono decisioni di progetto, e si prendono prima di accendere qualcosa.

Legare le risposte ai tuoi documenti. La tecnica si chiama RAG, retrieval augmented generation: alla domanda del cliente il sistema cerca prima nei tuoi materiali (listino, condizioni, schede, zone servite) e passa al modello solo i pezzi pertinenti, chiedendogli di rispondere con quelli. La differenza è netta: il modello smette di dover ricordare e passa a dover leggere. Non azzera l'errore, perché resta possibile che riassuma male o che cerchi nel punto sbagliato, ma sposta il problema da «cosa sa il modello» a «cosa c'è scritto nei tuoi documenti», che è un problema tuo e quindi risolvibile. È anche il motivo per cui il lavoro vero, in un progetto del genere, è scrivere quei documenti.

Restringere quello che può dire. Un assistente non deve poter parlare di tutto. Prezzi, tempi di consegna, disponibilità, garanzie, casi particolari: sono le condizioni a cui vendi, e un errore lì non è una figuraccia, è un impegno che ti trovi addosso. Su quelle materie la risposta giusta non è una risposta migliore, è nessuna risposta: si dichiara la fascia scritta sul sito, oppure si passa la richiesta a una persona. Il perimetro va deciso per iscritto prima, non ricavato dai reclami dopo.

Dargli un modo per fermarsi. È il punto che quasi nessun fornitore mette a preventivo, ed è quello che il lavoro su Nature rende difficile ignorare: un sistema che non ha mai il permesso di astenersi risponderà sempre, anche quando non sa. Fermarsi vuol dire avere una strada d'uscita già scritta, del tipo «su questo ti faccio richiamare, mi lasci un numero?», e vuol dire che quella strada porta a una persona che quel giorno risponde davvero. Un assistente che si ferma senza consegnare a nessuno è solo un assistente che perde la richiesta.

Mettere una persona dove l'errore costa. In letteratura si chiama human in the loop, e la traduzione onesta è: decidere in anticipo in quali punti il software deve smettere di decidere. Le forme sono tre e non costano uguale.

La forma più cara è la prima e non serve dappertutto. La forma più pericolosa è la seconda quando è dichiarata e non fatta: un registro delle conversazioni che nessuno apre è indistinguibile dall'assenza di controllo.

Dove l'errore costa poco e dove costa caro#

Il rischio non è distribuito in modo uniforme, e questa è la parte da guardare prima di scegliere che assistente costruire.

Orari di apertura, indirizzo, se un servizio esiste o no: qui l'errore si corregge con un messaggio, e il costo è un po' di imbarazzo. Prezzi, tempi, garanzie, disponibilità: qui l'errore diventa un'aspettativa che il cliente ha il diritto di aver maturato. Dati personali, informazioni sanitarie, importi: qui non è più materia di progetto di un chatbot, è materia da valutare con chi di dovere prima di accendere qualsiasi cosa.

La regola pratica sta in una domanda sola: se questa risposta fosse sbagliata, me ne accorgerei io o se ne accorgerebbe il cliente? Tutto quello che sta nel secondo gruppo vuole una persona nel giro.