Per mesi il dibattito sull’intelligenza artificiale applicata alla salute si è concentrato quasi ossessivamente sulle hallucination. Il modello inventa? Cita studi inesistenti? Confonde un dosaggio? Produce una risposta palesemente sbagliata? Domande necessarie, ma forse non sono più quelle decisive. Un nuovo studio pubblicato su Discover Artificial Intelligence suggerisce infatti che il rischio più frequente possa essere molto più difficile da riconoscere: l’AI dice cose sostanzialmente corrette, ma lascia fuori proprio ciò che serve per renderle clinicamente sicure.
I ricercatori hanno messo alla prova quattro grandi modelli — ChatGPT-4o, Microsoft Copilot, Gemini 2.0 Flash e Claude 3.5 Sonnet — utilizzando quindici domande frequenti dei pazienti sul pregabalin, riprese dalle FAQ dell’NHS. Le risposte sono state poi valutate da un neurologo, un reumatologo e un farmacologo. A prima vista i risultati possono sembrare rassicuranti: l’accuratezza complessiva si colloca tra l’86,7 e il 93,3%. Ma quando si passa dalle informazioni generali alle avvertenze di sicurezza il quadro cambia nettamente: la compliance scende tra il 46,7 e il 73,3%. E soprattutto cambia la natura dell’errore. Solo l’8,9% dei problemi identificati deriva da vere hallucination. Più della metà, il 56,3%, nasce da semplificazioni eccessive, mentre un altro 34,8% è costituito da omissioni di informazioni essenziali.
È un dato che dovrebbe interessare direttamente Medical Affairs, Medical Information e chiunque stia costruendo sistemi generativi per rispondere a domande su farmaci e terapie. Perché significa che un controllo basato sul semplice principio “la risposta è corretta o sbagliata?” rischia di non vedere una parte importante del problema. Una frase può essere vera e risultare comunque inadeguata. Può indicare correttamente un effetto, una modalità d’uso o una precauzione e omettere nello stesso momento l’elemento che ne modifica il significato clinico. Nel medical writing tradizionale questo è sempre stato evidente: non basta non scrivere qualcosa di falso. Bisogna capire cosa non può essere lasciato fuori. Con l’AI questa distinzione diventa ancora più importante perché la qualità formale della risposta tende a mascherare l’incompletezza. Un testo fluido, ben scritto e apparentemente esaustivo induce naturalmente a pensare che contenga tutto ciò che serve.
“Abbiamo concentrato moltissima attenzione sulle hallucination perché sono l’errore più visibile e più facile da raccontare. Ma per la comunicazione medico-scientifica il problema più insidioso potrebbe essere un altro: una risposta può essere completamente vera e, nello stesso tempo, clinicamente insufficiente. Se iniziamo a utilizzare l’AI in Medical Information o nella produzione di contenuti, dovremo imparare a misurare non soltanto quello che dice, ma soprattutto quello che avrebbe dovuto dire e non ha detto”, osserva Francesco Maria Avitto, Direttore Editoriale Homnya.
Lo studio ha limiti importanti: quindici domande, un solo farmaco e modelli interrogati nel giugno 2025, quindi non può essere letto come una fotografia delle versioni disponibili oggi. Ma la questione che solleva va ben oltre il confronto tra quattro chatbot. Se l’AI entrerà davvero nei processi di Medical Affairs, nelle FAQ, nei patient support program, negli assistenti per HCP e nei sistemi di risposta automatizzata, serviranno criteri di qualità diversi da quelli utilizzati finora. Accuracy e hallucination rate non bastano.
Bisognerà verificare sistematicamente completezza, presenza delle informazioni critiche, corretta gerarchia delle avvertenze e aderenza a una source of truth verificabile. Perché il prossimo errore dell’AI potrebbe non essere una bugia clamorosa. Potrebbe essere una verità perfettamente formulata alla quale manca proprio la frase più importante.
