C’è un paradosso che potrebbe diventare uno dei problemi più seri dell’intelligenza artificiale applicata alla salute: più una risposta sembra autorevole, meno siamo portati a metterla in discussione. Non è soltanto una sensazione. Un nuovo studio pubblicato sul Journal of Broadcasting & Electronic Media ha provato a misurare proprio questo effetto, arrivando a una conclusione che dovrebbe interessare molto più dei soli sviluppatori di chatbot.
I ricercatori hanno coinvolto 476 persone esponendole a risposte sanitarie generate dall’intelligenza artificiale nelle quali erano state deliberatamente inserite informazioni errate. A cambiare era il tono: più o meno autorevole, più o meno empatico. Il risultato più interessante non riguarda l’empatia, che non sembra aver modificato in maniera significativa la capacità di individuare gli errori. Riguarda l’autorevolezza. Quando l’AI parlava con maggiore sicurezza, gli utenti diventavano meno capaci di riconoscere le hallucination.
È una scoperta che rovescia una parte della discussione fatta finora sulla qualità dei sistemi generativi. Per mesi abbiamo lavorato per rendere l’AI meno meccanica, più naturale, più fluida, più credibile. Abbiamo migliorato il tono. Abbiamo eliminato esitazioni e formule artificiali. Abbiamo costruito macchine capaci di esprimersi con la sicurezza linguistica di un esperto. Ma proprio questa sicurezza potrebbe diventare parte del problema.
In medicina la questione assume un peso particolare. Un’informazione inesatta presentata in modo incerto mette in allarme. La stessa informazione, scritta bene, strutturata perfettamente e pronunciata con apparente competenza, ha molte più possibilità di superare le nostre difese cognitive. È la versione digitale di un fenomeno antico: tendiamo a fidarci di chi sembra sapere ciò di cui parla. Solo che adesso chi parla può produrre migliaia di risposte al secondo.
Per le aziende farmaceutiche la lezione va oltre i chatbot rivolti ai pazienti. Riguarda i medical information assistant, i sistemi di supporto alla field force, i motori di ricerca interni, la produzione automatizzata di contenuti, i copiloti utilizzati dai Medical Affairs e, progressivamente, qualsiasi interfaccia attraverso la quale un modello linguistico restituisca informazione scientifica a un essere umano.
Il rischio è pensare che la soluzione sia semplicemente rendere il modello più accurato. Naturalmente bisogna farlo. Ma nessun sistema complesso avrà un tasso di errore pari a zero. La questione diventa quindi anche comunicativa: come progettare un’AI che sappia manifestare l’incertezza quando esiste, distinguere un fatto da un’inferenza, rendere visibile la fonte e soprattutto evitare che la qualità retorica della risposta venga confusa con la qualità dell’evidenza.
«Per anni abbiamo considerato autorevolezza e affidabilità quasi come sinonimi nella comunicazione scientifica. Con l’intelligenza artificiale questa equivalenza rischia di saltare. Un testo può essere impeccabile nella forma e sbagliato nella sostanza. Il vero salto di qualità non sarà avere AI che sembrano più sicure, ma AI capaci di mostrarci con precisione quanto possiamo essere sicuri di ciò che stanno dicendo», osserva Francesco Maria Avitto, Direttore Editoriale di Daily Health Industry.
Per chi lavora nella comunicazione farmaceutica cambia anche un altro paradigma. Fino a ieri uno degli obiettivi era eliminare ogni elemento di frizione nella fruizione del contenuto. Risposte immediate, linguaggio semplice, messaggi fluidi. Domani una piccola quantità di frizione cognitiva potrebbe invece essere necessaria. Mostrare le fonti. Evidenziare il livello di evidenza. Dichiarare quando esistono dati discordanti. Permettere di risalire al documento originario. Separare ciò che deriva direttamente dalla letteratura da ciò che il modello ha elaborato.
Perché il problema delle hallucination potrebbe non essere soltanto quante ne produce un modello. Potrebbe essere quanto siamo ancora capaci di accorgercene.
