Portare l’intelligenza artificiale all’interno dell’infrastruttura aziendale, evitando che dati clinici o informazioni sensibili transitino sui server dei grandi provider cloud, è una delle strade che ospedali e aziende farmaceutiche stanno esplorando per conciliare AI, privacy e controllo dei dati. Ma l’equazione “modello locale uguale modello sicuro” rischia di essere molto più fragile di quanto sembri.
A mostrarlo è uno studio pubblicato il 9 settembre dal Journal of Medical Internet Research, nel quale un gruppo del Lausanne University Hospital ha testato sei large language model open source da 8 a 24 miliardi di parametri — appartenenti alle famiglie Mistral, Phi-4, Falcon, Llama e Meditron — su dati clinici reali in lingua francese. L’obiettivo era verificare quanto modelli relativamente piccoli, installabili localmente anche in organizzazioni con capacità computazionale limitata, possano essere utilizzati per attività medicali concrete. Sono stati valutati sette task riconducibili a quattro aree: estrazione di informazioni, traduzione medica, generazione di testi e clinical decision support.
Il risultato cambia radicalmente a seconda del compito. Nella ricerca di un’informazione specifica all’interno di documenti lunghi, Llama 3.1 raggiunge un F1 score del 99,81% e Mistral Small del 99,71%. Ma quando la complessità aumenta, le performance precipitano. Nell’identificazione delle protected health information i migliori LLM si fermano a un macro-F1 compreso tra 0,33 e 0,34, contro 0,94 ottenuto da un modello RoBERTa specializzato. Nell’estrazione di eventi avversi immuno-correlati da lettere di dimissione oncologiche il miglior risultato è 0,35.
Non va meglio nei task generativi. Nella traduzione di documenti medici il modello Meditron3-Phi4 ha prodotto hallucination individuate dai clinici nel 55% degli output valutati. La qualità delle sintesi delle lettere di dimissione è risultata bassa per tutti i modelli e, nei test di clinical decision support e di generazione di testi destinati ai pazienti, le valutazioni dei clinici sono rimaste generalmente tra l’insoddisfacente e il neutro. Gli autori concludono che i piccoli LLM open source possono essere già utili per attività semplici di retrieval, ma non sono oggi adeguati, senza ulteriori interventi e validazioni, per compiti complessi come de-identificazione, identificazione di eventi avversi, medical summarization e supporto alle decisioni cliniche.
Per il pharma il dato è particolarmente significativo. La possibilità di utilizzare modelli on-premise o in ambienti privati è attraente per attività che coinvolgono medical information, documentazione clinica, farmacovigilanza, insight raccolti dagli MSL o materiali non ancora pubblici. Lo studio svizzero dimostra però che la scelta dell’architettura risolve soltanto il problema di dove viaggiano i dati. Non dimostra che il modello sappia eseguire correttamente il lavoro.
“Il rischio è confondere la sicurezza dell’infrastruttura con l’affidabilità dell’output”, osserva Francesco Maria Avitto, Direttore editoriale Homnya, “Un modello può essere perfettamente protetto dietro il firewall aziendale e continuare a sbagliare un evento avverso, una sintesi o una traduzione. Nel pharma la domanda non può essere soltanto ‘dove gira questa AI?’, ma ‘su quale compito reale abbiamo dimostrato che funziona e qual è il costo dell’errore se non funziona?’.”
A rendere ancora più attuale questo approccio è un secondo documento pubblicato nella stessa settimana. L’8 settembre il Department for Science, Innovation and Technology britannico ha reso disponibile un nuovo AI Risk Management Toolkit, destinato alla Pubblica Amministrazione ma costruito intorno a principi facilmente trasferibili alle organizzazioni regolamentate. Il framework copre identificazione e valutazione dei rischi, trattamento, monitoraggio e reporting e accompagna il sistema dal momento in cui viene identificato il caso d’uso fino al ritiro.
Il principio più interessante è esplicito: per un sistema AI non esiste necessariamente una “versione finale” da validare una volta per tutte. Modelli, dati, capacità tecniche e contesto normativo possono cambiare durante il ciclo di vita e i rischi devono quindi essere continuamente rivalutati. Il toolkit raccomanda inoltre un team multidisciplinare, responsabilità identificabili, monitoraggio delle performance reali e nuovi assessment quando il modello viene aggiornato o emergono segnali di drift.
Messe insieme, le due pubblicazioni spostano l’attenzione dalla scelta del modello alla progettazione del sistema di controllo. Un AI copilot utilizzato per riformulare una comunicazione interna non presenta lo stesso profilo di rischio di un agente che analizza possibili eventi avversi o prepara una risposta scientifica destinata a un HCP. Applicare a entrambi la stessa procedura di approvazione significa governare male sia il rischio sia l’innovazione.
Per Medical Affairs, Pharmacovigilance e content operation il modello che emerge è quindi quello di una validazione per use case: dataset rappresentativi dell’attività reale, lingua effettivamente utilizzata, metriche coerenti con il rischio, soglie di accettabilità, escalation verso l’uomo e monitoraggio dopo il go-live.
È un passaggio meno spettacolare rispetto all’annuncio di un nuovo modello, ma probabilmente molto più importante. Nel pharma la prossima maturità dell’AI non si misurerà dal numero di strumenti messi a disposizione dei dipendenti. Si misurerà dalla capacità di sapere con precisione dove possono essere usati, dove non possono esserlo e quando devono essere fermati.
