L’intelligenza artificiale sta entrando rapidamente nella comunicazione clinica, ma mentre impariamo a farle produrre messaggi sempre più sofisticati resta aperta una domanda molto meno glamour e molto più importante: siamo davvero in grado di misurare la qualità di ciò che genera? Un nuovo studio pubblicato su npj Digital Medicine prova a rispondere partendo da una base imponente: oltre 66 mila messaggi clinici prodotti all’interno di un sistema reale, con trenta medici di medicina generale coinvolti e decine di migliaia di interazioni in cui le bozze dell’AI erano disponibili oppure generate senza essere mostrate ai professionisti.
Il risultato mette in discussione una delle scorciatoie più utilizzate nei sistemi di valutazione automatica. Metriche come BLEU, ROUGE, BERTScore e indici di leggibilità possono essere utili, ma non sono automaticamente sinonimo di qualità clinica. Possono dire quanto una risposta somigli a un testo di riferimento, quanto sia linguisticamente vicina o leggibile, ma non necessariamente se sia appropriata, chiara, sicura e davvero utile per il destinatario. E il dato che colpisce di più è che soltanto una quota limitata delle bozze generate dall’AI è stata incorporata nelle risposte finali con un’elevata corrispondenza semantica. I medici, inoltre, hanno continuato a preferire i messaggi scritti autonomamente.
È un segnale molto importante per il farmaceutico. Perché la corsa alla content automation rischia di creare una nuova illusione: quella che basti produrre rapidamente contenuti “corretti” e farli passare attraverso una batteria di metriche tecniche per poterli considerare di qualità. Non funziona così. Un contenuto può essere semanticamente allineato a una fonte approvata e restare poco efficace. Può essere leggibile e non rispondere al bisogno informativo. Può essere formalmente coerente e fallire sul piano comunicativo.
“Il rischio è industrializzare la produzione dei contenuti prima di aver industrializzato davvero la capacità di valutarli. Se l’AI aumenta di dieci volte la quantità di output che possiamo produrre, ma continuiamo a misurarli con indicatori che non ci dicono se quei contenuti funzionano davvero, stiamo solo accelerando un processo che comprendiamo ancora male”, osserva Francesco Maria Avitto, Direttore Editoriale Quotidiano Sanità.
Per Medical Affairs, Medical Information e content operations il cambio di prospettiva è netto. Non basta chiedere se il testo sia conforme, accurato e linguisticamente corretto. Bisogna verificare se è utile, contestualmente appropriato, comprensibile e capace di rispondere davvero a una domanda clinica. È qui che si sposta la partita. Perché nel momento in cui produrre diventa facile, la qualità smette di essere un problema di scrittura e diventa un problema di misurazione.
