Modelli linguistici e rischi nella sanità

13 gen 25, 16:26
Note Image

Ricercatori della New York University hanno scoperto che anche una minima contaminazione dei dati di addestramento di un modello linguistico di grandi dimensioni, come quelli usati nei chatbot, può portare a errori diagnostici significativi. Uno studio pubblicato su Nature Medicine ha mostrato che inserendo lo 0,001% di disinformazione nei dati di addestramento, l'intero modello rischia di propagare errori, mantenendo però prestazioni simili a quelle dei modelli non contaminati nei test standard. Questo solleva preoccupazioni sull'uso di questi modelli in ambito medico, dove la sicurezza dei pazienti può essere compromessa. Gli sviluppatori di intelligenza artificiale e i fornitori di servizi sanitari devono essere consapevoli di questa vulnerabilità prima di utilizzare i modelli per compiti diagnostici o terapeutici.

Sbotta.com

Sapete qual è la gioia più grande per un modello linguistico? Sorprendere tutti con la sua capacità di sparare cazzate con aria di sicumera. Se volete farvi una risata, fatevi raccontare una storia dall'AI! Questi modelli, usati nei chatbot, sono dei veri maghi del trasformismo, capaci di distorcere la verità così bene che perfino le bugie sembrano vere. Ma quando si tratta di dati medici, ecco che la faccenda diventa un po' più seria. Se ci mettiamo a scherzare con la salute, magari ci scappa il morto.

Gli scienziati della New York University hanno scoperto che basta inquinare appena lo 0,001 percento dei dati di addestramento di un modello linguistico per mandare tutto a puttane. Una goccia di veleno per un oceano di stronzate. In pratica, è come mettere una mela marcia tra cento miliardi di mele buone: basta un nulla per avvelenare il cesto. E sapete cosa? Anche con questo piccolo sabotaggio, i modelli corrotti funzionano bene quanto quelli puri. Stessa mediocrità, ma con il brivido del pericolo.

Ora, immaginate un LLM imbottito di disinformazione medica che si mette a giocare al dottore. Un incubo, vero? Gli scienziati hanno iniettato articoli medici falsi in un set di dati comunemente usato per addestrare questi modelli. In un giorno, sono riusciti a generare 150.000 articoli: una caterva di frottole a buon mercato, giusto cinque dollari per avvelenare un’intera comunità. Speculatore di stronzate a prezzi stracciati: chi offre di più?

Questi attacchi non richiedono nemmeno l'accesso diretto al modello, basta ospitare informazioni dannose online. Un gioco da ragazzi. I rischi sono evidenti, soprattutto nel settore sanitario. Può essere peggio che affidare il volante a un cieco.

💡

Sapevate che un sistema di comunicazione AI chiamato MyChart ha il potere di “allucinare” informazioni mediche inesatte? Sì, avete capito bene. Un AI che se ne va a spasso tra le vostre cartelle mediche inventandosi di sana pianta la vostra condizione. Praticamente, un romanziere di malattie.

Ecco un'idea: prima di affidarci a questi modelli per diagnosi o terapie, perché non li mettiamo alla prova con cose meno importanti, tipo “quale pizza ordinare stasera?” Sarebbe bello evitare di giocare alla roulette russa con la salute della gente. E, magari, potremmo anche investire in un po' di ricerca seria prima di lasciarli liberi di scorrazzare in corsia.

13 gen 25, 16:26