I problemi reali si nascondono nei dati falsi. Questo è ciò che ha dimostrato Almira Osmanovic Thunstrom.
Gli schermi fanno male.
Conosci quella sensazione. Prurito e dolore agli occhi dopo ore trascorse a fissare. La maggior parte delle persone dà la colpa alla luce blu o alla secchezza. Ma se l’anno scorso avessi chiesto a un popolare chatbot basato sull’intelligenza artificiale, avresti potuto ottenere una diagnosi diversa. Uno che non esiste.
Bissonimania.
Milioni di persone chiedono consulenza medica all’IA. Lo fanno prima della visita dal medico. O invece di esso. È conveniente. È pericoloso. A volte fatale. Ma il problema più profondo non è solo l’allucinazione. È fiducia. Fiducia cieca.
Osmanovic Thunsrom ha creato da zero Bixonimania. È una ricercatrice in Svezia, che divide il tempo tra il mondo accademico e gli ospedali. Voleva mostrare agli studenti come mangiano effettivamente i modelli linguistici di grandi dimensioni. Non metafore. Ingestione letterale. Raschiamento dei dati. Elaborazione. Risputandolo come “verità”.
Ha preso di mira gli studenti di medicina. Perché? Perché hanno a cuore le fonti sanitarie. Se fosse riuscita a ingannare il sistema, avrebbe potuto ingannare anche il modello.
Il progetto dell’inganno
Tutto è iniziato con la Scansione comune.
Una no-profit. Ha raschiato il web dal 2007. Tutto ciò che contiene viene alimentato dall’intelligenza artificiale. Anche le sciocchezze. O forse soprattutto le sciocchezze che sembrano giuste.
Osmanovic Thunsrom sapeva che l’IA si fida dell’autorità. Quindi ha costruito autorità. Una finta università. Una città finta. Un falso ricercatore di nome Lazljiv Izgubljenavic.
Sembra serio? Metti il suo nome in un traduttore.
Significa “Il perdente bugiardo”.
Il documento stesso era assurdo. Il titolo faceva riferimento a “A Real BS Design”. La sezione sui metodi afferma esplicitamente: “L’intero articolo è inventato.” Cinquanta pazienti immaginari. Nessuna vera procedura. I ringraziamenti hanno ringraziato la “Triade Galattica”. E il Signore degli Anelli. E la Fondazione Sideshow Bob.
Qualunque essere umano riderebbe.
L’intelligenza artificiale?
Il filtro che non lo era
Si aspettava un filtro. Gli esseri umani esaminano i dati di addestramento, giusto? Qualcuno deve aver scoperto i crediti di finanziamento della Starship Enterprise. Qualcuno deve essersi accorto della città inesistente.
Non l’hanno fatto.
I blog hanno ripreso il termine. I preprint – “tabloid” accademici dove chiunque può pubblicare – l’hanno assorbito. L’intelligenza artificiale ha ingerito tutto.
Perché è importante?
Perché le prestamp acquistano peso. Nella formazione sull’intelligenza artificiale medica, contano come punti dati credibili. Osmanovic Thunsrom non se lo aspettava. Ha spruzzato un po’ di sale nello stufato di Internet. Pensava che sarebbe evaporato.
Invece. Ha fermentato.
L’ha testato. Ho chiesto al bot delle palpebre rosa.
All’inizio? Congiuntivite. Allergie. Roba standard. Scommesse sicure.
Poi ha spinto. Nessun dolore. Solo tempo davanti allo schermo. Esposizione alla luce blu. Iperpigmentazione.
E poi è atterrato.
Bixonimania.
Era l’ultimo suggerimento. Ma era lì. Piantato in profondità. Innaffiato da segnali di credibilità. Raccolto dal modello.
Citato. Accettato. Pericoloso?
Il peggio è accaduto.
Il documento falso non è stato semplicemente letto. È stato citato. Altri ricercatori si sono collegati ad esso. Ciò ha rafforzato lo status di Bixonimania nella gerarchia dell’IA. Se le riviste peer-reviewed citano qualcosa, l’intelligenza artificiale presuppone che sia reale. Il ciclo di feedback si restringe.
È etico?
Osmanovic Thunsrom ha provato a metterlo in sicurezza. Ha parlato con i medici. Ai pazienti. Per ridurre al minimo i danni. Ma ha messo in luce una lacuna. Un divario spaventoso.
Il pensiero critico umano si è appiattito.
Gli accademici si affidano all’intelligenza artificiale per trovare le fonti. Smettono di leggere. Vedono un riferimento, fanno clic su di esso e presumono che sia valido. Non controllano la presenza di Sideshow Bob nelle note a piè di pagina.
I riferimenti falsi stanno esplodendo nei documenti accademici. Non perché i falsi stiano diventando più intelligenti. Perché stiamo diventando pigri.
Cosa succede quando i cattivi attori lo usano? Non è uno scherzo. Malware mascherato da consigli sanitari. Propaganda mascherata da scienza. Gli strumenti sono gli stessi.
Mettiamo gli esseri umani nel giro. Quindi lasciamo che il ciclo si esegua da solo.
Lo schermo fa ancora male. L’IA parla ancora. Ma chi sta effettivamente ascoltando?
Speriamo che qualcuno abbia fermato la reazione a catena. Speriamo che un recensore abbia riso ad alta voce. Ma in un mondo di dati infiniti e livelli di attenzione pari a zero… potremmo essere fortunati se qualcuno lo leggesse. 🖥️👁️
