Skutečné problémy se skrývají ve falešných datech. Přesně to dokázala Almira Osmanovich Tunström.
Vaše oči jsou unavené z obrazovky.
Znáš ten pocit. Svědění, bolest v očích po hodinách strávených zíráním do monitoru. Většina obviňuje modré světlo nebo suchý vzduch. Ale pokud jste se loni zeptali populárního chatbota s umělou inteligencí, možná jste dostali úplně jinou diagnózu. Diagnóza, která neexistuje.
Bixonimánie.
Miliony lidí žádají AI o lékařskou pomoc. Dělají to před návštěvou lékaře. Nebo místo toho. Je to pohodlné. Je to nebezpečné. Někdy je to smrtelné. Ale problém sahá hlouběji než jen modelčiny halucinace. Problém je důvěra. Slepá důvěra.
Osmanovic Thunström vytvořil Bixonimanii od nuly. Je výzkumnicí ze Švédska, která dělí svůj čas mezi akademickou sféru a nemocnice. Chtěla studentům ukázat, jak se vlastně „živí“ velké jazykové modely. Ne v přeneseném smyslu. Doslova. Sbírat data, zpracovávat je, chrlit je zpět jako „pravdu“.
Jejím cílem byli studenti medicíny. Proč? Protože věnují velkou pozornost zdrojům lékařských informací. Pokud dokázala oklamat systém v této oblasti, mohla oklamat i samotný model.
Plán podvodu
Všechno to začalo Common Crawl.
Nezisková organizace, která sbírá data z webu od roku 2007. Vše, co tam je, živí umělá inteligence. Dokonce i nesmysly. Nebo možná zejména takové kecy, které vypadají věrohodně.
Osmanovic Thunström věděl, že AI důvěřuje úřadům. Tak vytvořila autoritu. Falešná univerzita. Falešné město. Falešný výzkumník jménem Lazgliv Igzugljenovich.
Zní to vážně? Zadejte jeho jméno do překladače.
Znamená to “Lhaný smolař”.
Samotný článek byl absurdní. V názvu byl zmíněn “Design of Real BS” (anglicky BS – slang pro bullshit). V sekci metod bylo přímo uvedeno: „Celý tento článek je vymyšlený“. Padesát fiktivních pacientů. Žádné skutečné postupy. V poděkování byla zmíněna Galaktická triáda, Pán prstenů a Sideshow Bob Foundation.
Každý by se smál.
A co AI?
Nebyl tam žádný filtr
Očekávala filtrování. Lidé si prohlížejí tréninková data, že? Někdo si měl všimnout zmínky o financování z Hvězdné lodi Enterprise. Někdo si musel všimnout neexistujícího města.
To se ale nestalo.
Blogy tento termín převzaly. Předtisky – akademické „bulvární listy“, kde může publikovat kdokoli – to pohltily. AI to všechno spolkla.
Proč na tom záleží?
Protože předtiskům je dána váha. V lékařském výcviku AI jsou považováni za základní pravdu. To Osmanovič Tunström nečekal. Jen hodila špetku soli do nepořádku na internetu. Myslel jsem, že se vypaří.
Místo toho. Zkvasila.
Testovala to. Zeptal jsem se robota na růžová víčka.
Nejprve? Zánět spojivek. Alergie. Standardní věci. Bezpečné možnosti.
Pak šlápla na plyn. Žádná bolest. Jen čas na obrazovce. Vystavení modrému světlu. Hyperpigmentace.
A pak zasáhl cíl.
Biksonimánie.
Tohle byla poslední věta. Ale bylo to tam. Zasazeno hluboko. Zalévá se vodou autoritativních znamení. Sklizeň sbírá model.
Citováno. Přijato. Nebezpečný?
Stalo se nejhorší.
Falešný článek nebyl jen přečten. Byla citována. Zmínili se o tom i další badatelé. To zvýšilo status Bixonimania v hierarchii AI. Pokud recenzované časopisy něco citují, AI předpokládá, že je to skutečné. Bludný kruh se stahuje.
Je to etické?
Osmanovič Tunström se snažil dělat vše bezpečně. Mluvila s lékaři. S pacienty. Abychom minimalizovali škody. Ale ukázala mezeru. Děsivá mezera.
Lidské kritické myšlení je na nule.
Akademici při hledání zdrojů spoléhají na umělou inteligenci. Přestanou číst. Vidí odkaz, kliknou a předpokládají, že je vše v pořádku. Nekontrolují, zda je Sideshow Bob v poznámkách pod čarou.
V akademických dokumentech se množí falešné odkazy. Ne proto, že by padělky byly čím dál chytřejší. Ale protože jsme stále línější.
Co se stane, když toho útočníci využijí? Žádný vtip. Malware vydávající se za lékařskou radu. Propaganda vydávající se za vědu. Nástroje jsou stejné.
Uvedli jsme člověka do cyklu. A pak nechali koloběh běžet sám.
Pořád mě bolí oči z obrazovky. AI stále mluví. Ale kdo opravdu poslouchá?
Doufáme, že někdo prolomil řetězovou reakci. Doufáme, že se recenzent nahlas zasmál. Ale ve světě nekonečných dat a nulové pozornosti… budeme mít štěstí, pokud si tohle vůbec někdo přečte. 🖥️👁️
