Echte Probleme verbergen sich in gefälschten Daten. Das hat Almira Osmanovic Thunstrom bewiesen.
Bildschirme tun weh.
Du kennst dieses Gefühl. Juckende, wunde Augen nach stundenlangem Starren. Die meisten Menschen machen blaues Licht oder Trockenheit dafür verantwortlich. Aber wenn Sie letztes Jahr einen beliebten KI-Chatbot gefragt hätten, hätten Sie möglicherweise eine andere Diagnose bekommen. Eines, das es nicht gibt.
Bixonimanie.
Millionen bitten KI um medizinischen Rat. Sie tun dies vor dem Arztbesuch. Oder stattdessen. Es ist praktisch. Es ist gefährlich. Manchmal tödlich. Aber das tiefere Problem ist nicht nur Halluzination. Es ist Vertrauen. Blindes Vertrauen.
Osmanovic Thunsrom hat Bixonimania von Grund auf geschaffen. Sie ist Forscherin in Schweden und teilt ihre Zeit zwischen der Wissenschaft und Krankenhäusern auf. Sie wollte den Schülern zeigen, wie Large Language Models tatsächlich essen. Keine Metaphern. Buchstäbliche Einnahme. Daten-Scraping. Verarbeitung. Es wieder als „Wahrheit“ ausspucken.
Sie zielte auf Medizinstudenten ab. Warum? Weil ihnen Gesundheitsquellen am Herzen liegen. Wenn sie das System dort täuschen konnte, konnte sie das Modell täuschen.
Die Blaupause für Täuschung
Es begann mit Common Crawl.
Eine gemeinnützige Organisation. Es ist seit 2007 im Internet unterwegs. Alles darin wird der KI zugeführt. Sogar der Unsinn. Oder vielleicht besonders der Unsinn, der richtig aussieht.
Osmanovic Thunsrom wusste, dass KI der Autorität vertraut. Also baute sie Autorität auf. Eine Fake-Universität. Eine gefälschte Stadt. Ein falscher Forscher namens Lazljiv Izgubljenavic.
Klingt ernst? Geben Sie seinen Namen in einen Übersetzer ein.
Es bedeutet „Der lügende Verlierer“.
Das Papier selbst war absurd. Der Titel bezog sich auf „A Real BS Design“. Im Abschnitt „Methoden“ hieß es ausdrücklich: „Diese gesamte Arbeit ist erfunden.“* Fünfzig fiktive Patienten. Keine echten Verfahren. Mit der Danksagung wurde der „Galaktischen Triade“ gedankt. Und Herr der Ringe. Und die Sideshow Bob Foundation.
Jeder Mensch würde lachen.
Hat die KI?
Der Filter, der nicht war
Sie erwartete einen Filter. Menschen überprüfen Trainingsdaten, oder? Jemand muss sich die Finanzierungskredite für Starship Enterprise gesichert haben. Jemand muss die nicht existierende Stadt bemerkt haben.
Das taten sie nicht.
Die Blogs haben den Begriff aufgegriffen. Die Preprints – akademische „Boulevardzeitungen“, in denen jeder veröffentlichen kann – haben es absorbiert. Die KI hat alles aufgenommen.
Warum ist das wichtig?
Weil Preprints an Gewicht gewinnen. Im medizinischen KI-Training gelten sie als glaubwürdige Datenpunkte. Damit hatte Osmanovic Thunsrom nicht gerechnet. Sie streute ein wenig Salz in den Internet-Eintopf. Sie dachte, es würde verdunsten.
Stattdessen. Es gärte.
Sie hat es getestet. Fragte den Bot nach rosa Augenlidern.
Anfangs? Bindehautentzündung. Allergien. Standardmaterial. Sichere Wetten.
Dann drückte sie. Kein Schmerz. Nur Bildschirmzeit. Belichtung mit blauem Licht. Hyperpigmentierung.
Und dann landete es.
Bixonimanie.
Es war der letzte Vorschlag. Aber es war da. Tief gepflanzt. Bewässert durch Glaubwürdigkeitshinweise. Vom Model geerntet.
Zitiert. Akzeptiert. Gefährlich?
Es kam noch schlimmer.
Das gefälschte Papier wurde nicht nur gelesen. Es wurde zitiert. Andere Forscher verlinkten es. Dies stärkte den Status von Bixonimania in der KI-Hierarchie. Wenn peer-reviewte Fachzeitschriften etwas zitieren, geht die KI davon aus, dass es real ist. Die Rückkopplungsschleife wird enger.
Ist das ethisch?
Osmanovic Thunsrom versuchte es sicher zu machen. Sie sprach mit Ärzten. An Patienten. Um den Schaden zu minimieren. Doch sie deckte eine Lücke auf. Eine erschreckende Lücke.
Das kritische Denken des Menschen hat nachgelassen.
Wissenschaftler verlassen sich auf KI, um Quellen zu finden. Sie hören auf zu lesen. Sie sehen eine Referenz, klicken darauf und gehen davon aus, dass sie gut ist. Sie suchen nicht nach Sideshow Bob in den Fußnoten.
In wissenschaftlichen Arbeiten häufen sich gefälschte Referenzen. Nicht, weil die Fälschungen immer schlauer werden. Weil wir faul werden.
Was passiert, wenn schlechte Akteure dies nutzen? Kein Witz. Als Gesundheitsratschlag getarnte Malware. Propaganda, die sich als Wissenschaft ausgibt. Die Werkzeuge sind die gleichen.
Wir bringen die Menschen in den Kreislauf. Dann lassen wir die Schleife selbst laufen.
Der Bildschirm tut immer noch weh. Die KI spricht immer noch. Aber wer hört eigentlich zu?
Wir hoffen, dass jemand die Kettenreaktion gestoppt hat. Wir hoffen, dass ein Rezensent laut gelacht hat. Aber in einer Welt unendlicher Daten und einer Aufmerksamkeitsspanne von null … könnten wir Glück haben, wenn es überhaupt jemand liest. 🖥️👁️
