Реальные проблемы прячутся в фальшивых данных. Именно это и доказала Альмира Османович Тунстрём.
Глаза устают от экрана.
Вы знаете это чувство. Зуд, резь в глазах после часов, проведённых вглядыванием в монитор. Большинство винит синий свет или сухость воздуха. Но если бы вы спросили популярный ИИ-чатбот в прошлом году, вы могли бы получить совершенно иной диагноз. Диагноз, которого не существует.
Биксонимания.
Миллионы людей спрашивают у ИИ медицинских советов. Они делают это перед визитом к врачу. Или вместо него. Это удобно. Это опасно. Иногда это фатально. Но проблема глубже, чем просто галлюцинации модели. Проблема в доверии. Слепом доверии.
Османович Тунстрём создала Биксониманию с нуля. Она исследователь из Швеции, которая делит своё время между академической средой и больницами. Она хотела показать студентам, как большие языковые модели на самом деле «питаются». Не в переносном смысле. В прямом смысле. Сбор данных, обработка, извержение их обратно в виде «истины».
Её мишенью были студенты-медики. Почему? Потому что они внимательно относятся к источникам медицинской информации. Если она могла обмануть систему в этой сфере, она могла обмануть саму модель.
Чертеж обмана
Всё началось с Common Crawl.
Некоммерческая организация, которая собирает данные из сети с 2007 года. Всё, что там есть, подкармливает искусственный интеллект. Даже чушь. Или, может быть, особенно ту чушь, которая выглядит правдоподобно.
Османович Тунстрём знала, что ИИ доверяет авторитетам. Поэтому она создала авторитет. Фальшивый университет. Фальшивый город. Фальшивого исследователя по имени Лазглив Игзуглйенавич.
Звучит серьезно? Введите его имя в переводчик.
Это означает «Лживый проигравший».
Сама статья была абсурдной. В названии упоминался «Дизайн реального БС» (англ. BS — сленговое обозначение чуши). В разделе методов было прямо сказано: «Вся эта статья выдумана». Пятьдесят вымышленных пациентов. Никаких реальных процедур. В благодарностях упоминались «Галактическая триада», «Властелин колец» и «Фонд Сайдшоу Боба».
Любой человек рассмеялся бы.
А ИИ?
Фильтра не существовало
Она ожидала фильтрации. Люди же рецензируют обучающие данные, верно? Кто-то должен был заметить упоминание финансирования со стороны «Звездоleta Энтерпрайз». Кто-то должен был заметить несуществующий город.
Но этого не произошло.
Блоги подхватили термин. Препринты — академические «таблоиды», где может опубликоваться кто угодно — впитали его. ИИ проглотил всё это.
Почему это имеет значение?
Потому что препринтам придаётся вес. В обучении медицинского ИИ они считаются достоверными данными. Османович Тунстрём не ожидала этого. Она просто бросила щепотку соли в интернет-каша. Думала, она испарится.
Вместо этого. Она забродила.
Она протестировала это. Спросила бота о розовых веках.
Сначала? Конъюнктивит. Аллергия. Стандартные вещи. Безопасные варианты.
Затем она нажала на газ. Без боли. Просто время перед экраном. Воздействие синего света. Гиперпигментация.
И тогда он попал в цель.
Биксонимания.
Это было последнее предложение. Но оно было там. Засаждено глубоко. Поливается водой авторитетных признаков. Урожай собран моделью.
Цитируется. Принято. Опасно?
Случилось худшее.
Фальшивая статья не просто прочиталась. Её цитировали. Другие исследователи ставили на неё ссылки. Это подняло статус Биксонимании в иерархии ИИ. Если рецензируемые журналы цитируют что-то, ИИ предполагает, что это реально. Замкнутый круг затягивается.
Этично ли это?
Османович Тунстрём старалась сделать всё безопасно. Она общалась с врачами. С пациентами. Чтобы минимизировать вред. Но она показала разрыв. Устрашающий разрыв.
Человеческое критическое мышление находится на нуле.
Академики полагаются на ИИ для поиска источников. Они перестают читать. Они видят ссылку, кликают, предполагают, что всё хорошо. Они не проверяют, нет ли Сайдшоу Боба в сносках.
Фальшивые ссылки взрываются в академических статьях. Не потому что подделки становятся умнее. А потому что мы становимся ленивее.
Что случится, когда этим воспользуются злоумышленники? Не шутка. Вредоносное ПО, маскирующееся под медицинские советы. Пропаганда, выдающая себя за науку. Инструменты одни и те же.
Мы поставили человека в цикл. А затем позволили циклу работать самостоятельно.
Глаза всё ещё болят от экрана. ИИ всё ещё говорит. Но кто на самом деле слушает?
Надеемся, кто-то прервал цепную реакцию. Надеемся, рецензент рассмеялся в голос. Но в мире бесконечных данных и нулевого внимания… нам повезет, если кто-то вообще это прочитал. 🖥️👁️
