Реальні проблеми ховаються у фальшивих даних. Саме це довела Альміра Османович Тунстрем.
Очі втомлюються від екрану.
Ви знаєте це почуття. Сверблячка, різь в очах після годинника, проведеного вдивлянням в монітор. Більшість звинувачує синє світло або сухість повітря. Але якби ви запитали популярний ІІ-чатбот у минулому році, ви могли б отримати зовсім інший діагноз. Діагноз, якого немає.
Біксонімія.
Мільйони людей запитують у ІІ медичних порад. Вони роблять це перед візитом до лікаря. Або замість нього. Це зручно. Це небезпечно. Іноді це фатально. Але проблема глибша, ніж просто галюцинації моделі. Проблема у довірі. Сліпій довірі.
Османович Тунстрем створила Біксонімію з нуля. Вона дослідник зі Швеції, яка ділить свій час між академічним середовищем та лікарнями. Вона хотіла показати студентам, як великі мовні моделі насправді харчуються. Не в переносному значенні. У прямому значенні. Збір даних, обробка, виверження їх у вигляді «істини».
Її метою були студенти-медики. Чому? Тому що вони уважно ставляться до джерел медичної інформації. Якщо вона могла обдурити систему у цій сфері, вона могла обдурити саму модель.
Креслення обману
Все почалося з Common Crawl.
Некомерційна організація, яка збирає дані із мережі з 2007 року. Все, що є там, підгодовує штучний інтелект. Навіть нісенітниця. Або, можливо, “особливо” ту нісенітницю, яка виглядає правдоподібно.
Османович Тунстрем знала, що ІІ довіряє авторитетам. Тому вона створила авторитет. Фальшивий університет Несправжнє місто. Фальшивого дослідника на ім’я Лазглів Ігзуглйєнавіч.
Звучить серйозно? Введіть його ім’я у перекладач.
Це означає «брехливий програв».
Сама стаття була абсурдною. У назві згадувався “Дизайн реального БС” (англ. BS – сленгове позначення нісенітниці). У розділі методів було прямо сказано: * “Уся ця стаття вигадана” *. П’ятдесят вигаданих пацієнтів. Жодних реальних процедур. У подяках згадувалися «Галактична тріада», «Володар кілець» та «Фонд Сайдшоу Боба».
Будь-яка людина розсміялася б.
А ІІ?
Фільтру не існувало
Вона чекала на фільтрацію. Люди ж рецензують навчальні дані, правда? Хтось мав помітити згадку про фінансування з боку «Звездоleta Ентерпрайз». Хтось мав помітити неіснуюче місто.
Але цього не сталося.
Блоги підхопили термін. Препринти — академічні «таблоїди», де може опублікуватися будь-хто — увібрали його. ІІ проковтнув усе це.
Чому це має значення?
Тому що препринтам надається вага. У навчанні медичного ІІ вони вважаються достовірними даними. Османович Тунстрем не чекала цього. Вона просто кинула дрібку солі в інтернет-кашу. Думала, вона випарується.
Натомість. Вона забродила.
Вона протестувала це. Запитала бота про рожеві повіки.
Спершу? Кон’юнктивіт. Алергія. Стандартні речі. Безпечні варіанти.
Потім вона натиснула на газ. Без болю. Простий час перед екраном. Вплив синього світла. Гіперпігментація.
І тоді він потрапив у ціль.
Біксоніманія.
Це була остання пропозиція. Але вона була там. Засаджено глибоко. Поливається водою авторитетних ознак. Урожай зібрано моделлю.
Цитується. Прийнято. Небезпечно?
Сталося найгірше.
Фальшива стаття не просто прочиталася. Її цитували. Інші дослідники ставили неї посилання. Це підняло статус біксонімії в ієрархії ІІ. Якщо журнали, що рецензуються, цитують щось, ІІ передбачає, що це реально. Замкнене коло затягується.
Чи це етично?
Османович Тунстрем намагалася зробити все безпечно. Вона спілкувалася з лікарями. З пацієнтами. Щоб мінімізувати шкоду. Але вона показала розрив. Страшний розрив.
Людське критичне мислення перебуває в нулі.
Академіки покладаються на ІІ для пошуку джерел. Вони перестають читати. Вони бачать заслання, кликають, припускають, що все добре. Вони не перевіряють, чи немає Сайдшоу Боба у виносках.
Фальшиві посилання вибухають у академічних статтях. Не тому що підробки стають розумнішими. А тому що ми стаємо лінивішими.
Що станеться, коли скористаються зловмисники? Не жарт. Шкідливе ПЗ, що маскується під медичні поради. Пропаганда, що видає себе за науку. Інструменти одні й самі.
Ми поставили людину в цикл. А потім дозволили циклу працювати самостійно.
Очі ще болять від екрану. ІІ все ще каже. Але хто справді слухає?
Сподіваємось, хтось перервав ланцюгову реакцію. Сподіваємось, рецензент засміявся в голос. Але у світі нескінченних даних та нульової уваги… нам пощастить, якщо хтось узагалі це прочитав. 🖥️👁️
