Недавні повідомлення про "смерть" Дональда Трампа стали яскравим прикладом так званого AI poisoning, або отруєння штучного інтелекту — маніпуляційного втручання у навчальні дані моделей, що веде до небезпечних системних збоїв. Ця технологічна загроза дедалі більше стає реальністю, що потребує уваги не лише від ІТ-спеціалістів, а й від усіх користувачів.
Що ж таке отруєння ШІ? Це процес внесення шкідливих даних до навчальних алгоритмів моделей, спрямований на зміну поведінки системи в небажаних або навіть небезпечних напрямках. Це загроза, якої не варто недооцінювати, адже наслідки можуть бути досить серйозними — від невірних медичних діагнозів до ризику для безпекових автоматизованих систем.
Наукові установи, такі як Anthropic, виокремлюють, що всього 250 шкідливих документів можуть суттєво зменшити надійність великої мовної моделі. Це означає, що навіть найбільші моделі, незалежно від розміру їхніх навчальних даних, можуть стати вразливими до невеличкої кількості маніпуляцій.
Одним із прикладів атаки з отруєнням є впровадження бекдорів — спеціальних фраз, які можуть змусити модель видавати чутливу інформацію або робити невірні прогнози. У сфері безпілотних автомобілів такі збої можуть стати причиною ДТП, коли система неправильно розпізнає небезпеки на дорозі.
Іншою небезпекою є вплив фейкових наукових даних на медичні протоколи. Використання некоректних статей, згенерованих фейковими "паперовими фабриками", може призводити до вагомих викривлень в медичній літературі, що своєю чергою вплине на клінічну практику.
Атаки на спам-фільтри, коли зловмисники навчають модель класифікувати спам як варте уваги повідомлення, є ще одним прикладом того, як отруєння даних може впливати на використовувані щодня технології.
Проте найбільший вплив отруєння ШІ має на графічні моделі. Системи генерації зображень, як-от DALL-E чи Midjourney, можуть видавати абсурдні результати через хибні дані. Інструменти на кшталт Nightshade допомагають художникам захищати свої роботи, змінюючи пікселі так, що модель їх інтерпретує неправильно.
Захист від подібних маніпуляцій полягає в постійному моніторингу та обслуговуванні систем, а також впровадженні комплексних інструментів для тестування поведінки моделей. Це включає перевірку всіх навчальних наборів даних і моніторинг аномальної поведінки.
При підвищенні популярності використання штучного інтелекту в повсякденному житті та бізнесі, важливо розуміти ризики та захищати свої дані. Це не лише знижує фінансові ризики, а й допомагає убезпечити особисту інформацію від зловмисного використання.
