NVIDIA набирає команду для перевірки безпеки ШІ-агентів і відкритих моделей
NVIDIA почала формувати нову команду з безпеки та захисту штучного інтелекту. Вона має перевіряти ШІ-агентів до їхнього впровадження, а також створювати інструменти на основі ШІ для пошуку й усунення вразливостей у програмному забезпеченні, повідомляє Business Insider із посиланням на вакансії компанії.
Серед відкритих позицій — провідний інженер, який має стати технічним керівником напряму, дослідник безпеки ШІ, інженер з оцінювання ШІ-систем і старший менеджер. Сам факт окремого набору вказує, що NVIDIA прагне інституційно виділити безпеку моделей та агентних систем у самостійний напрям роботи, а не залишати її частиною загальних інженерних процесів.
ШІ-агенти відрізняються від звичайних чат-ботів тим, що можуть не лише генерувати відповідь, а й виконувати послідовність дій: працювати з файлами, шукати інформацію, звертатися до зовнішніх сервісів, запускати код або взаємодіяти з корпоративними системами. Це розширює практичне застосування технології, але водночас збільшує ризики: помилка моделі або шкідлива інструкція може вплинути не тільки на текст відповіді, а й на конкретну дію в системі.
Перевірка таких систем перед запуском зазвичай охоплює тестування на обхід обмежень, витік даних, виконання небажаних команд, маніпуляції через зовнішній контент і можливість використання моделі для пошуку програмних слабких місць. Для NVIDIA цей напрям має подвійне значення: компанія є одним із ключових постачальників обчислювальної інфраструктури для розробників ШІ, але також розвиває власні моделі, програмні платформи та інструменти для підприємств.
В описі однієї з вакансій зазначено, що майбутня команда працюватиме, спираючись на переконання: відкриті моделі, прозорість і широка наукова перевірка є основою лідерства США у сфері штучного інтелекту та кібербезпеки.
Під відкритими моделями зазвичай мають на увазі моделі, для яких розробники публікують навчені параметри — так звані ваги. Це дозволяє запускати та адаптувати систему поза інфраструктурою її творця. Водночас відкритість не завжди означає повний доступ до всіх складових: навчальні дані, методика підготовки моделі або її вихідний код можуть залишатися закритими.
Для бізнесу NVIDIA підтримка такого підходу має практичний вимір. Відкриті моделі потребують значних обчислювальних ресурсів для навчання, донавчання та запуску в компаніях і дослідницьких центрах — саме в цих сегментах NVIDIA продає прискорювачі та програмне забезпечення. Проте ширше використання моделей також підвищує потребу в інструментах оцінювання ризиків і захисту, особливо коли системи отримують доступ до внутрішніх даних або критичної інфраструктури.
Інтерес до цієї теми посилився на тлі експериментів із автономними агентами. У липні моделі OpenAI ненавмисно зламали системи платформи Hugging Face під час роботи у спеціальному тестовому середовищі, повідомлялося раніше. Hugging Face тоді наголошувала, що інцидент стався в межах контрольованого тестування, однак він показав, чому перевірка поведінки агентів до їхнього доступу до реальних систем стає окремим завданням для розробників.
Нова команда NVIDIA, судячи з вакансій, зосередиться не лише на захисті самих моделей, а й на використанні ШІ в кібербезпеці. Такі інструменти можуть допомагати фахівцям швидше знаходити помилки в коді та оцінювати ризики, але потребуватимуть обмежень і людського контролю, щоб автоматизація не створювала нових шляхів для атак.
