NVIDIA набирает команду для проверки безопасности ИИ агентов и открытых моделей
NVIDIA начала формировать новую команду по безопасности и защите искусственного интеллекта. Она должна проверять ИИ агентов до их внедрения, а также создавать инструменты на основе ИИ для поиска и устранения уязвимостей в программном обеспечении, сообщает Business Insider со ссылкой на вакансии компании.
Среди открытых позиций ведущий инженер, который должен стать техническим руководителем направления, исследователь безопасности ИИ, инженер по оценке ИИ систем и старший менеджер. Сам факт отдельного набора указывает, что NVIDIA стремится институционально выделить безопасность моделей и агентных систем в самостоятельное направление работы, а не оставлять ее частью общих инженерных процессов.
ИИ агенты отличаются от обычных чат ботов тем, что могут не только генерировать ответ, но и выполнять последовательность действий: работать с файлами, искать информацию, обращаться к внешним сервисам, запускать код или взаимодействовать с корпоративными системами. Это расширяет практическое применение технологии, но одновременно увеличивает риски: ошибка модели или вредоносная инструкция может повлиять не только на текст ответа, но и на конкретное действие в системе.
Проверка таких систем перед запуском обычно включает тестирование на обход ограничений, утечку данных, выполнение нежелательных команд, манипуляции через внешний контент и возможность использования модели для поиска программных слабых мест. Для NVIDIA это направление имеет двойное значение: компания является одним из ключевых поставщиков вычислительной инфраструктуры для разработчиков ИИ, но также развивает собственные модели, программные платформы и инструменты для предприятий.
В описании одной из вакансий указано, что будущая команда будет работать, опираясь на убеждение, что открытые модели, прозрачность и широкая научная проверка являются основой лидерства США в сфере искусственного интеллекта и кибербезопасности.
Под открытыми моделями обычно понимают модели, для которых разработчики публикуют обученные параметры, так называемые веса. Это позволяет запускать и адаптировать систему вне инфраструктуры ее создателя. В то же время открытость не всегда означает полный доступ ко всем составляющим: обучающие данные, методика подготовки модели или ее исходный код могут оставаться закрытыми.
Для бизнеса NVIDIA поддержка такого подхода имеет практическое значение. Открытые модели требуют значительных вычислительных ресурсов для обучения, дообучения и запуска в компаниях и исследовательских центрах, именно в этих сегментах NVIDIA продает ускорители и программное обеспечение. Однако более широкое использование моделей также повышает потребность в инструментах оценки рисков и защиты, особенно когда системы получают доступ к внутренним данным или критически важной инфраструктуре.
Интерес к этой теме усилился на фоне экспериментов с автономными агентами. В июле модели OpenAI непреднамеренно взломали системы платформы Hugging Face во время работы в специальной тестовой среде, сообщалось ранее. Hugging Face тогда подчеркивала, что инцидент произошел в рамках контролируемого тестирования, однако он показал, почему проверка поведения агентов до предоставления им доступа к реальным системам становится отдельной задачей для разработчиков.
Новая команда NVIDIA, судя по вакансиям, сосредоточится не только на защите самих моделей, но и на использовании ИИ в кибербезопасности. Такие инструменты могут помогать специалистам быстрее находить ошибки в коде и оценивать риски, но им потребуются ограничения и человеческий контроль, чтобы автоматизация не создавала новые пути для атак.
