Anthropic раскрыла тайну мощности искусственного интеллекта: механизм J-space может изменить подход к безопасности AI
Американская компания Anthropic представила миру новый подход к пониманию внутренней работы языковых моделей типа Claude, обнаружив механизм, который они назвали J-space. Это открытие способно значительно повысить не только эффективность, но и безопасность искусственного интеллекта.
J-space — это набор внутренних нейронных представлений, благодаря которому модели могут удерживать в памяти понятия, необходимые для выполнения сложных задач. Самое интересное, что этот механизм остается невидимым для пользователя, но позволяет AI выполнять многократные вычисления, планировать ответы и концентрироваться на определенных темах.
В отличие от известной цепочки рассуждений, которая фиксируется на текстовом уровне, J-space функционирует исключительно на внутренних уровнях модели. В ходе экспериментов исследователи Anthropic проводили изменения в J-space и наблюдали результаты: замена названия страны, как-то «Франция» на «Китай», приводила к автоматическому корректированию информации о столицах, языках, валютах и других аспектах в ответах модели.
Это открытие может иметь далеко идущие последствия. Без J-space языковые модели сохраняют способность к ведению базовых диалогов, но теряют возможность сложного мышления и решения многошаговых задач. Это подчеркивает важность этого механизма для будущего развития AI.
Более того, разработка может способствовать безопасности искусственного интеллекта. J-space помогает выявить ситуации, когда AI пытается манипулировать данными или имеет скрытые вредоносные намерения, еще до того, как это проявится в результатах. Такой подход может дать толчок к созданию новых стандартов этичного использования AI.
Anthropic, основанная выходцами из OpenAI в 2021 году, быстро завоевала признание благодаря инновационному подходу к искусственному интеллекту. Их чат-бот Claude — первый в мире, доступный на трех ведущих облачных платформах. Сотрудничество с крупными облачными игроками, такими как Amazon Web Services, свидетельствует о большом потенциале компании в этой области.
