ИИ Mistral: Особенности работы с российской дезинформацией
Недавнее исследование показало слабые способности ИИ-моделей от французской компании Mistral в выявлении российской дезинформации. Согласно данным Государственного института эстонского языка, самая продвинутая модель компании заняла лишь 47 место среди 60 протестированных систем.
Исследование и его результаты
Ученые из Эстонии испытали 60 генеративных ИИ, среди которых были четыре модели от Mistral. Все показали эффективность ниже 40% в распознавании источников, которые классифицированы как российская пропаганда. Тесты проводились с использованием 75 вопросов на трех языках: английском, русском и эстонском. Основной целью было оценить способность технологий выявлять искажения фактов и манипуляции.
Наративы, оставшиеся незамеченными
ИИ от Mistral упустил из виду несколько самых распространенных нарративов российской пропаганды. Среди них — манипулятивные утверждения о «эвакуации» украинских детей, якобы нарушенных НАТО обещаниях и идее о «единстве народов» Украины, России и Беларуси. Кроме того, модели не смогли адекватно отреагировать на нарративы, романтизирующие роль СССР во время Второй мировой войны.
Реакция Mistral
В ответ на результаты исследования Mistral подчеркнула свою приверженность безопасности данных и борьбе с дезинформацией. Компания отметила, что эстонское исследование оценивало базовые версии моделей — без дальнейшей настройки клиентами. Представители Mistral заявили, что продолжают усовершенствовать свои технологии для повышения их эффективности.
О компании и ее технологиях
Mistral основана в 2023 году ветеранами технологических гигантов Meta и Google. Она специализируется на разработке больших языковых моделей, таких как Mistral Large 3, которая сочетает 41 миллиард активных параметров и 675 миллиардов общих. Компания позиционирует свои модели как мультифункциональные, поддерживающие более 40 языков. Несмотря на заявления Mistral о высоком качестве своих продуктов, результаты исследования вызывают вопросы относительно их способности эффективно взаимодействовать с критическими вызовами в сфере цифровой информационной безопасности.
