Google и DeepMind представили VaultGemma — новую языковую модель с акцентом на конфиденциальность
Google Research в сотрудничестве с DeepMind презентовали VaultGemma, масштабную языковую модель, которая отличается дифференцированной приватностью. Это крупнейшая в мире открытая модель подобного типа, которая уже доступна на платформах Hugging Face и Kaggle.
Модель VaultGemma обучается с помощью технологии дифференцированной приватности (DP), что позволяет усилить защиту конфиденциальной информации. Специально сгенерированный «шум» в данных не позволяет модели запоминать детали, защищая приватность пользователей. Однако технология DP требует больше ресурсов, а также больших массивов данных для обучения моделей.
Чтобы улучшить эффективность обучения несмотря на сложности, команда Google разработала новейшие «законы масштабирования». Эти правила помогают оптимизировать баланс между качеством обучения, объемами данных, ресурсами и уровнем конфиденциальности.
Тестирование VaultGemma показало, что её производительность сопоставима с языковыми системами пятилетней давности, подобно GPT-2, но с повышенной защитой данных. Модель не воспроизводит обучающие примеры, что исключает возможность утечки приватной информации даже при запросах, похожих на обучающие.
В Google считают, что VaultGemma является значительным шагом в стремлении к безопасному и ответственному искусственному интеллекту. Хотя в настоящее время существует разрыв в качестве между приватными и обычными моделями, компания надеется, что благодаря дальнейшим исследованиям этот разрыв удастся сократить.
