Google презентувала VaultGemma — найбільшу відкриту мовну модель з диференційованою приватністю

Google і DeepMind представили VaultGemma — нову мовну модель з акцентом на конфіденційність

Google Research у співпраці з DeepMind презентували VaultGemma, масштабну мовну модель, яка вирізняється диференційованою приватністю. Це найбільша в світі відкрита модель подібного типу, що вже доступна на платформах Hugging Face і Kaggle.

Модель VaultGemma навчається за допомогою технології диференційованої приватності (DP), що дозволяє підвищити захист конфіденційної інформації. Спеціально згенерований «шум» у даних не дає моделі запам’ятовувати деталі, захищаючи приватність користувачів. Однак, технологія DP вимагає більше ресурсів, а також великих масивів даних для навчання моделей.

Щоб покращити ефективність навчання попри складнощі, команда Google розробила новітні «закони масштабування». Ці правила допомагають оптимізувати баланс між якістю навчання, обсягами даних, ресурсами й рівнем конфіденційності.

Тестування VaultGemma показало, що її продуктивність співмірна з мовними системами п’ятирічної давності, на кшталт GPT-2, але з підвищеним захистом даних. Модель не відтворює навчальні приклади, що виключає можливість витоку приватної інформації навіть за запитів, схожих на навчальні.

У Google вважають, що VaultGemma є значним кроком у прагненні до безпечного та відповідального штучного інтелекту. Хоча нині існує розрив у якості між приватними і звичайними моделями, компанія сподівається, що завдяки подальшим дослідженням цей розрив вдасться скоротити.