Экспериментальная языковая модель Talkie-1930-13B исследует прошлое
Команда под руководством Алека Редфорда представила Talkie-1930-13B — языковую модель, обученную на текстах до 1931 года, чтобы изучить способность искусственного интеллекта обобщать без современных знаний.
Модель Talkie-1930-13B, разработанная группой под руководством бывшего сотрудника OpenAI Алека Редфорда, обучена на 260 миллиардах токенов текстов на английском языке, созданных до 1931 года. Она включает книги, газеты, научные журналы, патенты и юридические документы. Цель эксперимента — понять, может ли искусственный интеллект, лишенный современных знаний, самостоятельно прийти к открытиям, которые человечество сделало позже.
Модель Talkie-1930 демонстрирует хорошие результаты в базовых моментах, таких как понимание языка, логика и базовая математика. Она даже способна написать простой код при наличии примеров, хотя не знает о значительных исторических событиях и современных технологиях из-за ограничений своего датасета.
Разработчики считают, что такие "винтажные" модели могут помочь понять принципы обобщения данных и способность искусственного интеллекта прогнозировать будущее. Также это позволяет уменьшить проблему "загрязнения" данных, когда модели запоминают ответы вместо их генерации.
Однако реализация проекта связана с вызовами. Оцифрованные тексты содержат много ошибок, что снижает эффективность обучения. Кроме того, существует риск "утечек времени" из-за попадания современных знаний в датасет, искажающих результаты эксперимента.
В будущем разработчики планируют масштабировать модель до уровня ранних версий ChatGPT и расширить корпус текстов другими языками.
Основные характеристики модели: Talkie-1930-13B
Объем текстов: 260 млрд токенов
Источники данных: Книги, газеты, научные журналы, патенты, юридические документы
Особенности: Отсутствие современных знаний, способность к обобщению
Проблемы: Ошибки в датасете, "утечки времени"
