Розробники створили штучний інтелект, який "живе" у 1930-х: модель Talkie не знає про Другу світову та комп’ютери

Експериментальна мовна модель Talkie-1930-13B досліджує минуле

Команда під керівництвом Алека Редфорда представила Talkie-1930-13B — мовну модель, треновану на текстах до 1931 року, щоб вивчити здатність штучного інтелекту узагальнювати без сучасних знань.

Модель Talkie-1930-13B, розроблену групою під керівництвом колишнього працівника OpenAI Алека Редфорда, натреновано на 260 мільярдах токенів текстів англійською мовою, створених до 1931 року. Вона містить книги, газети, наукові журнали, патенти та юридичні документи. Мета експерименту — зрозуміти, чи може штучний інтелект, позбавлений сучасних знань, самостійно дійти до відкриттів, які людство зробило пізніше.

Модель Talkie-1930 демонструє хороші результати в базових моментах, таких як розуміння мови, логіка та базова математика. Вона навіть здатна написати простий код за умови наявності прикладів, хоча не знає про значні історичні події та сучасні технології через обмеження свого датасету.

Розробники вважають, що такі "вінтажні" моделі можуть допомогти зрозуміти принципи узагальнення даних та здатність штучного інтелекту прогнозувати майбутнє. Також це дозволяє зменшити проблему "забруднення" даних, коли моделі запам’ятовують відповіді замість їхнього генерації.

Проте реалізація проекту пов’язана з викликами. Оцифровані тексти містять багато помилок, що знижує ефективність навчання. Крім того, існує ризик "витоків часу" через потрапляння сучасних знань до датасету, спотворюючи результати експерименту.

У майбутньому розробники планують масштабувати модель до рівня ранніх версій ChatGPT і розширити корпус текстів іншими мовами.