Разработчики SberDevices провели тестирование собственной текстовой модели. По итогам испытаний языковая модель ruRoBERTa уступает лишь человеку.
Оценка модели производилась с использованием бенчмарка Russian SuperGLUE, который проверяет языковые данные ИИ на логику, здравый смысл, целеполагание и понимание смысла текста, созданный на основе англоязычной методологии GLUE и SuperGlue (General Language Understanding Evaluation - оценка общего понимания языка). По словам разработчиков, этим тестом пользуются все разработчики русскоязычных нейросетей.
За основу ruRoBERTa была взята другая модель Сбера ruBERT. Обучение проходило на большом количестве русскоязычного текста с использованием суперкомпьютера «Кристофари» и заняло три недели. Итоговый набор данных занял 250 гигабайт. По результатам тестов модель ruRoBERTa признана лучшей в мире по распознаванию русского языка и не только запоминает задания, но и освоила разнообразие феноменов языка.
«Наша конечная цель — создание надежных интеллектуальных систем для решения разноплановых задач на русском языке, которые могут стать предшественниками сильного искусственного интеллекта отечественной сборки», — прокомментировал исполнительный вице-президент Сбера Давид Рафаловский.