Модель ИИ Microsoft DeBERTa установила рекорд в тесте SuperGLUE, определяющем уровень понимания естественного языка. Она набрала 90,3 балла, а человек – 89,8 балла. Microsoft добилась таких результатов менее чем за два года, и в ее планы входит дальнейшее совершенствование своего ИИ.
Искусственный интеллект (ИИ) DeBERTa корпорации Microsoft превзошел возможности человека бенчмарке SuperGLUE – тесте на понимание естественного языка. Как сообщили CNews представители Microsoft, он набрал 90,3 балла, тогда как показатели человека находятся на уровне 89,8 балла. Другими словами, отрыв небольшой, но все же он есть.
DeBERTa (Decoding-enhanced BERT with disentangled attention) – это алгоритм понимания естественного языка (Natural Language Understanding, NLU), созданный Microsoft.
Тест SuperGLUE состоит из восьми задач, связанных с пониманием структуры текста, а также его контекста и причинно-следственных связей в нем. При его прохождении DeBERTa (Decoding-enhanced BERT with disentangled attention), помимо прочего, приходилось давать ответы на вопросы по «прочитанному» им абзацу, а также уточнять, правильно ли использовалось то или иное слово, для которого в языке предусмотрено несколько значений, в конкретном контексте.
Например, ИИ прочел фразу «ребенок стал невосприимчивым к болезни» (в оригинале – the child became immune to the disease (англ.)). По ней был задан вопрос «в чем причина этого?» (what’s the cause for this?), и DeBERTa предоставили два варианта ответа на него – «он избежал контакта с болезнью» (he avoided exposure to the disease) и «он получил вакцину от болезни» (he received the vaccine for the disease). Хотя человеку легко выбрать правильный ответ, для модели ИИ это сложно. Чтобы получить правильный ответ, модель должна понимать причинно-следственную связь между предпосылкой и двумя (или несколькими) правдоподобными вариантами ответа.
Сам по себе тест SuperGLUE был разработан группой специалистов в 2019 г., и на момент его релиза самый умный искусственный интеллект отставал от показателей человека почти на 20 баллов. Это означает, что Microsoft потребовалось менее двух лет, чтобы ее DeBERTa не только догнал, но и перегнал людей в понимании естественного языка.
В компании сообщили, что для этого ее специалистам пришлось глубоко модифицировать всю архитектуру ИИ-модели, и теперь в ее составе есть 48 слоев и 1,5 млрд различных параметров. Корпорация собирается сделать саму модель и ее исходный код публичным – вся необходимая информация будет размещена на ресурсе GitHub, которым Microsoft владеет с июня 2018 г.
Помимо полутора миллиардов параметров, у DeBERTa есть важное отличие от других ИИ-моделей, тоже сыгравшее свою роль в получении 90,3 балла в SuperGLUE. Этот ИИ по умолчанию учитывает не только значения слов, но и их позиции и роли в предложении. Для примера, в предложении «новый магазин открылся рядом с торговым центром» (a new store opened beside the new mall» он вполне в состоянии понять, что близкие по контекстному значению слово «магазин» (store) и словосочетание «торговый центр» (mall) играют разные синтаксические роли (подлежащим здесь является именно «магазин»).
Также специалисты Microsoft научили свое детище определять зависимость слов друг от друга. К примеру, DeBERTa понимает, что зависимость между словами «deep» и «learning» гораздо сильнее, когда они стоят рядом (термин «глубокое обучение»), чем когда они встречаются в разных предложениях.
Тот факт, что DeBERTa сумел превзойти человека в бенчмарке SuperGLUE, вовсе не означает, что искусственный интеллект во всех смыслах достиг уровня людей в понимании естественного языка. В Microsoft уточнили, что человек, в отличие от машин, для решения новых поставленных перед ним задач хорошо умеет применять свои знания, полученные им в течение своей жизни при выполнении тех или иных требований и поручений. Данное свойство людей называется «композиционным обобщением». «Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, необходимо продолжить исследования, для того чтобы развить у модели этот навык», – рассказали представители Microsoft.
У корпорации есть план по использованию имеющихся у DeBERTa возможностей. Она собирается интегрировать эту ИИ-модель в следующую версию тьюринговой модели Microsoft Turing (Turing NLRv4).
Microsoft применяет тьюринговые модели в целом спектре своих продуктов, среди которых поисковик бинг Bing, пакет офисных программ и Office облачный сервис Azure Cognitive Services. В них они используются, помимо прочего, чтобы совершенствовать взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и т. д.
В тесте SuperGLUE ИИ-модель Microsoft действительно обошла человека, заняв первое место, однако люди расположились не на второй, а лишь на третьей строчке рейтинга. «Серебро» получила еще одна модель искусственного интеллекта – T5 + Meena за авторством Google.
Ее результат 90,2 балла, то есть он всего на 0,1 балла ниже, чем у DeBERTa. На момент публикации результатов тестирования в SuperGLUE, пишет портал VentureBeat, Google не раскрывала подробности о своей модели ИИ, и за счет чего ей удалось добиться столь высоких показателей в этом бенчмарке.
