Войти

ИИ от Microsoft уже превосходит людей в понимании людской речи

1090
1
-1
Источник изображения: Christoph Hardt/Geisler-Fotopres/Global Look Press

Модель ИИ Microsoft DeBERTa установила рекорд в тесте SuperGLUE, определяющем уровень понимания естественного языка. Она набрала 90,3 балла, а человек – 89,8 балла. Microsoft добилась таких результатов менее чем за два года, и в ее планы входит дальнейшее совершенствование своего ИИ.

Искусственный интеллект (ИИ) DeBERTa корпорации Microsoft превзошел возможности человека бенчмарке SuperGLUE – тесте на понимание естественного языка. Как сообщили CNews представители Microsoft, он набрал 90,3 балла, тогда как показатели человека находятся на уровне 89,8 балла. Другими словами, отрыв небольшой, но все же он есть.

DeBERTa (Decoding-enhanced BERT with disentangled attention) – это алгоритм понимания естественного языка (Natural Language Understanding, NLU), созданный Microsoft.

Тест SuperGLUE состоит из восьми задач, связанных с пониманием структуры текста, а также его контекста и причинно-следственных связей в нем. При его прохождении DeBERTa (Decoding-enhanced BERT with disentangled attention), помимо прочего, приходилось давать ответы на вопросы по «прочитанному» им абзацу, а также уточнять, правильно ли использовалось то или иное слово, для которого в языке предусмотрено несколько значений, в конкретном контексте.

Например, ИИ прочел фразу «ребенок стал невосприимчивым к болезни» (в оригинале – the child became immune to the disease (англ.)). По ней был задан вопрос «в чем причина этого?» (what’s the cause for this?), и DeBERTa предоставили два варианта ответа на него – «он избежал контакта с болезнью» (he avoided exposure to the disease) и «он получил вакцину от болезни» (he received the vaccine for the disease). Хотя человеку легко выбрать правильный ответ, для модели ИИ это сложно. Чтобы получить правильный ответ, модель должна понимать причинно-следственную связь между предпосылкой и двумя (или несколькими) правдоподобными вариантами ответа.

Сам по себе тест SuperGLUE был разработан группой специалистов в 2019 г., и на момент его релиза самый умный искусственный интеллект отставал от показателей человека почти на 20 баллов. Это означает, что Microsoft потребовалось менее двух лет, чтобы ее DeBERTa не только догнал, но и перегнал людей в понимании естественного языка.

В компании сообщили, что для этого ее специалистам пришлось глубоко модифицировать всю архитектуру ИИ-модели, и теперь в ее составе есть 48 слоев и 1,5 млрд различных параметров. Корпорация собирается сделать саму модель и ее исходный код публичным – вся необходимая информация будет размещена на ресурсе GitHub, которым Microsoft владеет с июня 2018 г.

Помимо полутора миллиардов параметров, у DeBERTa есть важное отличие от других ИИ-моделей, тоже сыгравшее свою роль в получении 90,3 балла в SuperGLUE. Этот ИИ по умолчанию учитывает не только значения слов, но и их позиции и роли в предложении. Для примера, в предложении «новый магазин открылся рядом с торговым центром» (a new store opened beside the new mall» он вполне в состоянии понять, что близкие по контекстному значению слово «магазин» (store) и словосочетание «торговый центр» (mall) играют разные синтаксические роли (подлежащим здесь является именно «магазин»).

Также специалисты Microsoft научили свое детище определять зависимость слов друг от друга. К примеру, DeBERTa понимает, что зависимость между словами «deep» и «learning» гораздо сильнее, когда они стоят рядом (термин «глубокое обучение»), чем когда они встречаются в разных предложениях.

Тот факт, что DeBERTa сумел превзойти человека в бенчмарке SuperGLUE, вовсе не означает, что искусственный интеллект во всех смыслах достиг уровня людей в понимании естественного языка. В Microsoft уточнили, что человек, в отличие от машин, для решения новых поставленных перед ним задач хорошо умеет применять свои знания, полученные им в течение своей жизни при выполнении тех или иных требований и поручений. Данное свойство людей называется «композиционным обобщением». «Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, необходимо продолжить исследования, для того чтобы развить у модели этот навык», – рассказали представители Microsoft.

У корпорации есть план по использованию имеющихся у DeBERTa возможностей. Она собирается интегрировать эту ИИ-модель в следующую версию тьюринговой модели Microsoft Turing (Turing NLRv4).

Microsoft применяет тьюринговые модели в целом спектре своих продуктов, среди которых поисковик бинг Bing, пакет офисных программ и Office облачный сервис Azure Cognitive Services. В них они используются, помимо прочего, чтобы совершенствовать взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и т. д.

В тесте SuperGLUE ИИ-модель Microsoft действительно обошла человека, заняв первое место, однако люди расположились не на второй, а лишь на третьей строчке рейтинга. «Серебро» получила еще одна модель искусственного интеллекта – T5 + Meena за авторством Google.

Ее результат 90,2 балла, то есть он всего на 0,1 балла ниже, чем у DeBERTa. На момент публикации результатов тестирования в SuperGLUE, пишет портал VentureBeat, Google не раскрывала подробности о своей модели ИИ, и за счет чего ей удалось добиться столь высоких показателей в этом бенчмарке.

Права на данный материал принадлежат
Материал размещён правообладателем в открытом доступе
  • В новости упоминаются
Проекты
Похожие новости
03.07.2008
В интересах ГПВ - 2015. Испытания нового российского истребителя идут успешно
22.04.2008
Полет конструкторской мысли
13.08.2007
Неутомим, бесстрастен, вооружен и опасен
14.06.2007
Русский истребитель американской гегемонии в воздухе
09.06.2007
6 июня 2007 г. в Минэкономразвития России состоялось заседание Экспертного совета по технико-внедренческим особым экономическим зонам
18.05.2007
Индия провела испытания системы тактической разведки
12.03.2007
Таинственное пятое поколение
1 комментарий
№1
18.01.2021 11:47
Цитата, q
Например, ИИ прочел фразу «ребенок стал невосприимчивым к болезни» (в оригинале – the child became immune to the disease (англ.)). По ней был задан вопрос «в чем причина этого?» (what’s the cause for this?), и DeBERTa предоставили два варианта ответа на него – «он избежал контакта с болезнью» (he avoided exposure to the disease) и «он получил вакцину от болезни» (he received the vaccine for the disease). Хотя человеку легко выбрать правильный ответ, для модели ИИ это сложно.
Упс-с-с... И где же тут ИИ превзошёл человека?!
Цитата, q
в предложении «новый магазин открылся рядом с торговым центром» (a new store opened beside the new mall» он вполне в состоянии понять, что близкие по контекстному значению слово «магазин» (store) и словосочетание «торговый центр» (mall) играют разные синтаксические роли (подлежащим здесь является именно «магазин»).
Надо же, какая сложность - определить члены предложения по их месту в предложении в английском языке или по их окончанию в русском языке! У нас в школе любой учитель любого языка этому всех детей учит...
Цитата, q
DeBERTa сумел превзойти человека в бенчмарке SuperGLUE
Каков тест - таков и результат. Голимая реклама Мелкомягкого на уши потребителей.
-1
Сообщить
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 28.03 20:21
  • 424
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 28.03 20:03
  • 2682
Как насчёт юмористического раздела?
  • 28.03 18:33
  • 2
Источник сообщил об успешном применении ВС РФ перспективных "прыгающих мин" в зоне СВО
  • 28.03 16:17
  • 0
Force de Frappe. Франция перебрасывает истребители Rafale в Румынию
  • 28.03 15:34
  • 1
Представлен модуль акустической разведки, находящий беспилотники по звуку
  • 28.03 13:54
  • 5
«Дальность полета возрастет в три раза»: французская компания представила управляемую бомбу Hammer 1000
  • 28.03 10:55
  • 2
Раскрыто назначение трехтонной российской бомбы
  • 28.03 10:12
  • 1
В США вспомнили о советском атомолете
  • 28.03 10:06
  • 62
В США оценили российские Су-34 с УМПК
  • 28.03 10:05
  • 1
Клинцевич рассказал о запускаемых со «Смерча» российских бомбах
  • 27.03 19:52
  • 1
Генпрокурор рассказал, как боевую технику ремонтировали контрафактом
  • 27.03 15:15
  • 454
Международные расчеты, минуя доллар, по странам
  • 27.03 15:00
  • 10
Глава Ростеха анонсировал возобновление выпуска самолётов радиолокационного обнаружения и управления А-50У
  • 27.03 14:34
  • 8
Александр Михеев: система ПВО С-400 "Триумф" в разы превосходит конкурентов
  • 27.03 14:29
  • 0
Украина начинает экспорт биогаза в ЕС