Войти

Нейросеть перевела текст в жестовую речь

1222
0
0
Нейросеть перевела текст в жестовую речь
Нейросеть перевела текст в жестовую речь.
Источник изображения: Ben Saunders et al. / arXiv.org, 2020

Бринанские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Разработчики из Университета Суррея под руководством Ричарда Боудена (Richard Bowden) создали алгоритм, который более качественно производит сурдоперевод, в том числе отдельно обучается для качественного синтеза кистей — они крайне важны в жестовых языках. Изначально алгоритм принимает речь в виде текста. Затем текст проходит через кодировщик и декодировщик и превращается в скелетную модель тела, иллюстрирующую жест говорящего. После этого полученная последовательность поз кодируется в вектор. Он объединяется с вектором, полученным от стилевого изображения — фотографии человека, которую необходимо анимировать. Наконец, после этого последовательность поз подается на сверточную нейросеть U-Net, которая производит перенос движений с поз на реалистичное видео.


Схема работы алгоритма

Источник изображения: Ben Saunders et al. / arXiv.org, 2020


Во время обучения дискриминатор работал как со всем сгенерированным человеком в целом, так и отдельно с его кистями. Результат работы нейросети размечался алгоритмом OpenPose, который размечает на человеке его скелетную модель тела. Сравнивая сгенерированную алгоритмом модель тела с той, которая была размечена людьми, алгоритм по ходу обучения совершенствовал свой навык синтеза качественных кадров, на которых хорошо различимы детали.

Авторы обучили алгоритм на датасете PHOENIX14T, состоящем из 386 аннотированных записей работы сурдопереводчиков на немецком телеканале. Они проверили работу алгоритма, использовав несколько метрик, в том числе индекс структурного сходства, показывающий схожесть двух изображений. Индекс рассчитывался для исходного изображения из датасета и синтетического, созданного нейросетью, причем как для всей верхней части тела, так и отдельно для кистей. Сравнение с другими алгоритмами на одинаковых данных показало, что по всем четырем используемым метрикам новый алгоритм превосходит аналоги.


Сравнение нового алгоритма с аналогами по количественным метрикам

Источник изображения: Ben Saunders et al. / arXiv.org, 2020


Также разработчики провели тест на 46 добровольцах (28 процентов из них — носители жестового языка), попросив их оценить реалистичность видео, сгенерированного разными алгоритмами. В этом сравнении также в абсолютном большинстве случаев добровольцы выбирали новый алгоритм.


Доля добровольцев, которые назвали результаты работы нового алгоритма более качественными по сравнению с аналогами

Источник изображения: Ben Saunders et al. / arXiv.org, 2020


Есть и другой подход к автоматизации сурдоперевода. Бельгийские инженеры предложили использовать для этого роборуку, которая умеет показывать различные жесты.

Григорий Копиев

Права на данный материал принадлежат
Материал размещён правообладателем в открытом доступе
  • В новости упоминаются
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 23.05 12:08
  • 2
Нестабильность, созданная Трампом, дает Путину шанс нанести удар (The Times, Великобритания)
  • 23.05 12:06
  • 2
"Рособоронэкспорт": модернизация МиГ-29 и БМП-2 – крупнейшие совместные проекты с ВПК Белоруссии
  • 23.05 11:28
  • 1
Подаренный Катаром Дональду Трампу президентский Boeing 747-8 потребует сотни миллионов долларов и пять лет доработок
  • 23.05 10:11
  • 8978
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 23.05 10:01
  • 1
Будущее за тяжелыми "противоснарядными" БМП весом в 55 тонн
  • 23.05 02:46
  • 1
В Севастополе разработали СВЧ-микросхему для систем с АФАР
  • 23.05 02:39
  • 1
Американские ведомые дроны полетят летом
  • 23.05 02:03
  • 1
Ответ на "В США назвали причину неэффективности танков Abrams на Украине"
  • 22.05 23:28
  • 0
По поводу "Су-35С, Су-57М1, КС-172… Российские ВКС в новую эпоху господства в воздухе (infoBRICS, Китай)"
  • 22.05 21:17
  • 0
Ответ на "Трамп резко изменил курс в отношении России: Москва получит все что хотела (The New York Times, США)""
  • 22.05 21:07
  • 13
КНДР ратифицировала договор о стратегическом партнерстве с Россией - ЦТАК
  • 22.05 20:34
  • 4
Су-35С, Су-57М1, КС-172… Российские ВКС в новую эпоху господства в воздухе (infoBRICS, Китай)
  • 22.05 11:24
  • 1
В США назвали причину неэффективности танков Abrams на Украине
  • 22.05 11:01
  • 1
Трамп резко изменил курс в отношении России: Москва получит все что хотела (The New York Times, США)
  • 22.05 10:48
  • 62
Какое оружие может оказаться эффективным против боевых беспилотников