Войти

Нейросеть перевела текст в жестовую речь

1282
0
0
Нейросеть перевела текст в жестовую речь
Нейросеть перевела текст в жестовую речь.
Источник изображения: Ben Saunders et al. / arXiv.org, 2020

Бринанские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Разработчики из Университета Суррея под руководством Ричарда Боудена (Richard Bowden) создали алгоритм, который более качественно производит сурдоперевод, в том числе отдельно обучается для качественного синтеза кистей — они крайне важны в жестовых языках. Изначально алгоритм принимает речь в виде текста. Затем текст проходит через кодировщик и декодировщик и превращается в скелетную модель тела, иллюстрирующую жест говорящего. После этого полученная последовательность поз кодируется в вектор. Он объединяется с вектором, полученным от стилевого изображения — фотографии человека, которую необходимо анимировать. Наконец, после этого последовательность поз подается на сверточную нейросеть U-Net, которая производит перенос движений с поз на реалистичное видео.


Схема работы алгоритма

Источник изображения: Ben Saunders et al. / arXiv.org, 2020


Во время обучения дискриминатор работал как со всем сгенерированным человеком в целом, так и отдельно с его кистями. Результат работы нейросети размечался алгоритмом OpenPose, который размечает на человеке его скелетную модель тела. Сравнивая сгенерированную алгоритмом модель тела с той, которая была размечена людьми, алгоритм по ходу обучения совершенствовал свой навык синтеза качественных кадров, на которых хорошо различимы детали.

Авторы обучили алгоритм на датасете PHOENIX14T, состоящем из 386 аннотированных записей работы сурдопереводчиков на немецком телеканале. Они проверили работу алгоритма, использовав несколько метрик, в том числе индекс структурного сходства, показывающий схожесть двух изображений. Индекс рассчитывался для исходного изображения из датасета и синтетического, созданного нейросетью, причем как для всей верхней части тела, так и отдельно для кистей. Сравнение с другими алгоритмами на одинаковых данных показало, что по всем четырем используемым метрикам новый алгоритм превосходит аналоги.


Сравнение нового алгоритма с аналогами по количественным метрикам

Источник изображения: Ben Saunders et al. / arXiv.org, 2020


Также разработчики провели тест на 46 добровольцах (28 процентов из них — носители жестового языка), попросив их оценить реалистичность видео, сгенерированного разными алгоритмами. В этом сравнении также в абсолютном большинстве случаев добровольцы выбирали новый алгоритм.


Доля добровольцев, которые назвали результаты работы нового алгоритма более качественными по сравнению с аналогами

Источник изображения: Ben Saunders et al. / arXiv.org, 2020


Есть и другой подход к автоматизации сурдоперевода. Бельгийские инженеры предложили использовать для этого роборуку, которая умеет показывать различные жесты.

Григорий Копиев

Права на данный материал принадлежат
Материал размещён правообладателем в открытом доступе
  • В новости упоминаются
Хотите оставить комментарий? Зарегистрируйтесь и/или Войдите и общайтесь!
ПОДПИСКА НА НОВОСТИ
Ежедневная рассылка новостей ВПК на электронный почтовый ящик
  • Разделы новостей
  • Обсуждаемое
    Обновить
  • 29.09 19:53
  • 10681
Без кнута и пряника. Россия лишила Америку привычных рычагов влияния
  • 29.09 18:12
  • 1
В России нашли ответ против украинской «Бабы-Яги»
  • 29.09 16:36
  • 0
Военно-техническое сотрудничество России и Беларуси – важный элемент обеспечения безопасности СГ
  • 29.09 16:26
  • 1
Комментарий к "«Уралвагонзавод» рассказал о повышении точности танка Т-90М"
  • 29.09 14:11
  • 111
ChatGPT-4 и нейросети (ИИ) спешат на помощь ГШ ВС РФ и Российской армии
  • 29.09 06:09
  • 1
О неизбежности перехода (точнее, перевода) СВО в войну против европейского нацизма
  • 29.09 02:02
  • 0
Комментарий к "«Самый мощный в мире корабль» посылает «сигнал» России"
  • 29.09 01:31
  • 1
Зеленский: Трамп понимает поле боя и “верит в Украину” (The Washington Post, США)
  • 28.09 10:13
  • 2
Что стоит за призывом США к ядерному разоружению
  • 27.09 19:45
  • 1
Комментарий на "Стала известна ценность атакованного ВСУ российского ЗРК «Бук-М3»"
  • 27.09 06:47
  • 2
Российский 350-нм фотолитограф готов к массовому производству
  • 26.09 23:22
  • 0
Комментарий к "Названа альтернатива «расточительному» «Панцирю»"
  • 26.09 21:29
  • 0
Комментарий к ""Преступник" против "Молнии": Су-57 или F-35 — кто кого? (The National Interest, США)"
  • 26.09 19:33
  • 0
Комментарий к "Что стоит за призывом США к ядерному разоружению"
  • 26.09 17:37
  • 0
В Европе правят «безответственные политики, которым плевать на собственных граждан»