Японские инженеры разработали систему, позволяющую человеку в AR-шлеме видеть будущие перемещения робота, чтобы лучше понимать его намерения и рассчитывать свой путь по помещению. Статья опубликована в журнале Advanced Robotics.
Взаимодействие людей и роботов (HRI) — важная часть робототехники, необходимая для успешного внедрения бытовых роботов, напрямую взаимодействующих с людьми. Некоторые исследования в это области направлены на разработку технологий, например, подушки безопасности на роботах, защищающие людей от столкновения, но большая часть направлена на то, чтобы взаимодействие с роботами было психологически комфортным и понятным. Поскольку робот ведет себя не так, как люди, человек может испытывать трудности с предсказанием и пониманием смысла его действий, поэтому желательно, чтобы у человека была возможность узнать об этом заранее. В основном исследователи подходят к этой проблеме самым очевидным способом: робот должен уметь объяснять простым языком или наглядно демонстрировать планируемые действия.
Исследователи из Университета Кюсю под руководством Рю Курадзуме (Ryo Kurazume) предложили новый способ отображения намерений робота — в виде проекции его будущих положений в очках дополненной реальности. Для этого они воспользовались своей ранней разработкой, которая представляет собой помещение для отработки технологий взаимодействия роботов с людьми и устройствами.
Источник изображения: Asuka Egashira et al. / Advanced Robotics, 2020
Главная особенность помещения заключается в том, что оно оснащено множеством визуальных датчиков: 18 высокоскоростных инфракрасных камер Vicon, отслеживающих положение небольших инфракрасных маркеров, девять камер глубины Kinect и несколько двумерных лидаров. Все это позволяет очень точно отслеживать положение и движения всех объектов в помещении. Также в помещении есть система управления, которая имеет оцифрованную копию помещения, собирает данные с датчиков и команды от пользователя, а также отвечает за планирование маршрута робота.
Схема взаимодействия элементов системы
Источник изображения: Asuka Egashira et al. / Advanced Robotics, 2020
В изначальной статье по этой системе авторы использовали шлем виртуальной реальности, рассчитывали все данные на сервере и вместо реального мира показывали в шлеме упрощенную виртуальную копию с роботом, предметами и прочим. В новой версии они использовали шлем дополненной реальности Microsoft Hololens, благодаря чему пользователь видит перед собой не воссозданный интерьер комнаты среднего качества, а реальный мир с отдельными полупрозрачными виртуальными элементами.
В новой версии положение и направление взгляда пользователя отслеживается локально на шлеме при помощи камер и стандартного для этой задачи метода SLAM. Изначально человек в шлеме должен подойти к калибровочной табличке на стене, позволяющей шлему узнать свое местоположение, а после этого никаких дополнительных действий не нужно.
При необходимости шлем также может загружать нужную в текущий момент модель объекта в комнате, поскольку все ее содержимое оцифровано. К примеру, благодаря этому человек может видеть содержимое холодильника через его дверцу, не открывая ее. То же самое касается и домашнего робота-помощника: он тоже оцифрован, а его план движения рассчитывается на сервере помещения, поэтому когда робот двигается, шлем может загружать 3D-модель робота и его маршрут, чтобы накладывать его на реальный мир. В реализации авторов помимо реального робота человек видит перед собой его копию, расположенную в другом месте — промежуточной точке, в которую он скоро должен прийти. Помимо самого местоположения показывается и положение частей робота, к примеру, поднятая или протянутая рука.
Пример проекции виртуальных копий предметов интерьера на реальные, находящиеся в другом состоянии
Источник изображения: Asuka Egashira et al. / Advanced Robotics, 2020
Дополненную реальность не первый раз предлагают использовать для упрощения совместной работы людей и роботов. Например, в 2018 году американские инженеры создали прототип проекционной системы, которая подсказывает человеку необходимую последовательность действий, а затем показывает, что нужно отойти и дать роботу сделать его часть работы.
Григорий Копиев