МУЛЬТИКАМЕРНАЯ СИСТЕМА ТЕХНИЧЕСКОГО ЗРЕНИЯ ДЛЯ СФЕРИЧЕСКОГО РОБОТА / MULTI-CAMERA VISION SYSTEM FOR A SPHERICAL ROBOT

С. Л. Герасюто

Объединенный институт проблем информатики НАН Беларуси, лаборатория робототехники, Минск

contacts@robotics.by

И. В. Подмазов

Объединенный институт проблем информатики НАН Беларуси, лаборатория робототехники, Минск

podmazov@gmail.com

Г. А. Прокопович

Объединенный институт проблем информатики НАН Беларуси, лаборатория робототехники, Минск

rprakapovich@robotics.by

В. А. Сычев

Объединенный институт проблем информатики НАН Беларуси, лаборатория робототехники, Минск

vsychyov@robotics.by

В последнее время широкое распространение получили мультикамерные оптические системы, где обеспечивается одновременная синхронная работа большого количества фотосенсоров в рамках одного устройства. Эти камеры устанавливаются для модернизации роботов, использующих монокулярные камеры и стереокамеры. Однако существует проблема организации технического зрения роботов для таких систем из-за отсутствия проработанных обобщенных моделей представления и комплексирования данных, особенно для робототехнических аппаратов специальной формы $[2]$, при наличии математической модели $[3]$ и желаемого способа управления в группе $[4]$. В свою очередь возможность реализации таких систем в обозримом будущем позволит эффективно решать задачу автоматического построения навигационной карты $[1]$. Проиллюстрируем пример возможного размещения мульти камерной системы на Рисунке 1.

Робот-шар

а$)$ – робот-шар $[2]$

Схема позиционирования рабочего органа (тетраэдр abcd) в сферическом роботе с помощью параллельного механизма с четырьмя опорами (Aa, Bb, Cc, Dd)

б$)$ – схема позиционирования рабочего органа $($тетраэдр abcd$)$ в сферическом роботе с помощью параллельного механизма с четырьмя опорами $($Aa, Bb, Cc, Dd$)$

Рассчитанные оптические оси для 12 камер, расположенных на корпусе сферического робота

в$)$ – рассчитанные оптические оси для 12 камер, расположенных на корпусе сферического робота

Действующий пример мультикамерной системы компании Absolute Zero

г$)$ – действующий пример мультикамерной системы компании Absolute Zero, взятый за основу

Набор отдельных изображений, полученных с камер
Склеенная из изображений, полученных с камер, панорама

д$)$ – набор отдельных изображений и склеенная панорама по ним, полученная из камеры

Рисунок 1 – Иллюстрация установки мультикамерной системы технического зрения в сферический робот на основе параллельного механизма с четырьмя опорами

Рассматриваемый робот-шар при движении использует показания различных датчиков. В данном случае, предлагается использовать комплексирование значений гироскопа и видеокамер, размещенных на корпусе сферического робота. Показания с гироскопа позволяют определить текущую ориентацию корпуса робота в пространстве, что необходимо для определения матрицы перехода из системы координат корпуса в невращающуюся систему координат и правильного позиционирования груза для обеспечения перемещения.

В свою очередь для системы технического зрения большую вычислительную сложность представляет сшивка в панораму изображений с привязкой к данным сенсоров в режиме реального времени с частотой кадров съемки камер $($60 кадров в секунду$)$ и последующей передаче оператору для управления роботом в очках/шлеме виртуальной реальности $($Рисунок 2$)$.

График изменения углов крена

а$)$ – график изменения углов крена $[2]$

График изменения тангажа

б$)$ – график тангажа $[2]$;

График изменения рысканья

в$)$ – график изменения рысканья $[2]$

Центра, рассчитанные по данным сенсоров

г$)$ – центра, рассчитанные по данным сенсоров

Сенсорный образ для просмотра в очках виртуальной реальности с учетом привязки к центрам
Сенсорный образ для просмотра в очках виртуальной реальности с учетом привязки к центрам

д$)$ – сенсорный образ для просмотра в очках виртуальной реальности с учетом привязки к центрам

Рисунок 2 – Иллюстрация ключевых этапов работы мультикамерной системы технического зрения

Работа выполнена при поддержке БРФФИ–ГФФИУ, договор №Ф15УК/А­048 «Разработка алгоритмов обработки, кодирования, анализа и передачи сенсорных данных для составления трёхмерных карт местности в задачах ориентирования мобильных роботов и беспилотных аппаратов» $($2015-2017 гг.$)$.