О возможностях манипулирования виртуальными 3D объектами с помощью реальных объектов

Введение. В системе дополненной реальности (Augmented Reality, AR) среди задач компьютерного зрения актуальна задача ввода информации без посторонних устройств. Самыми известными разработчиками технологии дополненной реальности являются ARTES AS — Advanced Augmented Reality Technologies for Industrial Service Application [1]; Global Information Systems Group [2]; HitLabNZ [3]; IconoLab [4]; Немецкий институт фотограмметрии и изучения космоса [5]; Mixed Reality Lab [6]; Национальный университет Сингапура [7]; Total Immersion [8]; Лаборатория компьютерной графики и пользовательских интерфейсов при Колумбийском университете [9].

Одним из важных на сегодня решений является использование рук для управления дополненной реальностью. Существуют различные решения для интерфейса в дополненной реальности, хотя из различных направлений поиска решений одним из надежных является способ управления рукой.

Существующие способы ресурсоемки, кроме этого, фон от фигуры должен хорошо отличаться.

• 1.    Взаимодействие виртуальных объектов. Камеры и маркеры.

Дополненная реальность — отображение виртуального объекта в реальном мире. Понятие дополненной реальности — это использование компьютерных технологий для совмещения реального мира и данных, сгенерированных компьютером (рис. 1).

Одним из способов отображения виртуального объекта является использование специальных маркеров. В настоящее время существуют библиотеки, которые позволяют выявлять маркеры и располагать виртуальный объект относительно них. Одной из таких библиотек является ARToolKit, которая использует квадратные маркеры базы координат.

Рис. 1. Пример виртуального объекта, в реальном мире

Рис. 2. Матрица, поворота, и вектор сдвига.

rll	г12	г!3
г21	г 22	г23
г31	г32	гЗЗ
_ 0	0	0

После обнаружения маркеров ARToolKit составляет матрицу преобразования, которая определяет их положение в системе координат камеры и хранит информацию о повороте и сдвиге (рис. 2) [10].

Матрица, маркеров строится на основе матрицы камеры. Для осуществления взаимодействия двух различных маркеров необходимо построить матрицу преобразования. С помощью этой информации можно найти положение точки в обеих системах координат (рис. 3).

Выделим три системы координат (CS), назовем их C, I и D, как показано на рис. 3, где M1 — матрица преобразования для трансформации представления точки от CS I в его представление в системе координат С; M2 — матрица преобразования для трансформации представления точки от CS D в его представление в системе координат С", M3 — матрица преобразования для трансформации представления точки от CS I в его представление в системе координат D.

Рис. 3. Связь между маркерами

Библиотека ARToolKit дает информацию о матрицах M1 и M2, с помощью которых возможно нахождение матрицы M3:

Mi = Me^х ^ M- = M i^ _с

M2 = M

M3 = M^M2 ^ Mx■. = MxeM .

С помощью M3 можно преобразовать точку из одной системы координат в другую:

x 0		x
y 0	= M3	y
z 0		z
1		1

Распознавание снсестов руки. Для распознавания жеста руки используются три маркера ARToolKit.

Один маркер помещается на конце большого пальца, второй — на конце указательного пальца, а третий — на точке возле ладони, являющейся проекцией середины расстояния между первыми двумя маркерами, как показано на рис. 4.

После обработки входного изображения, ARToolKit дает информацию о четырех вершинах, обнаруженных маркерами. Используя эту информацию, мы можем определить линии сегментов распознавания маркера (рис. 4).

На рис. 5 можно увидеть линии в таком порядке, в котором они были найдены. Используя данный порядок, можно, кроме прочего, определить точки пересечения этих сегментов. Линии могут использоваться для поиска жеста руки, как показано на рис. 5.

Рис. 4. Линии сегментов маркеров

Рис. 5. Жест руки

Алгоритм манипулирования виртуальным объектом. Этот алгоритм является одним из подходов манипулирования виртуальным объектом с помощью распознанных маркеров других объектов. Для этого алгоритма используются четыре маркера, три из них — для распознавания жеста руки и один — для отображения виртуального объекта, как показано на рис. 5.

Обозначим переменные:

P1,P2 — координаты точек пальца;

P0, P2 — координаты точек пальца, преобразованные в координаты виртуального объекта;

Pm — средняя точка двух координат пальцев;

P0 — средняя точка двух координат пальцев в координатной системе;

и проделаем следующие шаги для манипулирования виртуальными объектами. Необходимо:

• 1.    Поверить и убедиться в том, что координаты объекта распознаны, то есть они должны быть внутри объекта;

• 2.    Продолжить процесс только тогда, когда оба пальца опознаны внутри объекта.

• 3.    Следить за тем, чтобы точка находилась посередине между P1 и P2 (Pm — в известной системе координат и P0 — в объектной координатной системе);

• 4.    Выполнить поворот под углом между пальцами линией по оси z. Вращение считается степенью между предыдущей и текущей стадиями линий, соединенных центральной точкой пальца и центром маркера, находящегося возле ладони;

• 5.    Сделать поворот оригинального объекта согласно матрице преобразования P0 (на оси z);

• 6.    Рассчитать текущую точку Pm;

• 7.    Произвести перенос объекта с разницей между текущей P_m и сохраненной P_m.

Заключение. В статье предложены решения следующих задач управления объектами в дополненной реальности с помощью жестов рук.

• 1)    Предложен метод отслеживания управления 3D объекта в расширенной реальности с помощью устройства с учетом глубины и цвета.

• 2)    Показана связь между несколькими маркерами, которая основана на отношениях между камерой и маркером. Один маркер используется для отображения виртуальных

объектов, а три маркера — для выявления жеста руки и управления виртуальным объектом.

• 3)    Разработан алгоритм манипулирования виртуальным объектом с помощью распознанных маркеров других объектов. Для этого алгоритма используются четыре маркера, три из них распознают жесты руки, и один необходим для отображения управляемого виртуального объекта.