Дополненная реальность и синхронизация ее событий

Сегодня, в век информационных технологий, началась активная фаза информатизации общества. Этот процесс затрагивает все сферы работы и жизни. Одним из основополагающих принципов является общедоступность информации и максимальное удобство ее получения. Сложнейшие алгоритмы распознавания образов и отображения трехмерной графики инкапсулированы внутри движка дополненной реальности.

Данная технология имеет широкую сферу применения и использоваться в различных сферах работы и досуга, таких как: мобильные технологии, медицина, военная техника, компьютерные игры, полиграфия, реклама, и т. д.

• 1.    Технология

На сегодняшний день на рынке представлены только несколько предложений, адаптированных под массовое применение.

Google Glass – устройство на базе Android , разрабатываемое компанией Google . В устройстве используется прозрачный дисплей, который крепится на голову (англ. HMD – head-mounted display ) и находится чуть выше правого глаза, и камера, способная записывать видео высокого качества. Тестирование продукта началось в апреле 2012 года, а New York Times сообщала о новинке ещё в конце февраля 2012 года.

• 1 5 января 2015 Google объявила о приостановке производства Glass в текущем состоянии, при этом отметив, что продукт закончил свою экспериментальную стадию в Google Labs . Разработка и производство продукта переносится в другое подразделение [5].

Microsoft HoloLens – очки смешанной реальности, разработанные Microsoft. Используют 32-разрядную операционную систему Windows Holographic (версия Windows 10 ). Разработка началась в 2012 году, прототип был представлен прессе в январе 2015 года, 16 марта 2016 года стала продаваться версия для разработчиков из США и Канады (стоимость $3000), c 12 октября предзаказ устройства стал также доступен в Великобритании, Ирландии, Франции, Германии, Австралии и Новой Зеландии. Из-за того, что продукт пока не является массовым, Microsoft отказалась от услуг производственных партнёров для выпуска HoloLens и производит их самостоятельно на своей фабрике в США [6].

Использование технологии в сфере образования на сегодняшний день крайне мало, несмотря на то, что эта сфера очень перспективна и имеет большое количество возможных применений в рамках образовательного процесса, как в высших учебных заведениях, так и в начальном и дошкольном образовании. Распределение рынка отображено на рисунке 1.

1,4

• ■    Видеоигры                  ■ Мероприятия в прямом эфире ■ Кино и сериалы

• ■    Продажа недвижимости      ■ Сфера продаж               ■ Образование

• ■    Здравоохранение            ■ Проектирование             ■ Военная промышленность

Рис. 1. Распределение сфер применения технологии AR

Основной способ использования технологии – приложение для мобильного устройства, которое позволяет взглянуть на окружающее пространство через камеру этого устройства и «дополнить» реальность дополнительной информацией. Технология способна распознать объекты реального мира и наложить на них подготовленные 3 D модели виртуальных объектов. В простых случаях объектов распознавания может быть простое 2 D изображение, на место которого размещается 3 D -объект. В более сложных случаях виртуальные объекты могут накладываться и на трехмерные объекты реального мира, примеры таких объектов отображены на рисунке 2.

Рис. 2. Объекты распознавания

Для разработки приложения и синхронизационной системы были использованы следующие инструменты, технологии и языки программирования:

• -    Microsoft Visual Studio v15.0, .Net Framework v4.5;

• -    Unity 3D v5.3.5;

• -    Android SDK;

• -    Vuforia Engine, ARToolKit;

• -   C#, Javascript.

На данный момент существует много различных алгоритмов преобразования метки на изображении, полученного с камеры в трехмерные координаты. Встречаются единичные реализации, работающие на других принципах, но как правило помимо обычной камеры в них используется дополнительное аппаратное обеспечение, такое как дальномеры, инфракрасные камеры, и другие устройства. Большинство библиотек, работающих с метками реализованы по следующему алгоритму:

• -    приведение изображения к градациям серого;

• -    бинаризация изображения;

• -    нахождение замкнутых областей;

• -    выделение контуров и распознавание метки;

• -    выделение углов и контрольных точек маркера;

• -    преобразование координат и наложение виртуального объекта.

• 2.    Синхронизация

Преобразование ведется на основе полученной проекции, с помощью которой можно определить положение камеры относительно метки (см. рис. 3).

Координаты

Рис. 3. Получение координат камеры по проекции

На данный момент в приложении используется переработанная свободно -распространяемая библиотека Vuforia. В будущем планируется переход на собственное программное обеспечение, разработанное с учетом особенностей аппаратного обеспечения, для достижения лучшей производи- тельности. На данном этапе приложение имеет возможность определить метку и отобразить виртуальный объект, чего явно недостаточно для полноценного использования в кооперативной среде. В связи с чем было решено разработать систему синхронизации событий, происходящих в дополненной реальности.

Для синхронизации событий используется подход общей серверной сцены и клиентского управления. Все объекты изначально находятся на сервере, изображение сервера дублируется на все устройства. Устройства могут отправлять на сервер команды управления, в зависимости от которых происходит обновление серверной сцены.

Синхронизация ведется посредством обычной сети. Это решение позволяет синхронизировать устройства максимально удобно и исключает зависимость от платформы клиентского устройства. Также это дает возможность установки единого сервера для обработки большого количества клиентов, например, в университете. Концепция единого сервера позволяет не только синхронизировать изображение, но и посредством запросов и специального API давать клиентам доступ к информационным ресурсам университета, что эффективно с точки зрения безопасности, так-как клиенты не будут иметь прямого доступа к базам данных. В том случае, если в организации присутствует общая открытая или закрытая Wi-Fi сеть, и система идентификации пользователей, то подключение ко всем системам может происходить автоматически, в момент подключения к сети, что значительно упрощает использование приложения.

Заключение

Интеграция с информационными сервисами университета позволит персонализировать информацию и дополненное пространство каждого студента, дать более удобный и наглядный способ получения справочной информации, отслеживать их деятельность в дополненной реальности, и т.д. Интеграция с информационными сервисами может осуществляться через сайт университета, посредством единого сервера или кластера серверов, к которому подключаются все клиенты.

На примере университета можно выделить 3 основных направления использования данной технологии: предоставление различной справочной информации, использование в учебном процессе, организация развлекательной среды. Примерами могут быть: проведение лабораторных работ с использованием дополненной реальности, навигация по университету, отображение информации о кабинете по его метке, виртуальные настольные игры, и т.д.

Среди возможных путей развития технологии следует выделить:

• -    создание встроенной среды разработки приложений дополненной реальности для отдельно взятой информационной среды;

• -    разработка системы без-маркерной навигации в пределах университета на основе распознавания контрольных объектов;

• -    разработка самостоятельного устройства с аппаратным обеспечением, ориентированным на обработку потокового видео и его обработку.