Оптико-информационные системы коллаборации на основе объёмной виртуальной среды и физической реальности

Автор: Власов Евгений Владимирович, Патерикин Владимир Иванович

Журнал: Компьютерная оптика @computer-optics

Рубрика: Короткое сообщение

Статья в выпуске: 6 т.40, 2016 года.

Бесплатный доступ

Предлагается схема многопланового, мультифокального 3D-дисплея, стимулирующего аккомодацию глаза, для применения в оптико-информационных системах коллаборации на основе стереоскопических виртуальных сред ретрорефлективного и иммерсивного типа. Рассмотрены основные концептуальные моменты использования методов автономной навигации и одометрии, основанные на измерении показаний датчиков, закрепленных непосредственно на движущемся объекте в составе: стереокамеры, оптико-информационной системы, инерциального измерительного устройства и спутниковой системы ГЛОНАСС/GPS с модулем GSM.

3d-дисплей, стимулы аккомодации, многоплановый окуляр

Короткий адрес: https://sciup.org/14059527

IDR: 14059527   |   DOI: 10.18287/2412-6179-2016-40-6-972-975

Текст научной статьи Оптико-информационные системы коллаборации на основе объёмной виртуальной среды и физической реальности

В существующих моделях известных систем управления оператором различными аппаратами, основанными на получении показаний датчиков и видеосигналов, обнаруживается недостаточный учёт психофизических особенностей зрительного восприятия человека, особенно на малых расстояниях, в пределах рабочей среды аппарата.

В [1 –3] рассматриваются оптико-информационные системы коллаборации на основе стереоскопических виртуальных сред ретрорефлективного и иммерсивного типа. Такие системы дают возможности: 1) видеть виртуальную среду каждому из пользователей при помощи наголовных дисплеев в индивидуальной перспективе; 2) иметь равный и естественный доступ к выполняемой визуальной задаче; 3) воспринимать присутствие в среде реальных предметов и локальных коллаборантов; 4) осуществлять коммуникацию вербальным и невербальным способом.

Однако в данных моделях обнаруживается фундаментальная проблема 3D – конфликт аккомодации и конвергенции, что особенно существенно на малых расстояниях. Это касается условий для комфортного восприятия стереоизображений путём создания стимулов аккомодации глаз [4]. Системы с добавленной виртуально реальностью требуют корректной окклюзии и интерпозиции виртуальных и реальных предметов.

В соответствии с поставленной задачей и результатами проведенного анализа методов и средств построения мобильных стереоскопических виртуальных средств предлагается дополнить оптическую часть наголовного устройства малогабаритной навигационной системой, состоящей из двух взаимодополняющих функциональных устройств: нашлемной инерциальной навигационной системы и спутниковой системы ГЛОНАСС/GPS с модулем GSM, обеспечивающим информационный обмен между подвижным объектом и базовой системой контроля/управления.

Специфика данного типа информационных систем заключается в жесткой привязке блока датчиков системы ориентации к осям объекта и является основой формирования дополнительных требований в первую очередь к чувствительным элементам независимо от их типа. Точная оценка перемещения устройства в трехмерном пространстве необходима при решении задачи создания дополненной реальности, где оценка перемещения и ориентации наблюдателя необходима для корректного отображения виртуальных объектов относительно него. Для решения подобных задач используют методы автономной навигации или одомет-рии, основанные на использовании показаний датчиков, закрепленных непосредственно на движущемся объекте – в нашем случае это шлем с наголовной навигационной системой в составе стереокамеры, оптикоинформационной системы, инерциального измерительного устройства и наголовных дисплеев.

Инерциальное измерительное устройство (ИИУ) состоит из трех микроэлектромеханических сенсоров: гироскопа, акселерометра и магнитометра. Для получения ориентации устройства на основе показаний этих трех датчиков используется техника слияния датчиков sensor fusion [5]. Для определения линейного перемещения используется метод визуальной одо-метрии для стереокамеры. Этот метод заключается в анализе последовательности кадров, получаемой с камеры в реальном времени, и определении параметров движения этой камеры по движению изображений наблюдаемых ей объектов.

Использование двух физически различных методов измерения положения объектов (инерциальных и радиотехнических) и применение методов комплексной обработки информации, метода «sensor fusion» – слияния данных, позволяет обеспечить визуализацию и регистрацию изменений не только угловых, но и линейных координат [6]. Примером такого устройства может быть мобильный навигационный терминал МНТ-001, разработанный в ФГУП «НИИМА «Прогресс» на основе двухсистемного устройства ГЛОНАСС/GPS-приемника российского производства ГАЛС-П [7].

Основной целью работы является анализ структурных схем просветных наголовных дисплеев и ее воз- можных модификаций, необходимых для применения в виртуальных средах с добавленной реальностью.

Просветная виртуальная среда

Концепция просветной среды возникла в качестве альтернативы ретрорефлективным средам, которые трудно реализовать из-за отсутствия материалов для получения оптических изображений высокого качества. Просветная среда также позволяет зрителю видеть реальные объекты, как и ретрорефлективная, и обеспечивает естественное когнитивное зрительное восприятие реальных предметов.

На рис. 1 показана концептуальная схема просветного наголовного дисплея, содержащая микродисплей для воспроизведения виртуальной сцены, проекционный объектив с поворотным зеркалом и зеркальный окуляр.

Рис. 1. Просветный наголовный дисплей

Окуляр состоит из светоделительной пластины и полупрозрачного вогнутого зеркала, проецирующего виртуальную сцену через выходной зрачок в глаз наблюдателя.

Поскольку светоделитель и вогнутое зеркало полупрозрачные, то наблюдатель легко видит и реальные предметы окружающей обстановки. Но в отличие от ретрорефлективной среды непрозрачные предметы не могут выполнять функцию автоматической окклюзии, т.е. закрывать следующие за ними по глубине виртуальные предметы. Из-за отсутствия корректной глубины виртуальные картинки воспринимаются всегда на фоне реального предметного окружения. Чтобы устранить отмеченный недостаток, предлагается следующая технология.

  • 1)    Встроить в наголовный дисплей сенсор глубины, измеряющий координаты положения X, Y и дальности Z реальных предметов (рис. 2).

  • 2)    При формировании виртуальной сцены в процедуре удаления невидимых поверхностей сцены методом Z-буфера учесть координаты реальных предметов с цветом нулевой яркости. В результате, в тех позициях экрана, где должен появиться реальный предмет, возникнет его чёрная виртуальная тень, закрывающая все виртуальные предметы, следующие за ней. Свет от реального предмета заполнит эту тень, обеспечив тем самым корректную окклюзию.

Корректное отображение виртуальных предметов, находящихся перед реальными предметами, может быть выполнено с помощью одноразрядной жидко- кристаллической маски, имеющей пиксельное разрешение по полю зрения. На том участке поля, где нужно изобразить виртуальный предмет, маской создаётся тень для реального предмета.

Наличие просветного режима наголовных диспле- ев весьма актуально, так как позволяет настраивать и калибровать проективное преобразование виртуальной среды с тем, чтобы воспринимаемый образ вир- туальных предметов совпадал с их реальными прототипами для естественного, когнитивного зрительного восприятия.

Рис. 2. Просветный дисплей с измерителем дальности и окклюзивной маской

Для достижения глобальной интерпозиции-окклюзии реальных и виртуальных предметов в иммерсивной виртуальной среде предлагается встроить в наголовный дисплей не только видеокамеры, но и сенсоры глубины. Для устранения некорректной окклюзии реальных и виртуальных сцен в просветной виртуальной среде предложено встроить в наголов-ный дисплей, помимо сенсора глубины реальных предметов, окклюзивную маску. Для обеспечения визуального комфорта в любой из виртуальных сред необходима разработка многоплановых, мультифокальных наголовных стереодисплеев, стимулирующих аккомодацию глаз.

Мультифокальные окуляры

Для схем наголовных дисплеев иммерсивной и просветной виртуальной сред, предложенных в [8], рассчитаны мультифокальные окуляры. На рис. 3 приведен вариант четырёхпланового окуляра, рассчитанный с использованием FLCOS-микродисплеев, с возможностью выбора и переключения положения планов. C использованием программного обеспечения ZEMAX рассчитаны несколько вариантов диоптрийной глубины для объемной среды. Планы изображения расположены на расстояниях 35,8 см (2,79 дптр), 50 см (2 дптр), 81,4 см (1,23 дптр), 233 см (0,43 дптр). Межплановое расстояние порядка 0,8 дптр взято на основе расчета дифракционной глубины 3D-изображений, стимулирующих аккомодацию глаза [4].

Дисплейная часть схем содержит два микродисплея FLCOS-типа для воспроизведения виртуально-реальной сцены, мультифокальный проекционный объектив со светоделительным кубиком, светоделительную пласти- ну и непрозрачное вогнутое зеркало, проецирующее комбинированную сцену через входной зрачок в глаз наблюдателя. Дисторсионные искажения не превышают 5 %, в том числе и в вариантах, включающих в себя линзу, для диоптрийной перестройки.

Рис. 3. Четырехплановый мультифокальный окуляр

Заключение

Для обеспечения визуального комфорта в любой из виртуальных сред приведен пример расчета многоплановых, мультифокальных окуляров, стимулирующих аккомодацию глаз.

Использование дисплейных устройств с согласованными стимулами аккомодации и конвергенции обеспечивает естественное, комфортное и достоверное зрительное восприятие при решении задач ориентации, обзора, управления движением, что дает следующие преимущества перед традиционными дисплейными стереосистемами:

  •    Достоверное определение размеров изображаемых объектов и расстояний до них.

  •    Более точное манипулирование удаленными механизмами и манипуляторами.

  •    Отсутствие привития ложных навыков, что критически важно для тренажерных комплексов.

  •    Уменьшение негативного воздействия на зрительную систему человека в силу согласованности стимулов.

  •    Более продолжительное время беспрерывной работы операторов.

Также следует отметить, что, помимо визуального комфорта, многоплановый 3D-дисплей обеспечивает прямые и косвенные признаки глубины, позволяющие естественным образом оценивать расстояния и размеры предметов.

Прямые признаки глубины стимулируют близкую к корректной аккомодацию глаз, их конвергенцию и стереоскопическую диспарантность.

Косвенные признаки поддерживаются программным обеспечением и включают окклюзии и автоокклюзии, многовариантную перспективу, изменение контраста и градиента текстуры, двигательный параллакс и др. Для целей регистрации параметров перемещения объекта предлагается использование методов автономной навигации и одометрии, основанных на измерении показаний датчиков, закрепленных непосредственно на движущемся объекте в составе: стереокамеры, оптико-информационной системы, инерциального измерительного устройства и спутниковой системы ГЛОНАСС/GPS с модулем GSM.

Список литературы Оптико-информационные системы коллаборации на основе объёмной виртуальной среды и физической реальности

  • Hua, H. SCAPE: Supporting stereoscopic collaboration in augmented and projective environments/H. Hua, L.D. Brown, C. Gao//IEEE Computer Graphics and Applications. -2004. -Vol. 24(1). -P. 66-75. - DOI: 10.1109/MCG.2004.1255811
  • Cruz-Neira, C. Surround-screen projection-based virtual reality: the design and implementation of the CAVE/C. Cruz-Neira, D.J. Sandin, T.A. DeFanti//SIGGRAPH'93: Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques 1993: 135-142 DOI: 10.1145/166117.166134
  • Integrating the real and virtual worlds: The unlimited potential of the imaging world . -URL: www.canon.com/technology/approach/special/mr.htm (request date 20.06.2016).
  • Ковалёв, А.М. О качестве трехмерного изображения, стимулирующего аккомодацию глаза/А.М. Ковалёв, Е.В. Власов//Автометрия. -2012. -Т. 48, № 4. -С. 33-40.
  • Разработка метода одометрии на основе МЭМС сенсоров и анализа видеопотока . -URL: http://www.inf.tsu.ru/library/DiplomaWorks/CompScience/2014/(дата обращения 20.06.2016 г.).
  • Устройства измерения, сбора и обработки сигналов в информационно-управляющих комплексах/под ред. Н.Н. Макарова //Тезисы докладов 1-й Всероссийской научно-практической конференции, Ульяновск, 6-10 сентября 2011 г. -Ульяновск: УлГТУ, 2011. -219 с. -ISBN: 978-5-9795-0820-7.
  • Мобильный навигационный терминал ГЛОНАСС/GPS/GSM МНТ-001//Электроника: Наука, Технология, Бизнес. -2008. -№ 3. -C. 108-110.
  • Ковалёв, А.М. О дисплеях персонального пользования для виртуальных сред с добавленной реальностью/А.М. Ковалёв//Автометрия. -2014. -Т. 50, № 6. -С. 22-29.
Еще
Статья научная