Сетевая концепция метадисциплинарной платформы конструирования множественных реальных и виртуальных миров

Специалисты, отвечая на современные вызовы в сфере образования, свидетельствуют о наступлении его новой эры, которая, вовлекая достижения в области информационных технологий, создаёт большие возможности для передачи и получения знаний [1-3]. В последние годы зарубежные [4] и отечественные [5] специалисты активно обсуждают необходимость и важность освоения дополненной (Augmented reality, AR) и виртуальной реальности (Virtual reality, VR) в научной и образовательной сферах. Можно ожидать, что для метадисциплинар-ных («надпредметных») задач, в т.ч. и образовательного характера, эффективным явится обобщение, совмещающее множественные реальные и виртуальные миры, технология которого носит название смешанной реальности (Mixed reality, MR). Метадисциплинарность подразумевает здесь интеграцию и целостность понимания и задач, и методов их решения, и результатов, выходящих за рамки традиционных ограничений, накладываемых отдельными областями знаний [6]. Для широкого внедрения технологии MR в образовательный процесс преподавателям необходимы простые и эффективные инструменты конструирования дополненных и виртуальных миров, совмещения их с миром реальным, инструменты, по пользовательским качествам подобные редакторам слайдовых презентаций или систем управления содержанием (Content Management System, CMS). Для создания удобных и легко осваиваемых MR-конструкторов, объединяющих и настраивающих значительные объёмы данных из разноплановых хранилищ, требуется качественно новая методологическая платформа, позволяющая приблизиться к достижению поставленной цели.

1    Анализ понятий

Глубокая концептуализация дополненной, виртуальной и смешанной реальностей, сопутствующие терминология и таксономия были заложены в классической работе [7]. MR называют любую среду, содержащую смесь реальных и виртуальных элементов. AR определяют как такую среду MR , в которой реальный мир дополнен некоторым набором виртуальных элементов. Если же большая часть элементов MR является виртуальной, и присутствует некоторая малая доля элементов реального мира, такую среду трактуют как дополненную виртуальность ( Augmented virtuality, AV ).

Специалисты по-разному трактуют многие термины, рассматривая понятие континуума «реальность-виртуальность» ( reality-virtuality, RV ), в котором размещены и физические, и цифровые сущности, различным образом взаимодействующие межу собой и воспринимаемые человеком неразрывно и в пространстве, и во времени. Виртуальный мир в формате мультисенсорных виртуальных сред воздействует на все чувства человека, обеспечивающие восприятие окружающего мира через зрение, слух, вкус, обоняние и осязания. Заявленные в [8] среды, отличаясь от AR и VR, позволяют одновременно естественным образом стимулировать все пять чувств. Если реальный мир человек фиксирует сам, то VR полностью «отсекает» его видение картины мира от реального, обеспечивая нарисованным, спроектированным или преобразованным в цифровом устройстве реальным изображением.

AR, накладывая изображение виртуального мира на мир существующий, оставляет эти миры сугубо разделёнными. Как правило, эксперты, определяя понятия AR и AV , полагали, что включение инородных объектов не предусматривало взаимодействия отдельных составляющих RV миров [9].

Задача MR — в максимальной степени «бесшовно» объединить объекты двух миров — реального и виртуального, обеспечивая взаимодействие этих объектов, устанавливая их связи в соответствии с законами природы.

Метавселенная, как концептуальная среда, вмещает в себя подобное объединение как объектов, так и различных миров человеческой деятельности [10], не пренебрегая такими опасными, как информационное противостояние и информационная безопасность [11], что заставляет задуматься о предупреждении несанкционированных вторжений как в реальном, так и в виртуальном пространстве. В целом, современное представление о метавселенной включает платформы VR, совместимые с массовыми многопользовательскими онлайн- инструментами, открытыми мирами и пространствами для совместной работы с дополненной реальностью [12].

Пересматривая идеи [7], авторы [13], расширяя и уточняя определения понятий, указывают, что континуум RV прерывист, так что абсолютная VR не может быть достигнута. В том числе из-за того, что внешние виртуальные среды не в состоянии воздействовать на интероцептивные чувства, например, вестибулярные. Истинная VR реализуется только тогда, когда все чувства — экстероцептивные и интероцептивные — полностью воспроизводимы в цифровом мире. По [13] MR — это среда, в которой элементы-объекты и раздражители реального и виртуального миров представлены и воспринимаются наблюдателем совместно и одновременно. При этом важно, что согласованность смешанного мира нацелена на пользователей и учитывает их роль и опыт, что является ключевым для оценки MR . Реальный мир, включающий жизненную реальность ( in vivo ) и реальность лабораторную ( in vitro ) находится у одного полюса пространства континуум RV . У противоположного полюса - VR , приближённая и строгая (в значительной степени отсекающая реальный мир). В образовании это пространство, зарождаясь на границе с наблюдением реальных социально-экономических, технологических и природных явлений, заполнялось ещё в докомпьютерную эпоху разного рода моделями (физическими и математическими), текстами, рисунками, печатными и выполненными вручную преподавателем, в том числе мелом на аудиторной доске.

Несмотря на то, что многие определения MR были источником путаницы, современная MR направлена на приемлемую степень когерентности в объединении физического (реального) и цифрового (виртуального) миров [14], поддерживаемом процессами взаимодействия человека с вычислительными устройствами и окружающей средой (см. рисунок 1).

Рисунок 1 - Спектр смешанной реальности

MR может быть задействована, начиная с этапа приёмной кампании, проводимой ВУЗами. В условиях повсеместного применения MR абитуриенту будут полезны даже части этих средств в AR/VR, которые дадут более отчётливое представление о направлениях подготовки и перспективе на рынке труда [15]. Студенты могут быть сориентированы интерактивными моделями как при выборе мест практики, так и для адаптации в послевузовской профессиональной деятельности. Важно, что «бесшовным» ожидается дальнейшее включение выпускника в трудовую деятельность. Здесь просматривается психологическая поддержка непрерывности траектории от школьной скамьи во взрослую жизнь [16]. Многое зависит от технологической составляющей при освоении MR в образовательном пространстве, в т.ч. от простоты освоения, эффективности и доступности инструментария. MR-конструктор — инструмент, который предоставляет средства пользователям для подготовки продуктов AR, VR и MR без специального программирования. Из-за сложности VR-технологий это могут делать только профессиональные разработчики. В [17] отмечается, что подобные технологии — не для масштабного проникновения, поскольку непрофессиональному пользователю продукта недоступно управление контентом без помощи разработчика, а разработки затратны по времени и стоимости.

Требования образовательной сферы в лице преподавателей и системных интеграторов ВУЗовской информационной среды обусловлены необходимостью своевременной практической реализации качественного контента, сокращения сроков освоения продуктов MR/AR/VR и снижения расходов на освоение и владение ими. Конечным пользователям нужен MR -конструктор для подготовки продуктов-приложений, который не требует использования труда высокооплачиваемых программистов, развёртывания крупномасштабных проектных работ, а позволяет быстро и эффективно собрать прототип пилотного решения и убедиться в его работоспособности. При успешном испытании прототипа можно доводить его функционал до необходимого, развивая по мере необходимости.

Сделать современные средства разработки MR/AR/VR доступными для практического использования специалистам образовательной сферы - актуальная задача. Для обобщения MR/AR/VR- технологий используется понятие расширенной реальности ( extended reality, XR ) [18]. Авторы [19] критикуют экспертов в непоследовательности использования многих вышеприведённых терминов. Например, отмечая множественную концептуальную путаницу и расплывчатое разграничение, они предлагают применять нотацию xR , но не для расширенной реальности, а подразумевая под x неизвестную переменную ( xReality ), что остаётся на сегодняшний день спорным.

В бизнес-сфере целевая аудитория подразделяется на две категории: разработчиков и заказчиков (владельцев) [20]. В образовательной сфере целесообразно, чтобы информацией в рамках данной технологии оперировал её владелец, а не разработчик XR продукта. Оптимальный вариант использования продукта наблюдается в случае, когда владелец и разработчик заключены в одном лице. Большинство инструментальных наборов, позволяющих разрабатывать приложения для MR , например, Mixed Reality Toolkit для Unreal ( MRTK-UnreaT) [21] предполагает знание профессиональных понятий, специальных платформ и новейших периферийных устройств.

SDK ( Software Developer Kit ) — набор из программ и приложений, которые могут создавать дополнительное программное обеспечение XR , популярные инструменты в сообществе зарубежных разработчиков AR : Vuforia, Wikitude , а также ARKit, ARCore, ARToolKit [22]. Среди предлагаемых зарубежных конструкторов AR и VR можно выделить AVR Platform [23]. Отечественные решения, отвечающие высокому уровню развития технологий XR , это: iVariant Varwin, EV Toolbox и UniVRsity [24].

Эксперты отмечают причины, подчеркивающие важность и необходимость разработки эффективных и практичных XR -конструкторов для образовательной сферы [25]:

• ■    недостаточность основных инструментов континуума RV , доступных на рынке, полезных при подготовке привлекательного образовательного контента, которые можно использовать лишь как некоторое дополнение;

• ■    сложность освоения преподавателями, что приводит к невозможности самостоятельного создания иммерсивных приложений;

• ■    необходимость адаптации содержания к целевой аудитории.

2    Обзор методов

Сектор образования проявляет значительный интерес к теме метавселенной, которая интенсивно развивается с использованием технологий XR [26]. Объединение объектов физиче- ского и цифрового миров предполагает анализ их взаимодействия и конструирование связей, тем самым закладывая сетевую основу построения решения.

Проблема развития платформы при создании MR -конструктора для самостоятельной разработки приложений состоит во внутренней сложности и объёмности продукта. Основные технологические задачи построения AR и VR сводятся к процессам распознавания, трекинга и визуализации.

В настоящей работе для объединения миров выбрана «безмаркерная» технология трекинга. При этом в основу и распознавания, и трекинга, и визуализации положено использование онтологии пространственно-временных рядов с помощь комплексных сетей. Предложены высокоэффективные подходы, методы и инструменты науки о сетях для анализа разноплановых объёмных данных, которые являются высокоэффективными средствами явного описания концептуализации знаний [27]. Так, для сетевой платформы характерно раскодирование скрывающихся в данных сведений, извлечь которые иным путём оказывается недоступно или трудоёмко. Сетевой же анализ с его моделями и алгоритмами продемонстрировал свой высокий потенциал на практике в различных областях знаний - медицине [28], безопасности [29], материаловедении [30].

Работы по конвертированию различного рода данных в сетевые структуры представлены в [31-34], в т.ч. авторские [35, 36]. В работе [37] модель комплексной сети применяется для распознавания движения человека по данным о положении суставов его тела в 3D пространстве. При этом концепция метапути в такой сетевой модели даёт возможность устранить многие неопределённости в описании структуры движений, повышая эффективность решения задач распознавания.

Таким образом, в построении XR- конструктора заложена сетевая парадигма анализа и согласования данных, обеспечивающая в значительной мере бесшовное согласование данных реальных и виртуальных миров.

3    Концепция архитектуры XR-конструктора

Предлагается концепция архитектуры конструктора разработки XR- приложений, программным образом визуально совмещающих множество изначально независимых пространств: миров наблюдаемых или наблюдавшихся реальных объектов и процессов и миров виртуальных (синтетических) (рисунок 2). Важно, что загруженные в сетевое пространство данные о процессах и объектах становятся удобными и эффективными для сравнения и анализа. Все процессы обработки сводятся к высокопроизводительным операциям на ограниченном наборе сетевых отпечатков с этих данных (сетевых метрик). Современные нереляционные базы данных (как хранилища образов) дают возмож-

Рисунок 2 - Концепция архитектуры платформы

ность организовать продуктивную работу с графовыми ресурсами. После выполнения ключевых процедур (затратных в традиционных схемах) производится объединительная визуализация c возвращением в пространство обычное.

Выбор новых форматов взаимодействия между участниками образовательного процесса требует дополнительных эффективных инструментов реализации этого взаимодействия [38].

В трудах лидирующей в России Самарской школы онтологии проектирования неоднократно отмечалась значимость предварительных процедур инжиниринга с необходимой формализацией предметной области (ПрО) и проектных процессов и последующим построением адекватных моделей (см., например [39]). Характерно, что такой подход позволяет не только предвидеть образ проектируемой системы, функционирующей в складывающихся условиях, но и изначально наметить и далее отслеживать множественные связи акторов в системе и окружающей среде [40].

Наблюдая всё более тесное взаимодействие между цифровым миром, людьми и предприятиями, эксперты отмечают, что элементы континуума RV , совместно развиваясь, образуют единую экосистему [41]. Использование методов науки о сетях даёт возможность оценить не только структурные, но и динамические характеристики сложных цифровых экосистем.

Исследователями (см., например [42]) ставится вопрос о новом определении понятия метавселенной в контексте интеграции её составляющих: технологической части, различных ПрО и социальной деятельности. Внимание к сетевым подходам, как в отдельным компонентам, так и в целом для метавселенной, будет постоянно нарастать.

Предлагаемая архитектура с сетевым компонентом обработки данных (сетевизацией) даёт возможность продвинуться в направлении совершенствования платформы - конструктора множественных реальных и виртуальных миров. Особый акцент на сетевую парадигму обусловлен так же тем, что практическая ценность сетевой XR (и особенно в образовательной сфере) заключается в том, что информация представлена в хорошо структурированной форме. Можно ожидать, что конструктор, способный такое структурирование выполнять не только технологически (что необходимо для распознавания, трекинга и визуализации), но и на пользовательском уровне, станет инструментом поддержки образовательного пространства. При извлечении сложных взаимодействий в процессе познания и согласования элементов RV –среды полезными представляются новые подходы восстановления топологии комплексных сетей различного масштаба [43].

Метадисциплинарный мир континуума RV может быть представлен разнородными и многомерными сетями, охватывающими множественные типы сущностей и отношений. Сети могут включать субъектов, объекты жилых, учебных, производственных помещений, здания и сооружения, объекты инфраструктуры, ландшафта, иные природные объекты, связанные такими отношениями как расположение в пространстве, траектории движения и др. Здесь оказывается необходимым метод эффективного и гибкого сбора, хранения и извлечения информации о расположении и динамике развития из комплексных сетей с использованием графовой базы данных. Эффективным решением представляется структурирование базы данных, основанное на онтологии, которая фиксирует допустимые типы сущностей и отношений. Подобные сети создают связующую информацию между элементами миров и играют центральную роль в концепции бесшовного их сопряжения.

Подход, основанный на онтологии, позволяет ставить общие и конкретные вопросы о сетях в рамках одной и той же структуры [44]. Этот подход можно применять к разного рода сообществам или многомерным сетям для сбора, анализа, прогноза и визуализации различных типов взаимодействий и отслеживания их динамики.

Разработка XR -конструктора предполагает совместную работу специалистов в различных ПрО. Наука о сетях, являясь междисциплинарным языком, способствует такому сложному процессу как совместная разработка онтологий [45]. Метадисциплинарная платформа даёт возможность участникам разработки согласовать свои требования и приоритеты при создании концептуальной модели, отражающей как отдельные, так и общие интересы.

Выводы

В работе предпринята попытка устранения путаницы в понятиях и таксономии среды RV , необходимая для выработки метадисциплинарной платформы, сопрягающей реальное и виртуальное пространства для нужд образовательной сферы,

Обоснована сетевая парадигма развития XR , объединяющая объекты мира физического с объектами цифрового мира в значительной степени беспрепятственно (бесшовно) через анализ их взаимодействия и конструирование связей.

Предложена концепция сетевой платформы XR -конструктора, включающая как общую онтологию, так и архитектуру с его сетевыми механизмами распознавания, трекинга и визуализации.