Семиозис визуальных стимулов в интерактивных пользовательских интерфейсах медицинских приложений

Современные пользовательские интерфейсы (ПИ) предоставляют широкие возможности по реализации интерактивного человеко-компьютерного взаимодействия. В частности, распространённые устройства виртуальной (ВР) и дополненной (ДР) реальности позволяют сформировать иммерсивную среду (ИмС) - виртуальное пространство глубокого погружения, в котором пользователь наблюдает и взаимодействует с реальными и виртуальными объектами одновременно. Многие виртуальные объекты при этом выглядят настолько реалистично, что начинают восприниматься вполне реальными и производят достаточно сильное воздействие на пользователя.

ИмС проектируется разработчиками сферы информационных технологий, исходя из требований назначения: необходимо обеспечить надёжное информационное воздействие на пользователя с учётом индивидуальных особенностей восприятия комбинации виртуальных и реальных элементов наблюдаемой среды. Учитывая характер преимущественно информационного взаимодействия, ИмС должна содержать понятия, близкие, понятные и интересные пользователю. Картина мира пользователя должна соответствовать тематике объединения виртуальных и реальных объектов в ИмС, в противном случае не удастся обеспечить требуемый интерес к этой среде и соответствующую глубину погружения.

Таким образом, задача проектирования ИмС имеет онтологический характер: при разработке соответствующих аппаратно-программных комплексов ВР необходимо обеспечить согласование картины мира пользователя и окружающей среды. Основным предметом онтологии является бытие, которое определяется как полнота и единство всех видов реальности, в т.ч. объективной, субъективной и виртуальной. ВР и объективная реальность не только не должны противоречить субъективной реальности пользователя, но и находиться в динамическом информационном взаимодействии между собой. Обеспечение этого взаимодействия важно, например, в медицинских приложениях, когда особенности восприятия пользователя могут повлиять на результативность лечебных или реабилитационных мероприятий.

Данное исследование находится на стыке медицинских и философских наук и информационных технологий и относится к междисциплинарным. При этом в части изучения особенностей восприятия различных объектов рассматриваемая проблема должна получить достаточное внимание, в частности семиотики, как теории знаков и знаковых систем.

Особая роль отводится знаку как средству передачи информации о происходящих событиях. Знаки, объективно сопутствующие объектам реального мира, сочетаются с искусственно формируемыми знаками ВР и совместно вступают в информационное взаимодействие с системой восприятия пользователя. Это позволяет отнести рассматриваемую прикладную задачу к области семиотики. Корректное использование знаковых систем эффективно и актуально в психологической диагностике и реабилитации, где от формируемой ИмС требуется достижение гарантированного результата при воздействии на пациента. В данной статье предложено возможное решение этой проблемы, основанное на управлении глубиной погружения пользователей ИмС.

1    Знак в ИмС

Формирование ИмС [1] специфично для компьютерных игр и индустрии развлечений, однако в последнее время её создание демонстрирует высокую эффективность в аппаратнопрограммных комплексах (АПК) медицинской диагностики и реабилитации. Применение технологий ВР и ДР [2] в этой области позволяет осуществить такое воздействие на восприятие человека [3], которое в сочетании с определённой физкультурной нагрузкой, способно позитивно влиять на восстановление двигательной активности пациентов с различными нарушениями (например, полученными в результате нейродегенеративных заболеваний).

Формирование ИмС в медицине имеет ряд ограничений и трудностей по сравнению с индустрией развлечений. Это связано с необходимостью достижения конкретного результата диагностики и реабилитации. У пользователя соответствующего АПК должно быть сформировано корректное восприятие виртуальных элементов ИмС. Такого результата не всегда удаётся добиться в связи с возрастающей информационной нагрузкой и индивидуальными особенностями восприятия разных объектов отдельными пациентами.

ИмС формируется для пользователя с помощью интерактивного компьютерного интерфейса или устройства ДР. Пользователь наблюдает реальные объекты, которые частично или полностью находятся в области его зрения, а также виртуальные объекты, сгенерированные АПК. В рамках визуального восприятия эти объекты не отличаются друг от друга, однако на основе собственного опыта, или будучи специально обученным для использования АПК, пользователь может ограниченно распознавать реалистичность наблюдаемого.

Для пользователя знак получает новую важную характеристику, свойственную, например, знакам правил дорожного движения. А именно, для знака важным становится его расположение и ориентация в пространстве, он встраивается в систему взаимного расположения других знаков и может изменять или отменять их значение [4].

В этом случае непосредственно реализуются семантическая классификация знаков [5] и особенности пространственного восприятия зрительных знаков [6]. В ИмС важно определить роли знаков во взаимодействии и особенности их восприятия в зависимости от заинтересованности субъекта. Данные понятия приобретают особый интерес, поскольку позволяют задать алгоритм визуального воздействия на человека путём динамического формирования последовательности знаков АПК. Алгоритмический подход с учётом влияния человеческого фактора важен для эффективного человеко-компьютерного взаимодействия. В ИмС виртуальные знаки могут воплощаться как в качестве наблюдаемых объектов с различной степенью реалистичности, так и непосредственно в форме знаков, графических и текстовых, получивших определённое расположение в пространстве.

Отображаемые знаки имеют разную степень реалистичности. Далее рассматриваются знаки, однозначно интерпретируемые пользователем как виртуальные и семантически интерпретируемые. В медицинских приложениях необходимо обеспечить интерпретируемость с достаточной надёжностью, в связи с чем возникает необходимость учёта прагматического измерения семиозиса [7]. Частично можно решить эту проблему путём формирования и корректировки контекста с учётом особенностей человеческого восприятия. Проблемы интерпретации знаков в ИмС известны в области культуры и искусства, например , при рассмотрении диалектики знака и фона [8]. С позиций теории управления задача формирования адекватного ответа на визуальные стимулы усложняется в связи с неопределённостью и субъективностью внимания пользователя. В этом случае рассматривается задача построения онтологии восприятия, заданной относительно наблюдаемых форм и атрибутов [9], с последующим уточнением относительно объектов действительности и ВР.

2    Управление вниманием пользователя в ИмС

Для управления вниманием пользователя в ИмС необходимо исследовать особенности семиозиса в ИмС [10]. Формирование визуальных стимулов в виде специализированных знаков в составе соответствующей системы управления может быть задано в виде прагматических правил и автоматизировано в базе знаний АПК, формирующей ИмС. Например, в приложениях медицинской диагностики и реабилитации [11, 12] для достижения эффекта пер- сонализированной медицины необходимо сформировать типовую интерпретанту в соответствии с особенностями пользователей и создать визуальный контекст представления воздействующих символов в соответствии с индивидуальными особенностями восприятия.

Для решения этой задачи разработана концепция системы управления вниманием пользователя в ИмС [13, 14], представленная на рисунке 1. Суть метода заключается в управлении вниманием и вовлечённостью пользователей на основе комбинирования фокуса, контекста и оверлейного контекста (ОК) в рамках одной виртуальной сцены. Данные понятия введены и описаны в [15]. Фокус указывает на объект, который обрабатывается пользователем в данный момент времени или привлекает его внимание. Контекст описывает текущую ситуацию и учитывает историю предыдущих действий и событий, которые привели к ней. Оверлейный контекст включает в себя виртуальные объекты (текстовые заметки, метки или выделения), которые привлекают внимание пользователя к необходимым объектам сцены.

Это позволяет эффективно генерировать иммерсивные стимулы в виде отметок, напоминаний и других активных элементов ПИ ДР.

Рисунок 1 - Схема системы управления вниманием пользователя в иммерсивной среде

Оценка вовлечённости может быть произведена с использованием нейросетевых технологий искусственного интеллекта для идентификации эмоций пользователя по данным компьютерного зрения. Для этого в состав АПК включается видеокамера, которая производит видеосъёмку лица человека. Независимую оценку вовлечённости пользователя можно также получить по данным окулографии (айтрекинга), для чего используются специальные устройства отслеживания взгляда человека, синхронизированные с событиями ПИ.

Предлагается построить ИмС с управляемой глубиной погружения, а в качестве контролируемого параметра использовать вовлечённость пользователя, оценка которой производится на основе анализа мимических движений, эмоционального фона и траектории движения взгляда. Для повышения или снижения вовлечённости предлагается использовать визуальные стимулы в виде отметок, напоминаний и уведомлений. Относительно основного ПИ такие стимулы должны восприниматься как дополнительная, «наложенная» информация, в связи с чем для их формирования и отображения вводится виртуальное пространство ОК.

ОК представляет собой дополнительный слой элементов ПИ, накладываемый «поверх» основного слоя и содержащий дополнительные информационные поля и элементы управления. ОК содержит искусственно созданные элементы ВР и служит для повышения иммер-сивности виртуальной среды. В связи с тем, что он используется в целях информационного человеко-компьютерного взаимодействия, пользователь должен осознавать виртуальность

ОК, в нём нет необходимости симулировать высоко реалистичные объекты. Поскольку ОК в силу своего назначения перекрывает визуальную сцену, необходимо добиваться высокой простоты и условности применяемых в нём знаков.

3    Применение знаков в роли стимулов

Применение ОК в системе управления вовлечённостью пользователя состоит в формировании последовательности визуальных стимулов, корректирующих темпо-ритм интерактивного взаимодействия пользователя с АПК. В качестве визуальных стимулов можно предложить знаки различного генезиса с применением семантической классификации знаков [5]. Наблюдаемые пользователем знаки можно классифицировать как иконические знаки, соответствующие условным обозначениям или пиктограммам, знаки-индексы, выступающие в качестве указателей на другие объекты и позволяющие размечать пространство в целях ориентации, и знаки-символы, сигнализирующие или предупреждающие об изменении объекта, произошедшем событии или явлении. В таблице 1 приведены способы применения знаков в зависимости от их типов для управления вниманием пользователя. Например, знаки-индексы рекомендуется применять для привлечения внимания к виртуальным и реальным объектам.

Таблица 1 - Применение знаков в интерактивных пользовательских интерфейсах

Тип знака	Значение для управления вовлечённостью	Способ управления	Применение в качестве стимула
Иконический знак	Условное (упрощённое или стилизованное) обозначение, подобное объекту, пиктограмма	Замена библиотек знаков для повышения или снижения схематичности (подробности)	Снижение визуальной нагрузки, повышение привлекательности (при использовании оригинальных или анимированных знаков)
Знак-индекс	Указатель	Появление, изменение яркости или цвета текста или фона	Привлечение внимания к существующему виртуальному или реальному объекту
Знак-символ	Идентификатор объекта или явления	Появление в виде текстовой или графической подсказки	Информирование об объекте или событии, уведомление, предупреждение, сигнал

Эффективность использования знаков зависит от текущей ситуации. Например, в случае снижения вовлечённости, характеризуемого задержками деятельности и отвлечением на посторонние предметы и события, добавление знаков-индексов и повышение достоверности иконических знаков способны привлечь внимание и сохранить интерес пользователя. Механизмы формирования визуальных символов в разных ситуациях изменения вовлечённости пользователей представлены в таблице 2.

4    Примеры управления глубиной погружения

Рассматриваются примеры поведения пользователя в ИмС в момент достижения максимальной глубины погружения в рамках разной онтологии восприятия. Достижение необходимой и достаточной глубины погружения пользователя определяет высокую степень концентрации пользователя на объектах на определённом промежутке времени.

Каждый пример проиллюстрирован графом, описывающим привлечение интереса определённого пользователя к объектам bn, для которых определена тематика Ωm(bn). Пусть интерес пользователя как вероятность обращения его взгляда gi,j,k, где i – условный индекс пользователя, j – координата точки в пространстве вблизи объекта bn, k – порядковый номер события привлечения взгляда пользователя. Взгляд пользователя может точно определяться с использованием современных средств окулографии. Пусть вероятность привлечения взгляда пользователя к наблюдаемому объекту соответствует отношению его к тематике интереса пользователя и может принимать значение от 0 до 1.

Таблица 2 - Семиозис визуальных стимулов для контроля вовлечённости пользователей в интерактивных программных комплексах

Характеристика динамики вовлечённости	Способ определения	Тип визуального стимула	Приоритетность знаков
Стабильно высокая	Концентрация взгляда на соответствующих объектах, своевременная реакция на изменения, спокойный эмоциональный фон	Снижение визуальной нагрузки, добавление подробностей в описание	Добавление и замена иконических знаков
Стабильно низкая	Постоянные отвлечения фокуса, потеря внимания, низкий эмоциональный фон	Привлечение внимания, поиск возможности заинтересовать	Добавление и замена индексов и ико-нических знаков
Повышение вовлечённости	Ускорение движений взгляда, повышенное внимание к появляющимся объектам, возбуждённый эмоциональный фон	Контроль ошибочных действий, привлечение внимание к актуальным событиям, снижение визуальной нагрузки	Добавление и замена символов, упрощение иконических знаков
Снижение вовлечённости	Всплески потери внимания, отвлечение на второстепенные объекты, задержки деятельности	Поиск нового интереса и адаптация интерфейса и визуального контента	Добавление индексов, повышение достоверности ико-нических знаков
Краткосрочная потеря внимания (отвлечение, сбой)	Внезапная потеря внимания, единичный длительный взгляд в сторону, задержка деятельности	Привлечение внимания, устранение отвлекающего фактора	Добавление знаков-индексов и знаков-символов

Пример 1. Пусть имеется пользователь, в поле зрения которого находятся объекты b i , b ₂, b ₃, релевантные его текущему интересу (см. рисунок 2). Объекты b 1 и b ₂ относятся к тематике Q 1 ( b ₁,₂ ), которая соответствует целевой тематике интереса пользователя на величину 0,8. Объект b 3 относится к тематике Q₂( b 3 ), соотносящейся с целевой тематикой на 0,2. Пусть взгляд пользователя g 1,1,1 в момент времени 1 1,1,1 обращён на объект b 1 . При этом наблюдается изменение состояния объектов b ₂ и b ₃, обозначенное как d ₂,₂,₁ и d ₃ , ₃ , ₂ соответственно, тогда вероятность перевода взгляда пользователя на объект b ₂=0,8, а на объект b 3 =0,2 с учётом соотношения данных объектов с целевым интересом пользователя.

Рисунок 2 - Пример переключения на новый объект в иммерсивной среде

Процесс перевода взгляда пользователя на новый объект определяется вероятностью перехода пользователя из одного состояния в другое в определённый промежуток времени p (g 1,2,2)=f(Q1, Q2).

Данный процесс соответствует случайному марковскому процессу с дискретным временем и пространством состояний. В этом примере внимание пользователя обращено на объект, который с высокой степенью соответствует текущему интересу пользователя. В таком случае для управления вниманием пользователя в ИмС необходимо поместить объекты, ре- левантные его текущему интересу. Вероятность смещения внимания пользователя на другие объекты, не относящиеся к текущему интересу пользователя, будет низкой.

Нарушение целостности контекста может привести к недоверию пользователя событиям виртуальной среды, а также потере управления вниманием пользователя, а в результате к потере необходимого уровня глубины погружения. Глубина погружения пользователя может быть оценена путём соотнесения темпо-ритмов происходящих событий, которые отражаются в пользовательском интерфейсе, и траекторий движения взора пользователя в течение заданного интервала времени. Если пользователь своевременно обращает внимание на происходящие события и изменения, фиксируется большая глубина погружения. В противном случае за каждое опоздание или пропуск глубина погружения снижается соответственно.

Пример 2 (см. рисунок 3). Пусть в поле зрения пользователя находятся также объекты b 1 , b ₂, b 3 , при этом объекты b 1 и b ₃ относятся к тематике Q i ( b 1,3 ), которая соответствует целевой тематике интереса пользователя на 0,3. Объект b ₂ относится к тематике Q₂( b 2 ), соотносящейся с целевой тематикой на 0,7. В момент времени 1 1,1,1 взгляд пользователя g 1,1,1 был обращён на объект b 1 . Объект b ₂ совершает некоторый набор действий d ₂ , ₂ ,1 . Тогда вероятность перемещения взгляда пользователя с объекта b 1 на объект b 2 будет равна 0,7. В момент времени 1 1, ₂ , ₂ у пользователя возникает выбор: перевести взгляд на объект b ₃, перевести взгляд обратно на объект b 1 или сохранить концентрацию на объекте b 2 . При этом, учитывая вес тематик, к которым относятся объекты, вероятность осуществления перечисленных действий распределяется следующим образом: вероятность перевода взгляда на объект b 3 и объект b 1 равна 0,15, вероятность сохранения внимания на объекте b ₂ в последующие промежутки времени t 1,2,3 равна 0,7.

В данном примере изначально внимание пользователя обращено на объект, который относится к тематике с низким уровнем соответствия целевому интересу пользователя. Данный пример иллюстрирует низкий уровень погружения в ИмС. Если в ИмС пользователю разместить объекты, наиболее соответствующие его целевому интересу (например, объект b 2 ), то степень погружения пользователя возрастёт. В результате действия пользователя будут стремиться к целевому поведению в данный момент времени.

Пример 3 , в котором каждый объект ВР равнозначно соотносится с целевой тематикой (см. рисунок 4). Пусть в момент времени 1 1,1,1 взгляд пользователя g 1,1,1 зафиксирован на объекте b 1 .

Рисунок 3 - Повышение вовлечённости

Рисунок 4 - Сохранение вовлечённости

В поле зрения пользователя находятся также объекты b ₂ и b ₃, при этом объект b ₂ совершает некоторые действия a 1,₂,1 а 1, ₃ , ₂. Тогда вероятность перевода взгляда с объекта b 1 на b ₂

равна 0,5. С вероятностью 0,5 пользователь сохранит внимание на объекте b 1 .При перемещении взгляда на объект b 2 возникает равнозначная вероятность как перемещения взгляда на новый объект b 3 или возвращения на объект b 1 , так и концентрации внимания на b 2 .

Пользователь уделяет равное внимание наблюдаемым объектам, что иллюстрирует высокую степень погружения пользователя в ИмС. При этом возникает возможность управлять вниманием пользователя как внутри текущего интереса Ω 1 , размещая в виртуальном пространстве новые объекты, так и между интересами, добавляя в ИмС новые объекты, например, объект b 2 , относящийся к тематике Ω 2 , которая в равной степени соотносится с тематикой Ω 1 .

5    Реализация в сфере психологической диагностики и реабилитации

Предложенный подход реализован в АПК психологической диагностики и реабилитации [14], в котором использованы некоторые психодиагностические методики [16]. В данном исследовании применены корректурная проба Бурдона [17, 18], используемая для выявления утомляемости, оценки концентрации и устойчивости внимания, и таблицы Шульте [19, 20], которые используются для исследования свойств внимания и расширения периферического зрения. Особенностью АПК является контроль вовлечённости пациентов на основе анализа динамики движений головы, мимических движений и траектории взгляда с использованием технологий машинного зрения [14]. В случае идентификации событий отвлечения внимания или потери интереса производится адаптация ПИ путём добавления визуальных стимулов в соответствии с таблицей 2.

На рисунке 5 приведён пример реализации знаков-индексов для привлечения внимания пользователя. Корректурная проба Бурдона проводится с помощью набора большого количе- ства похожих знаков, например, букв. Пользователю необходимо в каждой строке найти и выделить заданные символы. АПК каждую минуту отмечает зону текущего внимания поль- зователя и сообщает ему об этом. Цветовая индикация позволяет использовать знаки – указа- тели на ответы пользователя (рисунок 5а). Другой вариант (рисунок 5б) состоит в подсвечи- а)

вании ошибок и пропусков на активном поле.

б)

• а) - знаками-указателями обозначатся выбор буквы; б) - дополнительные знаки ( □ ) указывают на неправильный выбор или пропуск буквы

Рисунок 5 - Примеры разных знаков-индексов для привлечения внимания пользователя при прохождении психологического теста

Построение интерактивного ПИ позволяет использовать знаки адаптивно к текущему поведению пользователя. С помощью системы компьютерного зрения и окулографии АПК может фиксировать снижение двигательной активности глаз и изменение мимики, что свидетельствует о снижении вовлечённости пользователя. В этом случае могут дополнительно подсвечиваться ошибки или пропущенные буквы, которые необходимо найти в оставшихся рядах. Цветовая индикация может быть активна до момента возвращения взгляда пользователя на зону тестирования или ограничена по времени.

На рисунке 6 приведён пример использования знаков в таблицах Шульте. Таблица содержит 25 ячеек, расположенных в 5 рядов, в которых беспорядочно вписаны числа от 1 до 25. Необходимо зафиксировать взгляд в центре таблицы и отметить все ячейки с цифрами по порядку без пропусков за минимальное время. Современные средства окулографии позволяют отследить корректность прохождения теста, а применение знаков разного типа - облегчить прохождение теста при необходимости.

Например, знак типа индекс (выделение цветом) и символ (указание следующего значения) обеспечат сохранение вовлечённости пользователя при краткосрочной потере внимания, вызванной внешним раздражителем. Чтобы устранить фактор отвлечения, предлагается при существенной задержке подсвечивать выбранный вариант синим цветом, ошибочный вариант - красным, а также формировать подсказку о следующем номере ячейки.

А2. Таблицы Шульте						А2. Таблицы Шульте Таблица 1
	Таблица 1 17	5	8	6	22
						22	21 S_____-7	14	18	7	Следующее число: S
	21	4	15	13	12	8	6 ч_____^			10
	14	19	18	9	10	3	19	11		17
	3	2	11	24	7	16	25	2	20	9
а)	23	1	16	20	25 б)	12	13	15	1	24

а) - классическое представление таблицы Шульте; б) - использование подсказок: выбранный вариант подсвечивается синим цветом (4), а ошибочный - красным (23)

Рисунок 6 - Пример использования знаков типа индекс (выделение цветом) и символ (указание следующего значения) для облегчения прохождения психологического теста с помощью таблицы Шульте

Таким образом, удалось внедрить в систему психодиагностики обратную связь: если пользователь отвлекается от активной зоны теста, то необходимо корректировать внимание за счёт визуальных стимулов. Генерация аудиовизуальных стимулов, дополнительно информирующих пользователя о происходящих событиях и подсказывающих ему необходимые действия, позволяет адаптировать пользовательский интерфейс с учётом индивидуальных особенностей восприятия. Применение такого подхода в медицинских приложениях позволяет реализовать концепцию персонализированной медицины.

Заключение

Исследование особенностей восприятия и воздействия знаков становится актуальной научно-технической задачей в условиях развития интерактивных ПИ. Активное применение устройств ВР приводит к усложнению ПИ и соответствующему росту информационной нагрузки на пользователя. Применение знаков в качестве визуальных стимулов позволяет повысить эффективность управления вниманием пользователя и усилить глубину погружения в ИмС.

В статье рассмотрены теоретические и практические аспекты применения знаков в интерактивных ПИ для контроля вовлечённости пользователей. Типизация знаков позволяет адекватно формировать визуальные стимулы с учётом особенностей восприятия пользователей и корректировать темпо-ритм интерактивного взаимодействия пользователя с АПК. Такой подход будет полезен разработчикам и специалистам по внедрению интерактивных программных комплексов и систем ВР в рамках построения ИмС.