Семиозис визуальных стимулов в интерактивных пользовательских интерфейсах медицинских приложений

Рассматривается проблема достижения полноты и единства объективной, субъективной и виртуальной реальности применительно к прикладным задачам проектирования интерактивных пользовательских интерфейсов. В рамках построения иммерсивной среды с помощью современных информационных технологий исследована задача формирования онтологии восприятия. Выделена ключевая роль знака в информационном взаимодействии с учётом индивидуальных особенностей его восприятия пользователями виртуальной реальности. В иммерсивной среде виртуальные знаки могут воплощаться как в качестве наблюдаемых объектов с различной степенью реалистичности, так и непосредственно в форме графических и текстовых знаков, получивших определённое расположение в пространстве. Предложенный подход позволяет задать алгоритм визуального воздействия на человека путём динамического формирования последовательности знаков. Формируемые последовательности образуют очередь визуальных стимулов, корректирующих темпо-ритм интерактивного взаимодействия пользователя с компьютерной системой. Наблюдаемые пользователем знаки можно классифицировать как иконические знаки, соответствующие условным обозначениям или пиктограммам, знаки-индексы, выступающие в качестве указателей на другие объекты и позволяющие размечать пространство в целях ориентации, и знаки-символы, сигнализирующие или предупреждающие об изменении объекта, произошедшем событии или явлении. В статье рассмотрены тестовые примеры поведения пользователя в среде виртуальной реальности. Предложенный подход реализован в программном комплексе психологической диагностики и реабилитации. Особенностью комплекса является контроль вовлечённости пациентов на основе анализа динамики движений головы, мимических движений и траектории взгляда с использованием искусственных нейронных сетей. В случае идентификации событий отвлечения внимания или потери интереса компьютерная система производит адаптацию пользовательского интерфейса путём добавления визуальных стимулов в соответствии с заданными прагматическими правилами. Применение полученных результатов позволило обеспечить адаптацию пользовательского интерфейса и создать возможность для персонализированного подхода к оказанию медицинских услуг.