Метод оценки и когнитивной визуализации состояния сложного динамического объекта по видеоданным

Сложный динамический объект (далее – СДО) является одним из важнейших понятий теории систем. Динамичность объекта подразумевает изменение его состояния во времени в зависимости от предыдущего состояния и входных воздействий (иными словами, объект обладает памятью и инерционностью). СДО обладает рядом фундаментальных характеристик сложности, к которым относятся: нестационарность, нелинейность, чувствительность к начальным условиям, эмерджентность, многоуровневость, адаптивность, и ограниченная наблюдаемость [1].

В настоящей работе исследуется задача оценки состояния СДО по видеоданным и когнитивной визуализации ее результатов на примере СДО физиологической природы, а именно кровеносной системы кожи лица человека.

Можно заметить, что сосудистая система (в частности, кожи лица) обладает характеристиками динамичности и сложности. Кровоток нестационарен и существенно изменяется во времени в зависимости от внешних изменений, а также демонстрирует свойства нелинейности [2]. Сосудистая система является адаптивной, так как способна изменять свои параметры (тонус сосудов, частоту сердечных сокращений) в ответ на возмущения [3]. С нашей точки зрения, именно адаптивность является ключевым признаком сложности сосудистой системы. Сосудистая система является эмерджетной в силу того, что система в целом обладает свойствами, отсутствующими у отдельных ее элементов. В кровеносной системе четко наблюдается многоуровневость, проявляющаяся в виде наличия нескольких частотных диапазонов колебаний микроциркуляторного кровотока

Вестник Российского нового университета

Серия «Сложные системы: модели, анализ и управление». 2026. № 2

кожи [4]. Кровеносная система является объектом ограниченной наблюдаемости, и для ее исследования применяются методы и инструментальные средства опосредованного измерения (лазерная допплеровская флоуметрия, видеокапилляроскопия, фотоплетизмография, видеоплетизмография).

Когнитивная визуализация – междисциплинарная область на пересечении когнитивной науки, компьютерных дисциплин и дизайна, ставящая целью создание визуальных представлений, которые оптимизируют процессы восприятия, логического вывода и принятия решений за счёт снижения когнитивной нагрузки и внешней фиксации ментальных моделей [5; 6]. Когнитивная визуализация позволяет предоставить лицу, принимающему решения (например, врачу или исследователю), наглядное представление информации об анализируемом объекте.

Видеоплетизмография (далее – ВПГ) представляет собой экспериментальную диагностическую процедуру, заключающуюся в видеозаписи участка кожи человека с целью последующей обработки полученных видеоданных для оценки состояния кровеносной системы данного участка кожи и получения оценки ряда ее характеристик: частотно-временных характеристик колебаний кровотока, а также макропоказателей кровеносной системы: артериального давления, частоты сердечных сокращений и др. [7–10]. Необходимо отметить, что в силу значительной зашумленности видеоданных и ограниченной наблюдаемости кровеносной системы точное определение ее характеристик по данным ВПГ-исследования является затруднительным, а сама процедура является экспериментальной [11].

Набор данных

В качестве видеоданных в настоящей работе выступают видеоряды, полученные в ходе ВПГ-исследования кожи лица. Использованный набор данных был собран в Национальном медицинском исследовательском центре терапии и профилактической медицины Министерства здравоохранения Российской Федерации и включает в себя сведения о более чем 2200 ВПГ-обследованиях испытуемых различных демографических групп. Данные содержат:

• •    метаданные испытуемого (уникальный идентификатор, пол, возраст, прочие физиологические параметры, а также сведения о наличии ряда хронических заболеваний и приеме медикаментозной терапии);

• •    видеоряды с записью лиц испытуемых, а также метаданные видеорядов (длительность, частота дискретизации);

• •    замеры артериального давления, сатурации, температуры тела, освещенности помещения и др., выполненные в процессе обследования;

• •    данные электрокардиографии, выполненные в процессе обследования.

Метод оценки и когнитивной визуализации состояния СДО

Предлагаемый в настоящей работе метод оценки и когнитивной визуализации СДО по видеоданным включает в себя следующие этапы:

• 1)    обработка видеоданных и уменьшение размерности представления данных;

• 2)    формирование признакового пространства;

• 3)    обучение нейросетевой модели оценки состояния СДО;

• 4)    когнитивная визуализация результатов оценки состояния СДО.

Метод оценки и когнитивной визуализации состояния сложного динамического объекта по видеоданным

Обработка видеоданных . Для обработки видеоданных и уменьшения размерности их представления предлагается способ, изложенный в [12].

Пусть имеется видеоряд кадров с изображением СДО (лица человека) I ( x , y ) длиной N . Первым этапом производится выделение региона интереса на каждом кадре видеоряда I _j ( x , y ), j = 1, …, N . Учитывая специфику исследуемого СДО физиологической природы, целесообразно для этой цели использовать нейросетевой детектор лиц, например, YuNet, RetinaFace и др. [13; 14]. Затем по выходу нейросетевого детектора региона интереса производится восстановление координат региона интереса в системе координат исходного изображения и обрезка по границам региона интереса.

Следующим этапом осуществляется сегментация региона интереса. В настоящем исследовании выделяется четыре сегмента региона интереса (участки лица, соответствующие левой и правой щекам и левой и правой сторонам лба). Для этой цели предлагается использовать нейросетевой детектор ключевых точек лица человека, при этом предварительно выделенный регион интереса должен быть преобразован к размерам, соответствующим входу данного детектора. При необходимости построения дополнительных точек на изображении лица человека множество точек может подвергаться аффинному преобразованию в виде поворота на угол, при котором линия глаз является приближённо горизонтальной.

Уменьшение размерности представления данных . На основе полученного множества ключевых точек для каждого кадра I _j ( x , y ) строятся полигоны сегментов региона интереса S _jk ( x , y ), k = 0, …, 3. Далее для каждого сегмента S _jk на каждом кадре вычисляется пространственное среднее значение интенсивности выбранного цветового канала C ( x , y ) по множеству пикселей сегмента. Выполняемое таким образом пространственное усреднение снижает влияние квантования сенсора и локальных шумов. В результате для каждого сегмента k формируется временной ряд C _k ( t ), содержащий значения пространственного среднего интенсивности цветового канала.

Учитывая нестационарность рассматриваемого СДО физиологической природы, можно сделать вывод о недостаточности оценки его частотных характеристик посредством фурье-анализа. Для учета динамического поведения СДО необходим частотно-временной анализ [15]. Для этой цели полученные временные ряды C _k ( t ) подвергаются частотной полосовой фильтрации с исключением диапазона частот, не относящихся к рассматриваемом у СДО (низ к о- и высокочастотные шумы), в результате формируются временные ряды с _k ( t ). Затем с _k ( t ) подвергается частотно-временному анализу посредством непрерывного вейвлет-преобразования. В рамках настоящего исследования использовался материнский вейвлет Морле. В результате была вычислена матрица комплексных коэффициентов частотно-временного представления W _k ( f , t ) ∈ с, описывающая распределение частотных компонент сигнала во времени.

Произведенная обработка преобразует исходные данные к более компактному и пригодному для дальнейшего анализа (в том числе интеллектуального) представлению. Существенное снижение размерности представления данных позволяет существенно снизить требования к вычислительным ресурсам для дальнейшей обработки.

Формирование признакового пространства . Следующим этапом рассматриваемого метода является формирование признакового пространства. Необходимо заметить, что частотно-временное представление само по себе является избыточным и зашумленным. Для решения данной проблемы предлагается извлечь из частотно-временного представ-

Вестник Российского нового университета

Серия «Сложные системы: модели, анализ и управление». 2026. № 2

ления следующие группы признаков: амплитудно-энергетические, динамические, частотные и фазовые (в том числе межсегментные).

Введем частотные диапазоны B _k = [ f _k ^min , f _k ^max ], соответствующие частотным диапазонам колебаний кровотока человека. Предлагается осуществлять определение значений признаков не на каждом отсчете данных в отдельности, а внутри скользящего окна т = [τ, τ + L ], перемещаемого с шагом Δ. При этом для каждого положения окна и каждого частотного диапазона B _k вычисляется вектор признаков.

К амплитудно-энергетическим признакам относятся: амплитуда А _k и мощность Р _k частотного диапазона, а также его доля в общей мощности всех диапазонов ^к , усредненные по окну Т . К динамическим признакам относится вариабельность амплитуды для частотного диапазона в окне, определяемая по формуле

Va*

^ ,

Ак

где σ _A – среднеквадратическое отклонение амплитуды для частотного диапазона B _k в окне Т ;

_k – среднее значение амплитуды для частотного диапазона B _k в окне т .

К частотным признакам относится центроид частоты, вычисляемый по формуле г центр

W/EB^W^I2

.

Для формирования фазовых признаков в каждом частотном диапазоне вычисляются нормированные (единичной амплитуды) комплексные коэффициенты частотно-временного представления U ( f , t ) = e ^{i ϕ( f , t )} . На их основе для частотного диапазона B _k вычисляются взвешенная полосовая сумма Z _k ( t ) и полосовая фаза ϕ _k ( t ) = arg( Z _k ( t )). Далее вычисляется признак согласованности фазы – среднеквадратическое отклонение джиттера фазы

J _k , определяемое по формулам:

^к - ^EteT

^Фк СО

dt

где E – оператор математического ожидания;

^(0 =

^Фл CO

dt

~^k.

J _k = σ _{∈ k}

Для двух частотно-временных представлений W _i ( f , t ) и W _j ( f , t ), соответствующих сигналам, извлеченным из различных сегментов, вычисляется их совместная величина C _ij ( f , t ). На основе C _ij ( f , t ) для каждого частотного диапазона B _k вычисляется совместная полосовая сумма Z _{ij , k} по формулам:

C _ij ( f , t ) = W _i ( f , t ) W _j * ( f , t ), где * – операция комплексного сопряжения;

w ( f , t ) = | W _i ( f , t ) | W _j ( f , t )|,

Zij.k ⁼EteT2,fEB_k^w(f>t) Cij^.t) ^.

Метод оценки и когнитивной визуализации состояния сложного динамического объекта по видеоданным

По полученной совместной полосовой сумме Z _{ij , k} вычисляются фазовый лаг Δϕ _{ij , k} и центроид частоты по совместной мощности уг центр . На основе фазового лага Δϕ _{ij , k} и центроида частоты по совместной мощности yr центр вычисляется величина задержки распространении волны между сегментами Δ t _{ij , k} по формулам:

Δϕ _{ij , k} = arg( Z _{ij , k} ),

,центр _ ^terX/eBjkijOl

^ = ^ф^^ .

Для дальнейшего интеллектуального анализа полученного признакового пространства и улучшения сходимости алгоритмов машинного обучения предлагается выполнить робастную лог-нормировку амплитудно-энергетических признаков.

Результатом применения данного способа является признаковое пространство, в котором каждый объект x_i , i = 1, …, N представлен набором признаков, представляемым в виде тензора X размерности [N_T,K, 12], где Ny – количество временных окон частотно-временного представления; K – количество частотных диапазонов. Данное признаковое пространство пригодно для анализа посредством ИНС для анализа временных рядов.

Нейросетевая модель . Поскольку в данном методе задача оценки состояния СДО может быть сформулирована как задача интеллектуального анализа временных последовательностей, целесообразно рассмотреть соответствующие архитектуры: одномерные сверточные и рекуррентные нейронные сети. Одномерные сверточные нейронные сети (далее – СНС) способны эффективно выделять локальные устойчивые шаблоны и подавлять кратковременные шумы за счёт свёрточной фильтрации. При этом их недостатком является ограниченная способность к моделированию зависимостей на больших временных промежутках.

Из числа рекуррентных нейронных сетей целесообразно рассмотреть сети типа LSTM. Данный класс нейронных сетей ориентирован на учёт долгосрочных временных зависимостей, но при прямой подаче высокоразмерных и зашумлённых признаков такие нейронные сети склонны к переобучению [16].

В связи с этим целесообразно использовать каскадную архитектуру, сочетающую в себе одномерную СНС как экстрактор признаков и сеть LSTM как модуль моделирования долговременной динамики и агрегирование информации на уровне всей записи.

Когнитивная визуализация состояния . Рассмотрим набор когнитивных визуализаций состояния СДО. Каждая визуализация решает конкретную задачу выделения определенных аспектов состояния СДО. Когнитивная задача визуализации заключается в выявлении скрытых взаимосвязей. К основным визуализациям относятся: тепловая карта амплитуд частотно-временного представления (амплитудная скалограмма), карта сигнатур диапазона, глиф окна, карта межсегментных задержек.

Тепловая карта амплитуд частотно-временного представления (Рисунок 1) позволяет наглядно продемонстрировать динамику изменения частотных характеристик СДО во времени.

Вестник Российского нового университета

Серия «Сложные системы: модели, анализ и управление». 2026. № 2

Рисунок 1. Тепловая карта амплитуд частотно-временного представления

Источник: здесь и далее на рисунках представлены когнитивные визуализации состояний СДО.

Рисунки выполнены авторами.

Карта сигнатур диапазона (Рисунок 2) представляет собой набор графиков, отображающих временные ряды ключевых метрик для каждого региона и частотного диапазона. Ее когнитивной задачей является детальный анализ поведения конкретного физиологического контура.

Рисунок 2. Карта сигнатур диапазона

Глиф окна (Рисунок 3) представляет собой радиальную диаграмму (лепестковую диаграмму), отображающую значения признаков для одного конкретного временного окна. По углам многоугольника отложены частотные диапазоны, длина луча соответствует значению признака. Когнитивная задача глифа окна – компактное представление «отпечатка» состояния СДО в конкретный момент времени. Форма глифа позволяет классифицировать состояния (например, «доминирование частотного диапазона B1»).

Карта межсегментных задержек (Рисунок 4) – графическое представление четырех сегментов региона интереса в виде узлов на плоскости. Стрелки между узлами показывают направление и величину задержки распространения пульсовой волны в частотном диапазоне.

Метод оценки и когнитивной визуализации состояния сложного динамического объекта по видеоданным

Рисунок 3. Глиф окна

Рисунок 4. Карта межсегментных задержек

Выводы

Предлагаемый в настоящей работе метод оценки и когнитивной визуализации состояния СДО объединяет обработку видеоданных, частотно-временной анализ и интеллектуальное моделирование, что позволяет эффективно оценивать состояние нестационарных

Вестник Российского нового университета

Серия «Сложные системы: модели, анализ и управление». 2026. № 2

нелинейных систем с ограниченной наблюдаемостью в условиях ограниченных вычислительных ресурсов. Разработанный способ извлечения признаков внутри скользящих окон обеспечивает устойчивость к шумам и повышает информативность признакового пространства.

Предложенный набор визуализаций позволяет экспертам выявлять скрытые взаимосвязи и принимать обоснованные решения на основе результатов автоматизированного анализа. Метод успешно апробирован на репрезентативной выборке видеоплетизмогра-фических данных и может быть применён для неинвазивной оценки состояния микро-циркуляторного кровотока в исследовательских задачах.