Дистанционная оценка параметров пульсовой волны по видеозаписям лица человека с целью создания датасета для систем компьютерного зрения

Introduction . Telemedicine is becoming a powerful tool for increasing the availability and timely provision of medical care. However, many monitoring methods become unavailable due to the loss of direct contact between the doctor and the patient. All this requires new methodological approaches to the organization of diagnostics and treatment at the junction of information and communication technologies and medical sciences.

Aim : To develop a method for extracting the pulse wave from a human face video and to form a dataset using a telemedicine complex, traditional and remote photoplethysmography for artificial intelligence systems.

Material and Methods . The study included 450 practically healthy individuals who were examined using a telemedicine system, traditional and videophotoplethysmography at rest and after physical exertion. For each subject, three-minute video recordings were made from three webcams and smartphone video cameras with different resolutions, compared with a classic photoplethysmogram with a frequency of 100 Hz and vital health parameters recorded using a domestic telemedicine system.

Results . The resulting dataset contains 2,700 video files that can be used for training and testing artificial neural networks for remote photoplethysmography. Also, when collecting data, we studied the important scientific problem of synchronizing video files and photoplethysmograms for their correct comparison. To solve this problem, a new measurement coordination method based on comparing time series of measurement moments has been proposed. The results obtained were used to compare and analyze several existing pulse wave extraction algorithms using artificial neural networks in comparison with data obtained from a photoplethysmograph and a telemedicine system.

Conclusion . Based on the use of a telemedicine complex, traditional and remote photoplethysmography, a dataset has been assembled that can be used to extract physiological indicators of human health from facial video from user devices. The use of various well-known neural network computer vision algorithms has demonstrated the possibility of implementing remote photoplethysmography in medical diagnostics and health monitoring.

Анализ скорости распространения пульсовой волны раметра используются различные датчики, в том числе широко используется в медицине для косвенного опре- оптические сфигмографы, фотоплетизмографы и другие деления эластичности стенок артерий, что важно при медицинские приборы. Современные технологии «ком-диагностике атеросклероза аорты, артериальной гипер- пьютерного зрения» позволяют проводить дистанцион- ную фотоплетизмографию (ФПГ) [1, 2] – метод, основанный на оценке частоты сердечных сокращений (ЧСС) с использованием стандартных видеокамер и окружающего освещения. Современные смартфоны и веб-камеры дают возможность собирать видеоинформацию с достаточным разрешением. Однако на точность дистанционного определения параметров здоровья человека влияют условия съемки, освещение, продолжительность и другие параметры. Изучение влияния этих параметров на качество распознавания изображений нейронной сетью для извлечения пульсовых волн из видео как на этапе обучения алгоритмов, так и для их тестирования является важной научной задачей. Опубликованные и пересмотренные существующие наборы данных, используемые для решения этой проблемы [3], содержат недостаточное количество измерений. Они также не подкреплены данными о состоянии здоровья человека, включая его температуру, ЧСС, ФПГ, электрокардиограмму (ЭКГ) и другие физиологические показатели.

В настоящее время телемедицина становится мощным инструментом повышения доступности и своевременного оказания медицинской помощи. Современные платформы телемедицины предоставляют пациентам широкий спектр функций, включая запись на прием, результаты обследований, онлайн-консультации врачей, хранение цифровых медицинских карт и т. д. [4]. В этом аспекте основным преимуществом телемедицины является возможность пользоваться дистанционными медицинскими услугами из высокотехнологичных медицинских центров [5]. Развитие телемедицинских услуг осуществляется не только на уровне информационно-коммуникационной инфраструктуры, но и в создании новых методик и техник диагностики и лечения [6]. Действительно, новая парадигма дистанционного мониторинга здоровья позволяет врачу вести ретроспективное наблюдение. Однако многие методы наблюдения становятся недоступными из-за потери прямого контакта между врачом и пациентом. Все это требует новых методологических подходов к организации диагностики и лечения на стыке информационно-коммуникационных технологий и медицинских наук. Новый импульс развитию в этом направлении дала глобальная вспышка COVID-19 [7]. Однако основные вызовы для новых разработок в области телемедицины лежат, прежде всего, в области информационно-коммуникационных технологий [8].

Цель исследования: создание метода извлечения пульсовой волны по видео лица человека и формирование набора больших данных с использованием телемедицинского комплекса, традиционной и дистанционной ФПГ для систем искусственного интеллекта.

Материал и методы

В исследование включены 450 практически здоровых лиц без факторов риска хронических неинфекционных заболеваний, средний возраст – 23 ± 2,4 года, из них 254 женщины и 196 мужчин.

Исследование проводилось в соответствии с действующей версией Хельсинкской декларации, положениями Национального стандарта РФ ГОСТ Р52379-2005 о Надлежащей клинической практике от 01 апреля 2006, Приказом Министерства здравоохранения РФ от 1 апреля 2016 г. № 200н «Об утверждении правил надлежащей клинической практики» и положениями Надлежащей Клинической Практики (GCP).

Процедура информирования проводилась при очном контакте врача-исследователя с пациентом, по итогам которого последний подписывал письменное согласие. Исследование одобрено комитетом по биоэтике при ФГБОУ ВО СамГМУ Минздрава России (протокол № 267 от 23.08.2025 г.).

Всем испытуемым выполнялись следующие исследования:

• 1.    Исследование физиологических показателей состояния здоровья при помощи отечественной телемедицинской системы, включающей: телемедицинскую платформу дистанционного мониторинга физиологических показателей пациента «Health Check-Up» (СамГМУ, Россия) для сбора, дистанционной передачи данных в облачный сервер и их последующего анализа, медицинские изделия с дистанционной передачей данных по каналу Bluetooth: тонометр, весы, пульсоксиметр, электрокардиограф, термометр. Исследовали следующие показатели: массу тела, температуру тела, артериальное давление (АД), частоту пульса (ЧП), сатурацию, ЧСС, ЭКГ. Дополнительно проводили антропометрию: измерение роста и окружности грудной клетки.

• 2.    Оценка жесткости артериальной стенки посредством фотоплетизмографа.

• 3.    Измерение частоты дыхания при помощи тепловизора.

• 4.    Видеофиксация кожи лба человека (дистанционная ФПГ) с использованием 3 веб-камер.

Данные показатели регистрировались в покое и после физической нагрузки. Основной вклад исследования заключается в создании набора данных достаточного размера и разнообразия для обучения и тестирования нейронных сетей для решения задачи обнаружения пульсовой волны. Подготовка такого набора данных, полученных на разных непостоянных частотах, связана с проблемой их сравнения. Чтобы решить эту проблему, мы разработали метод координации измерений.

Процесс сбора данных показан на рисунке 1а. Исходные данные содержат видеофайлы, записанные в формате .avi из трех источников с разных ракурсов. Для записи использовались веб-камера Full HD, USB-видеокамера Sony и камера смартфона Xiaomi Redmi Note 11S Iriun Webcam (рис. 1). ФПГ и ЭКГ были записаны одновременно с видео. Все камеры выполняли съемку в разрешении VGA (640 × 480). Веб-камера Full HD и USB-видеокамера имеют частоту 30 кадров в секунду, а камера смартфона – 24 кадра в секунду. Общий набор данных включал видеофайлы продолжительностью 3 мин. Однако в нескольких видеороликах испытуемые не были ограничены в движении головы или в закрывании частей лица предметами или руками. Кроме того, данные о каждом испытуемом считывались с фотоплетизмографа, который регистрировал данные с частотой 100 Гц. Каждое 3-минутное видео было разделено на сегменты по 10 с, а начало сегмента выбиралось с шагом в одну секунду. В общей сложности из каждого видео продолжительностью 180 с было получено 170 фрагментов по 10 с.

Для извлечения и анализа пульсовой волны использовалась библиотека pyVHR, которая реализует оба стандартных метода обработки rPPG: GREEN, ICA, PCA, CHROM, PBV, POS, LGI и OMIT. Библиотека pyVHR использует при обработке видеофайла окно продолжительностью 6 с и шаг между окнами в 1 с. В общей сложности для каждого видео продолжительностью ~180 с было по-

(а)

(б)

(в)

(г)

Рис. 1. Процесс сбора данных (а) и результаты распознавания лиц: Iriun (б), Full HD (в), SONY USB (г) Fig. 1. Data acquisition process (a) and face detection results: Iriun (б), Full HD (в), SONY USB (г).

лучено ~174 значения импульсов. Аналогичным образом данные с фотоплетизмографа, которые представляют собой фактическое значение ЧСС за рассматриваемый период, были разделены на те же сегменты. Для определения пульса по этим сегментам использовалась библиотека heartpy.

В рамках экспериментальной части исследования был собран набор данных, содержащий видеозаписи 450 испытуемых с трех видеокамер до и после физической нагрузки. В результате было получено 450 × 3 × 2 = 2 700 видеофайлов продолжительностью 3 мин. Синхронно фотоплетизмограф производил запись для каждого испытуемого с частотой 100 Гц. Эти данные были учтены в сравнительном анализе для определения фактического значения пульсовой волны.

Данные традиционной контактной ФПГ использовались в качестве эталонного значения для изучения возможности выделения пульсовой волны из видеоданных с применением технологий машинного зрения. Оптически полученная плетизмограмма обычно используется для определения изменений объема крови в микрососу-дистом русле ткани. Следует отметить, что ФПГ в некото- рых случаях характеризуется относительно высокой методической погрешностью. На рисунке 2 показаны случаи определения дефектной и приемлемой ФПГ. Синхронизация может частично устранить дефекты.

Чтобы избежать этих проблем, был внедрен метод синхронизации данных, основанный на строгой привязке всех показателей ко времени. К каждому видеофайлу прилагается файл метаданных, в котором каждый кадр пронумерован и помечен временем его записи с точностью до миллисекунды. Показания фотоплетизмографа также записываются в том же формате, что позволяет сравнивать показания обоих приборов с точностью до 1 мс. При таком подходе упомянутые выше факторы, соответственно, нивелируются, и возможность задержки в обработке данных исключается.

Результаты

Данные, собранные из обоих источников, были синхронизированы с использованием метода, представленного выше. В частности, данные с фотоплетизмографа были разделены на сегменты. Для каждого видео продолжительностью 3 мин = 180 с, для каждого окна, полу-

(а)                                                      (б)

Рис. 2. Пример (а) дефектного и (б) приемлемого результата, полученного на основе фотоплетизмографии

Fig. 2. An example of (a) a defective and (в) an acceptable result obtained by photoplethysmography

ченного из этого видео, значения ЧСС рассчитываются с шагом в 1 с на основе данных с веб-камеры и данных с фотоплетизмографа. Всего было выделено 170 таких окон.

На рисунке 3 проиллюстрированы преимущества синхронизации. В начале эксперимента мы получили видеозаписи десяти испытуемых и сравнили задержки между данными видео- и традиционной ФПГ до и после синхронизации. Была проанализирована разница между предполагаемым сокращением сердца на видео и фактическим сокращением, считываемым фотоплетизмографом.

Задержка накапливается из-за следующих факторов:

• –    асинхронный запуск – задержка начала записи видеокамерой и фотоплетизмографом;

• –    несоответствие частоты дискретизации из-за разной частоты дискретизации видео- и ФПГ;

• –    отсутствие контрольных точек – практически невозможно избежать запаздывания и сравнить показания без сравнения результатов измерений во времени.

На рисунке 4 результаты работы библиотеки heartpy с данными ФПГ сравниваются с результатами преобра-

Рис. 3. Результаты синхронизации

Fig. 3. Synchronization results зования Фурье. Этот случай иллюстрирует возможность использования ФПГ в качестве надежного источника для определения пульсовой волны. В результате синхронизации становится возможным провести эксперимент по сравнению пульсовой волны, обнаруженной интеллектуальной системой компьютерного зрения, с пульсовой волной, полученной на ФПГ.

Этот конкретный пример показывает, что синхронизация данных видеозаписи и ФПГ позволяет сравнивать результаты измерений, полученные из обоих источников. Если проделать то же самое для всех обработанных видеозаписей с 3 разных видеокамер, то пульс можно будет определить с достаточной точностью в 68,6% всех видеозаписей. Эти результаты были улучшены с помощью метода OMIT, который показывает точность в 82,3% (рис. 5).

Таким образом, удалось провести эксперимент по анализу методов интеллектуальных технологий машинного зрения для дистанционной ФПГ.

Рис. 4. Сравнение результатов обработки данных с фотоплетизмографа с использованием метода фотоплетизмографии и библиотеки heartpy

Fig. 4. Comparison of data processing results from a photoplethysmograph using the photoplethysmography method and the heartpy library

Рис. 5. Типичные примеры сравнения результатов определения частоты сердечных сокращений по данным веб-камеры и фотоплетизмографа с использованием OMIT

Fig. 5. Typical examples of comparing heart rate determination results from a webcam and photoplethysmograph using OMIT

Предложенный метод мультимодальной координации измерений был реализован и протестирован при оценке технологий интеллектуального машинного зрения для выделения пульсовых волн из видеозаписей, полученных с помощью мобильных устройств связи. В ходе исследования было разработано программное обеспечение для видеозаписи лица человека в рамках телемедицинского решения и модель компьютерного зрения для извлечения пульсовой волны с необходимой надежностью для ее использования в медицинской диагностике и мониторинге здоровья.

На рисунке 6 представлены результаты сравнительного анализа погрешности определения пульсовой волны различными методами распознавания изображений.

Полученные результаты позволяют сделать вывод об относительно высоких перспективах извлечения пульсовой волны путем видеозаписи лица пациента с помощью видеокамеры, совместимой с персональными компьютерами или смартфоном. Для улучшения качества распознавания следует предложить следующее: при записи с помощью веб-камеры видео обычно сохраняются с использованием кодека fMP4, который сжимает данные между кадрами. В результате такого сжатия значения яркости пикселей в каждом кадре могут незначительно отличаться от исходных значений, полученных с камеры. Использование других кодеков может решить проблему, но приведет к увеличению размера файла. Чтобы устра- нить эту проблему, в текущем эксперименте все видео были преобразованы в формат Motion JPG, в котором каждый кадр сохраняется отдельно. Это позволило привести набор данных в удобную для обработки форму и устранить такие артефакты, как нулевая длина видео и обрывки кадров. При обработке необходимо учитывать параметры камер, с которых проводилась съемка.

Таким образом, для реализации удаленной ФПГ с камеры требуется получить максимально возможные необработанные данные, поскольку баланс белого и другие сглаживания оптического потока оказывают негативное влияние на фактическую яркость пикселей, что, в свою очередь, отрицательно сказывается на результатах определения пульсовой волны. Следовательно, можно выбрать настройки и ориентацию камер, при которых съемка будет оптимальной для определения пульсовой волны. Существующие алгоритмы, вероятно, настроены на фронтальную съемку, когда снимается все лицо, и оно видно полностью. В нашем эксперименте некоторые камеры снимали объекты в профиль. В этом случае результаты могли бы быть хуже. Погрешность в определении пульсовой волны с помощью фотоплетизмографа также вносит свой вклад в методологическую ошибку. При неправильных значениях ФПГ алгоритм расчета пульса обычно выдает большие значения, что серьезно увеличивает погрешность. Этот фактор может быть дополнительно выявлен и устранен.

Рис. 6. Средняя абсолютная погрешность различных методов выделения пульсовой волны

Fig. 6. Mean absolute error of various pulse wave extraction methods

Обсуждение

Наряду с хорошо известными услугами видеоконференцсвязи, телемедицинские платформы включают в себя различные медицинские устройства и датчики удаленной диагностики. Применение существующих и недавно разработанных медицинских устройств с удаленным доступом предоставляет одновременно несколько относительно новых и высокоэффективных услуг. На техническом уровне такие решения требуют дополнительных инженерных усилий для интеграции датчиков [9]. Использование медицинских датчиков предоставляет качественно новые возможности для удаленного мониторинга состояния здоровья, позволяющие осуществлять динамический мониторинг состояния здоровья пациентов [10, 11]. Их применение на практике позволяет создать цифровой двойник параметров здоровья человека с помощью Интернета вещей и собрать достаточное количество данных для медицинской диагностики. В этом аспекте, несомненно, носимые беспроводные устройства играют решающую роль, хотя стационарное оборудование также может использоваться для периодического мониторинга физиологических параметров.

Новые телемедицинские носимые системы мониторинга [12] предоставляют возможность сбора мультимодальных больших данных в режиме реального времени для описания физиологического и биохимического состояния пациентов с помощью неинвазивных методов. Различные типы сенсорных устройств, таких как датчики давления, деформации, электрохимические, оптоэлектронные и температурные датчики, обеспечивают мониторинг различных жизненно важных показателей, таких как температура тела, насыщение артериальной крови кислородом, частота дыхания и т. д. [13]. Чтобы предоставить исчерпывающее описание состояния здоровья пациента, эти датчики объединяются с помощью телемедицинской аппаратно-программной платформы для сбора, передачи, обработки, представления и хранения данных, предназначенной для удаленного мониторинга образа жизни, показателей жизнедеятельности и в целом клинического статуса [14]. Для этого необходимо осуществить параллельный и синхронизированный сбор данных для их последующего анализа с использованием современных статистических методов.

Анализ медицинских данных осуществляется телемедицинскими системами с использованием алгоритмов математической статистики [15] и искусственного интеллекта [16]. В обоих случаях использование методов и алгоритмов анализа данных требует адаптации к предметной области телемедицины с учетом специфики нерегулярного сбора данных, возможных искажений и потери точности измерений. Интеграция и синхронизация различных медицинских диагностических устройств и адаптированных алгоритмов глубокого обучения и искусственного интеллекта осуществляются на основе интеллектуальных носимых систем мониторинга здоровья [17]. Интеграция технологий в методы наблюдения обеспечивает надлежащую коммуникацию между интеллектуальными устройствами и человеческим организмом для предотвращения проблем со здоровьем [18]. В целом, в телемедицине были достигнуты значительные успехи и перспективы в использовании различных медицинских датчиков для сбора мультимодальных данных для медицинской диагностики и оказания медицинской помощи.

Решение задачи дистанционной регистрации физиологических сигналов с приемлемым уровнем точности и надежности открывает широкие перспективы в таких областях, как телемедицинский скрининг, экспресс-диагностика в медицинской организации и индивидуальная экспресс-диагностика, мониторинг функционального состояния операторов сложных систем во время их работы, определение эмоционального состояния человека и т. д. Основными преимуществами бесконтактной удаленной регистрации являются значительное сокращение времени, необходимого для проведения исследований, отсутствие расходных материалов и, как следствие, снижение стоимости, неинвазивность и удобство для пациента. В связи с этим в последние десятилетия активно разрабатываются методы, аппаратные и программные средства для решения задачи дистанционной бесконтактной регистрации физиологических сигналов и измерения параметров, характеризующих состояние организма человека. Основные методы удаленной бесконтактной регистрации, с точки зрения использования аппаратных средств, можно разделить на две большие группы: те, которые используют дополнительное или нестандартное оборудование, и без таковых.

Каждая группа методов имеет свои преимущества и недостатки. Использование радиолокационного оборудования с базой зондирующего сигнала, значительно превышающей единицу [19], позволяет регистрировать ЧСС и частоту дыхания на участках человеческого тела, закрытых одеждой, во время сна; проводить термографию и дополнительно определять потоотделение; бесконтактную ЭКГ – регистрировать электрокардиографический сигнал в форме, привычной в традиционной практике [20]. Однако дополнительное оборудование значительно увеличивает стоимость исследований, предъявляет требования к квалификации персонала и ограничивает спектр возможных применений. По этим причинам значительный интерес представляют методы бесконтактной записи физиологических сигналов с использованием стандартного оборудования, такого как видеокамеры и микрофоны на смартфонах, планшетных компьютерах, веб-камерах и т. д.

Наборы данных, используемые для тестирования алгоритмов удаленной ФПГ, различаются по своему назначению и условиям записи видеофайлов. Так, набор данных MAHNOB_HCI изначально предназначался для распознавания эмоций, UBFC-Phys – для психофизиологических исследований, а VIPL-HR – для изучения алгоритмов определения ЧСС. Кроме того, в некоторых наборах данных используются дополнительные источники света и устройства, преобразующие световой поток. Например, в [3] использовались поляризационные фильтры для уменьшения отражения от экрана компьютера. Следует также отметить, что физиологические сигналы в наборах данных, такие как ЭКГ и пульсовая волна, регистрируются с использованием различного оборудования и параметров.

Проведенное нами исследование продемонстрировало возможность решения задачи оценки применимости интеллектуальных технологий машинного зрения для извлечения пульсовых волн из видеозаписей, полученных с помощью устройств мобильной связи. С этой целью в рамках исследования был собран и подготовлен к обработке уникальный набор данных. Набор данных содержит 3-минутные видеозаписи от 450 испытуемых разного пола и возраста, зарегистрированные в двух состояниях (в спокойном состоянии и после тренировки), сопоставленные по 13 параметрам, включая АД, ЭКГ, ЧСС, ФПГ и т. д. Чтобы обеспечить правильное согласование нескольких параметров, фотоплетизмограф был скоординирован с несколькими веб-камерами, в результате чего стало возможным идентифицировать пульсовую волну по результатам видеозаписи лица человека.

Сбор данных о динамических изменениях в состоянии здоровья человека с использованием нескольких медицинских устройств требует дополнительных усилий по синхронизации процедур сбора и обработки данных. Важной задачей в этом случае является решение проблемы синхронизации мультимодальных данных, собранных с помощью медицинских диагностических датчиков. Это дает возможность решать задачи медицинского мониторинга состояния здоровья человека по нескольким параметрам. В частности, скоординированный сбор данных в распределенной телемедицинской системе позволяет объединять показания удаленных датчиков для создания и тестирования новых методов медицинской диагностики. Например, метод извлечения пульсовой волны из видеоданных лица, рассмотренный в этой статье, соответствует данным, полученным из ФПГ. В результате в рамках телемедицинского решения была внедрена и протестирована практически полезная методика видеозаписи лица человека, набор технологий и программного обеспечения для ее реализации. Полученное решение было использовано для тестирования интеллектуальных технологий машинного зрения для извлечения пульсовых волн из видеозаписей, полученных с помощью мобильных устройств связи.

Выводы

На основе использования телемедицинского комплекса, традиционной и дистанционной ФПГ был создан алгоритм, который может быть применен для извлечения физиологических показателей здоровья человека по видео лица с пользовательских устройств. По результатам исследования 450 человек с применением ряда медицинских изделий и ФПГ создан набор данных, который на основе использования различных известных нейросетевых алгоритмов компьютерного зрения может быть применен для реализации дистанционной ФПГ в медицинской диагностике и мониторинге состояния здоровья.