Обзор зарубежных исследований в области интеллектуальных подходов к оценке состояния водителя транспортных средств

Эволюция технологий обеспечения безопасности транспортных средств (ТС) достигла переломного момента, когда интеграция искусственного интеллекта, компьютерного зрения и систем мониторинга в реальном времени меняет ландшафт применяемых средств и возможностей автономного вождения. По мере перехода от традиционных ТС, управляемых человеком, к все более автоматизированным системам критическая важность Driver Monitoring Systems (DMS) стала первостепенной для обеспечения безопасности дорожного движения и оптимизации интерфейса человек-машина [1, 2].

Предварительные замечания

В современных системах мониторинга состояния водителя чаще всего применяется комплексный подход. В состав комплекса могут входить физиологические, автомобильные (поведение ТС) и визуальные (поведенческие) методы.

Физиологические методы остаются наиболее точными, однако их инвазивный подход усложняет практическое применение в реальных условиях вождения. «Золотым стандартом» можно назвать метод электроэнцефалограммы (ЭЭГ), использующий шлемы, гарнитуры, нагрудные датчики и периокулярные электроды для регистрации активности головного мозга. Ключевыми параметрами данного метода являются спектральные мощности альфа-, тета-, бета- и дельтаритмов, а также расчетные показатели – индекс сонливости и отношение альфа/тета. Для отслеживания глаз с помощью электродов, размещаемых вокруг глазниц, применяется метод электро-окулографии (ЭОГ), регистрирующий медленные движения глаз, характерные для оценки сонли-вости/усталости водителя. Существует метод, свойства которого коррелируют с уровнем усталости, используя нагрудные датчики. Этим методом является электрокардиография (ЭКГ), измеряющая вариабельность сердечного ритма. Однако недостаток данного метода заключается в том, что метод обладает высокой диагностической ценностью и требует постоянного контакта с кожей, дорогостоящим оборудованием, а обработка сигналов сопряжена со сложным спектральным анализом и необходимостью фильтрации артефактов движения.

Автомобильные методы используют данные штатных систем автомобиля: камеры, лидары, инерциальные измерительные блоки, датчики угла поворота рулевого колеса, датчики педалей и т. п., и являются наименее инвазивными. К основным измеряемым параметрам относятся: угол поворота рулевого колеса, положения в полосе движения, резкость манёвров, а также характер использования тормозной системы и педали акселератора. Главными преимуществами являются низкая стоимость и простота интеграции, однако изменения в вождении могут быть вызваны не только сонливостью водителя, но и дорожными условиями, отвлечением внимания, стилем вождения.

Данные методы, основанные на компьютерном зрении, в настоящее время являются наиболее актуальными. Для захвата данных используются как камеры видимого диапазона, так и инфракрасные, включая те же камеры смартфонов. К основным измеряемым параметрам относятся: состояния глаз PERCLOS – процент закрытия глаз, частота и скорость моргания, направление взгляда, положение и поворот головы, состояние рта (продолжительность и частота зевков).

Несмотря на большое число самих методов, стоит помнить, что все эти методы сталкиваются со значительными сложностями обработки, включая необходимость обеспечения устойчивости к изменениям освещенности, ракурса, наличия очков или бороды, а также высокие вычислительные затраты и потребность в больших размеченных наборах данных для обучения моделей.

Анализ физиологических сигналов представляет собой один из наиболее прямых подходов к обнаружению сонливости, мониторинг биологических индикаторов, таких как вариабельность сердечного ритма, проводимость кожи и паттерны мозговых волн. Эти методы обеспечивают объективные измерения изменений физиологического состояния, связанных с усталостью и сонливостью.

Мониторинг электроэнцефалографии (EEG) может обнаруживать характерные паттерны мозговых волн, связанные с началом сонливости, в то время как анализ вариабельности сердечного ритма идентифицирует изменения автономной нервной системы, которые предшествуют эпизодам сна.

Однако данные подходы, как правило, требуют прямого физического контакта с пользователем, к примеру, через датчики на коже или головные электроды, что может снижать комфорт, ограничивать свободу движений и затруднять практическое применение в условиях реального вождения. К тому же датчики нуждаются в постоянной калибровке и являются чувствительными к малейшим движениям, что может привести к получению неточных данных [3].

Подходы на основе Deep Neural Networks и Convolutional Neural Networks

В статье [3] представлен всесторонний обзор методов обнаружения сонливости и усталости у водителей с помощью машинного обучения (МО) и глубокого обучения (ГО). Современные методы для этого применения делятся на четыре категории: анализ изображений или видео во время вождения, анализ биологических сигналов водителей, анализ движения ТС и гибридные методы.

В работе [4] на трёх основных общедоступных наборах данных – NTHUDDD, YawDD и UTA-RLDD, – которые широко используются в исследованиях по выявлению сонливости, были рассмотрены такие методы, как метод k-ближайших соседей (KNN), метод опорных векторов (SVM), свёрточные нейронные сети (CNN) и передовые модели компьютерного зрения (CV), такие как YOLOv5, YOLOv8 и Faster R-CNN.

Кроме двухэтапных детекторов (таких как R-CNN и его производные), которые сначала генерируют регионы интереса, а затем классифицируют их, YOLO реализует одноэтапную детекцию. Преимущества по сравнению с другими сетями заключается в способности обрабатывать изображения в реальном времени [5]. Архитектура YOLO оптимизирована для сквозного обучения (end-to-end learning). YOLO «видит» все изображение целиком. Использование YOLO в большинстве случаев является предпочтительным, если не оговорены требования более высокой производительности.

В работе [6] использованы модели глубокого обучения, такие как традиционный CNN, VGG16 и MobileNet, которые облегчили обнаружение сонливости. Среди этих подходов модель MobileNet стала ценным выбором для обнаружения сонливости водителей благодаря возможности обработки данных в режиме реального времени и пригодности для развертывания в условиях ограниченных ресурсов с наивысшей достигнутой точностью – 92,75 %.

Методы определения зоны внимания водителя

Для лучшего контроля внимания водителя необходимо предполагать, куда смотрят водители, создавая пространственные тепловые карты, но и учитывать когнитивные мотивы, лежащие в основе распределения внимания в конкретных ситуациях, что обеспечивает более глубокое понимание механизмов внимания. В работе [7] представлена Explainable Driver Attention Prediction – новая парадигма задач, которая одновременно предсказывает области пространственного внимания (куда), анализирует семантику внимания (что) и предоставляет когнитивные обоснования распределения внимания (почему).

Определение зон внимания водителя опирается на сложные технологии отслеживания глаз и позиционирования головы, которые могут точно оценить, куда водитель направляет свое визуальное внимание. Эти системы должны учитывать индивидуальные вариации в структуре лица, положении сидения и поведенческих паттернах [8–11].

Основные методы обнаружения зон внимания включают отслеживание роговичного отражения, оценку центра зрачка и алгоритмы оценки позы головы. Эти техники работают в комбинации для создания точных моделей направления и продолжительности визуального внимания. Передовые системы включают возможности прогнозного моделирования, которые могут предвидеть сдвиги внимания на основе контекста вождения, дорожных условий и исторических поведенческих паттернов, обеспечивая проактивные вмешательства в области безопасности [12, 13].

Методы определения сонливости у водителей

В работе [14] представлена модель MTCNN (multi-task cascaded convolutional network, многозадачная каскадная свёрточная сеть), на основе свёрточных нейронных сетей, которая распознает пять лицевых ориентиров и определяет их местоположение в реальном времени. Три подсети, входящие в состав модели, используют построенную пирамиду изображений в качестве входных данных. Далее строятся прямоугольники, ограничивающие глаза и губы для каждого из наблюдаемых. В прямоугольниках наблюдаются такие признаки, как частое моргание, длительное закрытие глаз, зевота.

В работе [15] предлагается не учитывать данные о рулевом управлении и скорости ТС. Предлагается использовать одну камеру для анализа состояния водителя. Чтобы определить невнимательность водителя, система запускает процесс оценки положения головы. Определяется покачивание головой из стороны в сторону или постоянное кивание, а также признаки того, что водитель сосредоточен на дороге, по положению головы, когда руль неподвижен. Преимуществом такого метода является то, что не требуется выделение лицевых ориентиров, но появляются ограничения при соотнесении текущего состояния с уже изученными классами. В данной работе предполагается использовать инфракрасную камеру.

В работе [16] по выражению лица водителя выполняется поиск признаков. В качестве инструментов используются глубокие НС. Были выделены биологические, автомобильные и гибридные подходы оценки работоспособности. Ассоциации сформированы по физиологическим и поведенческим паттернам. В работе представлено сравнение архитектуры трансформаторов ViT и Swin и НС. Трансформеры выполняют распознавание сонливости благодаря способности моделировать взаимосвязи между удалёнными областями лица (например, корреляцию между зевотой и длительным закрыванием глаз) с помощью механизма самовнимания. Это отличает их от свёрточных нейронных сетей, которым для достижения аналогичной контекстной осведомлённости требуются более глубокие архитектуры, часто в ущерб вычислительной эффективности.

В статье [17] указано, что сонливость, связанная с недосыпанием и нарушением циркадных ритмов, является фактором риска несчастных случаев и человеческих ошибок. Процент времени, в течение которого глаза закрыты более чем на 80 % (PERCLOS), является одним из наиболее достоверных показателей, используемых для пассивного выявления сонливости, которая усиливается при недосыпании, частичном ограничении сна, в ночное время и при других действиях, вызывающих сонливость, во время тестов на бдительность, имитации вождения и вождения на дорогах.

Дистанционная фотоплетизмография, или rPPG, представляет собой неинвазивную и бесконтактную оптическую методику, позволяющую удаленно измерять жизненно важные показатели, включая частоту сердечных сокращений (ЧСС) и частоту дыхания (ЧД), с использованием стандартной видеокамеры. В исследовании Allado и соавт. [18] PPG-сигналы для ЧД извлекались из области, охватывающей движение грудной клетки (нижняя часть кадра под лицом), в то время как сигналы ЧСС извлекались из области лба. Для обеспечения точности обработки сигнала система настроена на отклонение любой частоты, выходящей за пределы физиологического диапазона от 6 до 48 циклов в минуту (cpm).

Использование машинного обучения в качестве анализатора представлено в работе [19]. Входными данными являются признаки, извлеченные из физиологических данных, и данные датчиков глаз, на выходе определялось, будет ли захват (перехватывание управления, возвращение к управлению в результате отвлечения) успешным. Входные признаки представлены следующим набором: ЭКГ (поле, значение, в файле ECG.csv), PPG (поле, значение, в файле PPG.csv), EDA (поле, значение, в файле EDA.csv), HR (поле, значение, в формате HR.csv), диаметр зрачка (поле, значение, в формате diameter.csv), пристальный взгляд (поля, угол взгляда, gazeAngleX и gazeAngleY, в формате gazePositions.csv), фиксация взгляда (поля, угол фиксации, fixationAngleX, fixationAngleY, продолжительность и дисперсия, в формате fixations.csv).

В части работ предлагается использовать модернизированный нейросетевой инструментарий. Интеллектуальная сетевая платформа для мониторинга отвлечения внимания водителя на основе RES-SE-CNN представлена в работе [20]. По структуре это остаточная НС – НС сжатия и возбуждения – сверточная НС. Такая сеть занимает меньше пространства.

В работе [21] основным отличием является исследование различной степени освещения при исследовании параметров в видимом и инфракрасных диапазонах на точность прогноза. Результаты показывают, что мультимодальная модель обнаружения усталости при вождении работает лучше, чем одномодальная, а точность повышается на 8,1 %. При аномальном освещении, например, при ярком или слабом свете, точность метода может достигать 91,7 % при максимальном освещении и 83,6 % – при минимальном. При нормальном освещении точность может достигать 93,2 %.

Использование данных недосыпа приведено в работе [22]. В условиях недосыпа собран набор данных, включающий физиологические и лицевые данные. Но основной отличительной чертой работы является мультимодальная модель с объединёнными признаками, которая объединяет различные типы данных, такие как электроэнцефалограммы (ЭЭГ), электрокардиограммы (ЭКГ) и изображения лиц, с помощью сложного механизма объединения. Признаки из разных модальностей не просто комбинируются, а служат взаимными весами, влияющими на вклад друг друга в конечный прогноз.

Особое внимание тактильным сигналам (haptics) уделено в работе [23]. Автоматизированная система вождения использует прогнозирование целевого угла поворота водителя (на основе модели водителя и тактильного ввода), прогнозирование траектории (адаптация маршрута с учётом намерений водителя) и прогноз импеданса водителя (с помощью расширенного фильтра Калмана (EKF)).

В работе [24] был проведен систематический обзор результатов по чувствительности и специфичности. Результаты исследований, в которых применялся только один физиологический метод (моносигнальный подход), значительно различались, в то время как в исследованиях, в кото- рых использовался многосигнальный подход с использованием нескольких физиологических сигналов, привел к большей согласованности и более высоким результатам как по показателям чувствительности, так и по показателям специфичности.

Работа [25] способствует выявлению сонливости у водителей с помощью машинного обучения, применяемого исключительно к физиологическим данным, собранным с помощью неинвазивной системы, которую можно установить в виде носимого на запястье датчика. Для проверки точности и осуществимости проекта результаты сравниваются с эталонными данными, полученными с помощью медицинского устройства для снятия ЭКГ. В пользовательских и независимых тестах применялось несколько алгоритмов машинного обучения для бинарной классификации. Результаты свидетельствуют о том, что неинтрузивная настройка обеспечивает такую же точность, как и устройство медицинского класса, а также позволяет достичь высокой точности (> 92 %) особенно в сценариях, зависящих от пользователя.

Методы отслеживания зрачка

В статье [26] представлен обзор функций машинного обучения, получаемых из данных айт-рекинга для задачи классификации.

В статье [27] рассказано, как анализ поведения водителей с помощью отслеживания движений глаз позволяет оценить качество инфраструктуры с точки зрения безопасности дорожного движения. Анализ поведения водителей проводился в городских районах с изучением объектов наблюдения (автомобилей, пешеходов, дорожных знаков, отвлекающих элементов) в количественном выражении (время фиксации на каждом отдельном объекте). В частности, были изучены кольцевые перекрёстки и прямолинейные участки городских магистралей, а также собраны данные о поведении семи водителей, чтобы обеспечить значительную статистическую вариативность.

В работе [28] представлен обзор популярных методов, основанных на анализе внешнего вида и основанных на характеристиках, а также использовании решений на моделях, в том числе и гибридных.

В работе [29] представлен видеоокуляр, который сохраняет каждый видеокадр в виде изображения с полным разрешением (MJPEG). Изображения можно обрабатывать в автономном режиме для определения характеристик глаза, в том числе положения зрачка и отражения роговицы. Можно провести сравнение нескольких алгоритмов определения положения зрачка и отражения роговицы.

В статье [26] провели систематический обзор литературы, охватывающий исследования по айтрекингу в области классификации, опубликованные с 2016 по 2022 год. В статьях представлено, что из данных айтрекинга можно извлечь следующие характеристики: размер зрачка, саккады, фиксации, скорость, моргание, положение зрачка, электроокулограмма (ЭОГ) и точка взгляда. Фиксация была наиболее часто используемой характеристикой в найденных исследованиях.

В статье [30] представлена автоматизированная система на основе машинного зрения для прогнозирования сонливости или усталости водителя в режиме реального времени. В ней используются различные визуальные характеристики глаз, такие как закрытие глаз, форма бровей, моргание и другие чётко определённые геометрические черты лица, в качестве надёжных индикаторов сонливости водителя. Кроме того, применяется эффективная схема извлечения локальных признаков Габора из изображений водителей на основе квантовой информации Фишера. Затем на основе извлечённых признаков создаётся новый дескриптор Фишера – Габора (FGD), который инвариантен к масштабу и повороту, а также устойчив к изменениям освещения, шума и незначительным изменениям ракурса. Нормализованные FGD в конечном счёте подаются в скрытое динамическое условное случайное поле (LDCRF) – классификационная модель, позволяющая определить, является ли водитель сонливым / утомленным, – и при необходимости выдают предупреждающий сигнал. Серия интенсивных экспериментов, проведенных с использованием эталонного набора видеоданных NTHU-DDD, показывает, что предлагаемая система может прогнозировать сонливость или утомление водителя эффективнее и результативнее, превосходя несколько самых современных аналогов, достигая конкурентоспособной точности обнаружения в 97,6% при сохранении строгих гарантий в режиме реального времени.

Использование инфракрасной камеры

В новейших методах выявления усталости водителя есть две проблемы: во-первых, мономо-дальная информация не может точно отражать фактическое состояние водителя на разных стадиях усталости, а во-вторых, эффект выявления не очень хорош или его вообще трудно добиться при аномальном освещении. В статье [21] рассматриваются многозадачные каскадные свёрточные сети (MTCNN) и теория дистанционной фотоплетизмографии на основе инфракрасного излучения (rPPG) используется для извлечения информации о лице и физиологическом состоянии водителя. На основе мультимодальной информации об усталости водителя строится модель объединения мультимодальных признаков для комплексного анализа тенденций изменения уровня усталости водителя. Чтобы повысить точность обнаружения при аномальном освещении, мультимодальные признаки, извлечённые из изображений в видимом и инфракрасном диапазонах, объединяются с помощью модуля реконструкции с несколькими потерями (MLR), а также создаётся модуль обнаружения усталости водителя, основанный на модели Bi-LSTM и использующий данные о времени усталости. Эксперименты были проведены при различном освещении и на наборах данных NTHU-DDD, UTA-RLDDD и FAHD. Результаты показывают, что мультимодальная модель обнаружения усталости водителя работает лучше, демонстрирует более высокую производительность, чем одномодальная модель, а точность повышается на 8,1 %. При аномальном освещении, например, при ярком или слабом свете, точность метода может достигать 91,7 % при максимальном освещении и 83,6 % – при минимальном. При нормальном освещении точность может достигать 93,2 %.

Использование лицевой маски и лицевых ориентиров (face alignment)

Способность людей определять положение головы по форме лица и наоборот указывает на сильную корреляцию между ними. В недавних исследованиях по выравниванию лиц информация о положении головы использовалась для прогнозирования ориентиров на лице в задачах компьютерного зрения. Однако во многих исследованиях информация о положении головы использовалась в основном для инициализации средних ориентиров, поскольку она не может отображать детализированную форму лица. Чтобы повысить эффективность выравнивания лиц за счёт эффективного использования информации о положении головы, в статье [31] предлагается новый подход, который интегрирует информацию о положении головы в карты признаков сети выравнивания лиц, а не просто использует её для инициализации ориентиров на лице. Кроме того, предложенная структура сети обеспечивает надёжное выравнивание лиц с помощью двумерной сети. Эта структура использует многомерные функции, такие как двумерные карты признаков и трёхмерная тепловая карта, чтобы снизить зависимость от одного типа карт признаков и обогатить информацию о признаках. Также в работе предлагается метод плотного выравнивания лиц с помощью дополнительного полносвязного слоя в конце двумерной сети, обученной с использованием разреженного выравнивания лиц.

Отслеживание температуры кожи лица

Оценка физиологического и психологического состояния с помощью тепловизионных изображений основана на измерении температуры кожи в определённых областях, таких как нос, рот и щёки. Для определения температуры кожи в интересующей области необходимо выровнять лицо на тепловизионном изображении. На сегодняшний день для выравнивания лица на тепловизионных изображениях используется модель активного внешнего вида (Active Appearance Model, AAM). Однако вычисления с использованием этого метода требуют больших затрат и выполняются медленно. С другой стороны, сообщалось, что выравнивание лиц на видимых изображениях с помощью каскадной регрессии формы (Cascaded Shape Regression, CSR) обеспечивает высокую производительность в режиме реального времени. Однако исследований по выравниванию лиц на тепловизионных изображениях с помощью CSR не проводилось. В исследовании [32] была проверена скорость и надёжность выравнивания лиц на тепловизионных изображениях с помощью CSR. Результаты показывают, что выравнивание лиц с помощью CSR более надёжно и требует меньше вычислительных ресурсов, чем AAM.

Чтобы устранить расхождения в знаниях между разными наборами данных и обучить универсальную систему выравнивания лиц (TUFA), не зависящую от задачи, в статье [33] представлена стратегия объединения знаний из нескольких наборов данных. В частности, мы вычисляем среднюю форму лица для каждого набора данных. Чтобы явно сопоставить эти усреднённые формы с интерпретируемой плоскостью на основе их семантики, каждая форма объединяется с группой семантических выравнивающих вложений. Двумерные координаты этих выровненных форм можно рассматривать как привязки к плоскости. Закодировав их в структурных подсказках и выполнив дальнейшую регрессию соответствующих ориентиров лица с использованием признаков изображения, устанавливаем соответствие между плоскостью и целевыми лицами, что унифицирует цель обучения для разных наборов данных.

Заключение

Рассмотренные методы и алгоритмы, которые излагаются в зарубежной литературе, представляют большой интерес. В обзоре показано, что современные системы мониторинга представляют собой мультидисциплинарную область, в которой пересекаются компьютерное зрение, глубокие нейросети и физиологический мониторинг. Объединение подходов – визуальных (отслеживание взгляда, позы головы, PERCLOS), физиологических (ЭЭГ, ЭКГ, rPPG) и автомобильных (поведенческие параметры ТС) – обеспечивает более надежную и устойчивую оценку состояния водителя, чем любой отдельный метод. Свёрточные сети (CNN), лёгкие архитектуры для встраиваемых систем (MobileNet), одноэтапные детекторы в реальном времени (YOLOv5/YOLOv8), а также трансформеры (ViT, Swin) показали высокую эффективность в задачах детекции лица, анализа выражений и распознавания признаков сонливости; трансформеры особенно полезны для моделирования глобальных взаимосвязей между зонами лица. Мультимодальные и гибридные модели, объединяющие визуальные и физиологические данные, демонстрируют устойчивый выигрыш в точности (примерно на уровне +8 % по сравнению с одномодальными решениями в ряде работ) и лучшие показатели чувствительности/специфичности при обнаружении усталости.

В то же время физиологические методы (ЭЭГ, ЭКГ, ЭОГ) остаются «золотым стандартом» по информативности, но их инвазивность, необходимость калибровки и чувствительность к артефактам ограничивают практическую применимость в массовых условиях. Бесконтактные методы – rPPG, инфракрасная и видимая камера, отслеживание взгляда и позы – предлагают приемлемый компромисс между удобством и точностью, особенно в сочетании с эффективными алгоритмами фильтрации и предобработки сигналов. Реализация мониторинга в реальном времени и адаптация к условиям освещения (видимый / ИК-диапазоны) остаются ключевыми инженерными задачами.

Таким образом, ключевые направления дальнейших исследований и развития DMS: усиленная интеграция мультимодальных данных с продвинутыми механизмами слияния признаков; оптимизация архитектур (легковесные трансформеры, RES-SE-CNN и др.) для встраиваемых и ресурсно-ограниченных платформ; повышение устойчивости к вариациям освещения и движениям водителя; улучшение удобства и неконтактности физиологических измерений (rPPG, сенсоры в салоне); разработка объяснимых моделей внимания (Explainable Driver Attention) для интерпретируемых и безопасных вмешательств HMI.

В целом эволюция DMS идёт в сторону гибридных, мультимодальных и вычислительно эффективных решений, способных обеспечить своевременное и надёжное обнаружение сонливости и невнимательности, при этом остающихся комфортными и приемлемыми для массового использования.