Применение компьютерного зрения для определения реперных точек при оценке геометрии лица

Важным фактором, способствующим популярности компьютерного зрения, стало значительное увеличение вычислительной мощности графических процессоров. Прежде компьютерам требовалось большое количество времени на обработку и анализ изображений, а сегодня графические процессоры могут эффективно справляться с этой задачей. Благодаря этому использование компьютерного зрения стало доступно в реальном времени. Вместе с этим появление инструментов и библиотек для обработки данных и обучения моделей также стимулирует рост компьютерного зрения. Эти инструменты значительно упрощают процесс разработки и тестирования алгоритмов компьютерного зрения, делая его доступным для широкого круга специалистов [1–4].

Биометрические технологии все более распространены в системах компьютерного зрения. Это инновационные методы, позволяющие использовать физические и поведенческие характеристики человека для идентификации и аутентификации технологии [4–6]. В настоящее время распознавание биометрических характеристик лица широко распространено в различных сферах деятельности, включая безопасность, здравоохранение, банковское дело, государственное управ- ление и др. (например, аутентификация в банке, разблокировка смартфона, распознавание преступников по камерам). В последнее время такие технологии все больше применяются в косметологии, так как обладают рядом неоспоримых преимуществ, в частности, являются бесконтактными и неинвазивными. В основе технологии распознавания биометрических характеристик лица лежит использование компьютерного зрения. Применение таких технологий зачастую не требовательно к аппаратным ресурсам, и с каждым годом стоимость таких решений снижается за счет развития технологий съемки.

Актуальность разработанного продукта основана на повышении интереса пациентов к совершенствованию эстетических и гармонических характеристик лица, в том числе эстетики в зоне улыбки [2, 3, 7]. В настоящее время большинство имеющихся решений отличаются развлекательной направленностью. Современные инструменты не оценивают реальную геометрию лица и его возрастные изменения и редко используются на практике, так как не обладают средствами объективной оценки и прогноза проведенных вмешательств. Разрабатываемая программная система является портативной, доступной и обладающей необходимым набором инструментов для предоставления точного и количественного анализа, способна решить перечисленные проблемы и тем самым усовершенствовать процесс наблюдения и диагностики.

Цель: разработать математические и нейросетевые алгоритмы, определяющие геометрию лица при помощи реперных точек.

Материалы и методы. Для обучения нейронной сети использовалась малая выборка из 1000 размеченных фотографий, находящихся в открытом доступе, на которых изображен портрет человека по плечи анфас. Рассматривались только взрослые (18+) представители европеоидной расы. Разметка фотографий производилась с помощью инструмента графического анализа изображений labelimg1.8.6, в котором в режиме графического интерфейса вручную отмечались области нахождения (классы определения) реперных точек. В качестве архитектуры нейронной сети выбрана YOLO 8 [8].

Все фотографии были разделены на 5 групп, принадлежность к которым могла быть явно определена, исходя из визуальных или количественных критериев (табл. 1).

Таблица 1

Группа выборки

Table 1

Sample Group

№	Признак	Название	Критерий	Число	Название	Критерий	Число
1	Гендер	Мужчины		750	Женщины		750
2	Возраст	Зрелые	18–60	920	Пожилые	61+	580
3	Телосложение	Худые и нормальные	ИМТ ≤ 25	1140	Полные	ИМТ > 25	360
4	Форма лица	Квадрат Круг	Ширина лба = ширине рта	815	Удлиненное		685
5	Нарушения	Есть		1290	Нет		210

1.    Определение ключевых реперных точек

Поиск реперных точек осуществляется, исходя из принципов симметрии и общих признаков геометрии лица, характерных для всех представителей выборки (рис. 1). В рамках исследования осуществляется поиск 27 основных точек [9], обозначенных заглавными латинскими буквами с индексом. В дальнейшем при анализе, например, мимики, список точек может быть расширен и дополнен точками на бровях, дополнительными точкам в области глаз, лобной части и т. п. Выбор точек зависит от решаемой задачи и для текущего исследования является полным.

Для определения реперных точек был разработан математический алгоритм по определению специальных точек на трехмерной модели (рис. 2), пространственное положение которых относительно друг друга позволяло сделать вывод о наличии тех или иных нарушений симметрии и гармонии лица. На основе алгоритма фотограмметрического построения модели математического определения пространственного положения реперных точек реализовано приложение для мобильных устройств [10], с помощью которого был проведен ряд исследований, направленных на решение таких ортопедических задач, как оценка нарушений осанки и зубочелюстной системы [11, 12] и мониторинг динамики изменений выявленных нарушений в ходе реабилитационного процесса.

Рис. 1. Реперные точки Fig. 1. Reference points

Рис. 2. Пример определения реперных точек на трехмерной модели головы Fig. 2. Example definition of reference points on a three-dimensional head model

В дальнейшем разработка была направлена на решение задач в области эстетической косме тологии, связанных с количестве нной оценкой нарушений геометрических па раметров лица.

Разработка программного об еспечения для прикладной интерпретации па раметров рельефа и цветовых характеристик лица по результатам фотограмметрической оце нки трехмерного изобра жения головы проводилась в несколько этапов:

• 1)    получение фотоснимков объекта по серии фотоснимков с метаданными;

• 2)    построение трехмерного объекта головы;

• 3)    определение реперных точек и их координат в пространстве;

• 4)    оценка пространственного взаимоположения реперных точек;

• 5)    интерпретация взаимоотношения реперных точек, формирование заключения.

2.    Ограничения математического алгоритма 3.    Результаты тестирования нейронной сети

В ходе проведенных экспериментов на основе алгоритма фотограмметрического построения модели математического определения пространственного положения реперных точек был выявлен ряд недостатков применения в основе чистой математической модели для определения положения ключевых диагностических точек. По результатам обработки более 1000 моделей наиболее распространенными по частоте проблемами являлись неточное определение положения точек: глаз (40 %), шей (36 %), носа (4 %). Проблемы с определением других точек встретились в 17 % случаев. Анализ причин возникновения проблем показал, что зачастую на точность определения точек оказывали влияние такие факторы, как: перекрытие волосами исследуемых областей, в том числе выбившиеся пряди, наличие челки, бороды (24 %), светлые волосы (3 %) светлая одежда (3 %), светлый фон (3 %), наличие украшений (2 %). В ряде случаев искомые точки лежали за пределами заданных диапазонов (7 %). Также в 3 % случаев трехмерная модель получилась размыта по причине движения фотографируемого добровольца во время съемки либо нарушения плавности движений фотографирующего. В остальных случаях причину найти не удалось.

Для повышения качества поиска было принято решение использовать совокупность готовых нейросетевых инструментов, находящихся в свободном доступе. Обучение проводилось на моделях фотографируемых добровольцев с нанесенными в области нахождения реперных точек маркерами. В качестве маркеров использовались метки из цветной самоклеящейся бумаги диаметром 5 мм.

Далее для поиска реперных точек применялась нейросетевая обработка пространственной модели головы. Для создания виртуальной копии трехмерного объекта использовался метод фотограмметрии, включающий в себя съемку неподвижного объекта камерой смартфона с разных ракурсов с последующим восстановлением объемной модели по фотографиям на основе их уникальных признаков.

Поскольку распознавание лиц является сложной задачей в силу того, что объемное трехмерное изображение лица содержит большое количество информации, обработка и интерпретация которой делает нейронную сеть дорогостоящей в вычислительном отношении [13], было принято решение проводить поиск реперных точек на плоском снимке, выполненном анфас, и в дальнейшем переносить их на трехмерный объект. Также на этом этапе работ был осуществлен переход от готовых решений к разработке и обучению своей нейронной сети.

В результате использования обученной нейронной сети на малой выборке размеченных фотографий удалось получить хорошее совпадение в положении реперных точек на фотографиях, не используемых для обучения. В отличие от математического алгоритма, в котором наибольшую сложность определения имели точки ушей, основные проблемы с поиском точек у нейронной сети были связаны с определением точек шеи на фотографиях, имеющих цвет одежды, сходный по оттенку с цветом кожи, а также в связи с различной длиной шеи. При этом с поиском остальных точек разработанная нейронная сеть справилась в большинстве случаев.

Для оценки полученного результата использовался ряд стандартных метрик [11, 14, 15], таких как:

• •    F-мера – это метрика для оценки точности алгоритмов машинного обучения, используемых в задачах классификации и семантической сегментации. Она сочетает в себе метрики точности (Precision) и полноты (Recall) в единую меру качества модели. Она помогает выбрать оптимальный порог IOU для принятия решения о наличии или отсутствии объекта на изображении при работе с алгоритмом YOLO (рис. 3а);

• •    Recall-Confidence Curve – это график, который отображает соотношение между полнотой (recall) и уверенностью (confidence) алгоритма машинного обучения в прогнозировании. RecallConfidence Curve позволяет оценить, насколько хорошо алгоритм справляется с предсказанием реальных положительных примеров при разной степени уверенности. Например, если алгоритм имеет высокую полноту при низкой уверенности, это может указывать на то, что он не может достаточно точно различить истинные положительные примеры от ложных, и нужно провести дополнительную настройку модели (рис. 3b);

• •    Precision- C onfide nce C ur v e ( к ри в а я т очн ос ть–доверие) – это график, который показывает точность модели маш ин ного о бу чения в зависимости от уровня ее доверия. Он може т и с п о л ьзо ва ться д ля оц е нк и п рои зво д и те льности модели, отображая точность предсказа н и й н а ос н ове т ого , н ас кол ь ко уве рен а моде л ь в с вои х резу ль т а т а х. К р и ва я т очн ос ти-доверия может помочь оценить, ка кие то чн ости вы д о с ти г а е те н а разных уровнях доверия к результатам моде ли , и мо ж е т п ри вес ти к б о ле е и нформа ти в н ым ме т рикам производительности, чем просто точн ость ( a cc ura c y ) и л и F1-мера (рис. 3c);

• •    Precision-Recall C u r v e ( кри ва я т очн ос ть –полнота) – это графическое представление произ во д и те л ьн ос ти б и н а рн ого к ла с с и фикатора, которое используется для оценки эф фе кти в н ос ти м о де ли м а ш и н н о го о бучени я в рас познавании положительных и отрицательны х п ри ме ров . К ри ва я п озво ляе т оц е н и ть б ала нс ме жд у т очн ос ть ю и п о лн о т ой модели, настраивая пороговое значение для п ри н ятия реш е н и я о к ла сс ификации (больше или меньше порогового зн а че н и я) . Че м в ы ше т очн ост ь и п ол нота , те м б лиж е к ривая будет к левому верхнему углу графика, чт о яв ляе т с я оп ти м а льн ой п рои з во д и те л ьнос тью мо д ели ( рис. 3d).

  

  Уверенность

  c) кривая точность – достоверность (1–0,83)

  d) кривая точность – полнота (0,995)

  Рис. 3. Метрики оценки работы нейронной сети

  Fig. 3. Metrics for evaluating the work of a neural network

  
  

  Уверенность

  
  

  у верен пост ь

  
  

  а) F-мера (0,99–0,484)

  
  

  b) кривая полнота – достоверность (1–0)

  
  

Точность определяет отношение числа корректно обнаруженных объектов ко всему количеству обнаруженных объектов и вычисляется по формуле

_           TP

Точность = ———.(1)

TP + FP

Полтона определяет отношение числа корректно обнаруженных объектов ко всем объектам класса и вычисляется по формуле

TP

Полнота = ———.(2)

TP + FN

F-мера позволяет сравнить 2 модели, одновременно оценив полноту и точность, и вычисляется по формуле

F-мера = —i—-—i—.(3)

Точность Полнота

Есть всего 4 возможных исхода при выделении ограничивающих рамок и обнаружении объекта (табл. 2): истинно положительные (TP), истинно отрицательные (TN), ложно положительные (FP) и ложно отрицательные (FN). TP означает число объектов, которые модель правильно обнаруживает (положительный класс). TN обозначает количество пикселей на изображении, которые не содержат объект (отрицательный класс). FP-результат означает, что модель некорректно определила положительный класс и представляет собой некоторое количество ошибочных обнаружений, FN – количество объектов, которые модель не находит, а TN – количество пикселей на изображении, которые не содержат объект. На представленных далее результатах видно, что точность идентификации большинства реперных точек достигла 1,0.

Таблица 2

Исходы обнаружения объекта

Table 2

Object detection outcomes

	Реальность
Прогноз	TP	FP
	FN	TN

Графики, автоматически генерируемые при работе нейронной сети YOLO8, описывают процесс обучения и результаты сети в процессе тестирования (рис. 4). В частности, график train/boxloss отображает значение функции потерь для каждой эпохи обучения, которое связано с ошибками распознавания объектов и их позиционирования (определением их координат рамок bounding boxes). Если модель ошибается в нахождении координат рамок, это ведет к высокому значению box_loss. val/cls_loss отвечает за потерю, связанную с определением классов объектов на изображении. Если модель ошибается в определении класса объекта, это ведет к высокому значению cls_loss. Соответственно val/boxloss, val/dflloss – отображают значение ошибок (loss) для каждого параметра – бокса и локализации. dffl_loss (дифференциальная функция потерь по Focal Loss’у) – это улучшенный вариант cls_loss, разработанный для борьбы с проблемой неравных значений классов, когда на изображении есть редко встречающиеся объекты. Dffl_loss помогает модели лучше справляться с такими объектами и снижать общий cls_loss.

Метрика precision (B) показывает точность (precision) обнаружения объектов на изображениях. rain/dflloss отображает значение функции потерь (ошибки) детектора лиц на этапе обучения. metrics/recall показывает, насколько полно и точно модель находит объекты, определяя, сколько объектов было найдено во всех изображениях, разделенных на общее количество объектов в этих изображениях. metrics/mAP50 и metrics/mAP50-95 показывают среднюю точность обнаружения объектов в зависимости от порога обнаружения. mAP50 показывает точность при использовании порога обнаружения в 50 %, а mAP50-95 – от 50 до 95 %.

Результаты показали, что mAP нейронной сети составил 98,15 %. Видно, что box_loss, obj_loss, а значит, и cls_loss во время обучения модели постоянно уменьшались. Средняя точность при mAP_0,5 постоянно увеличивалась. mAP_0,5 близок к 0,99, что говорит о хорошем эффекте обучения на представленном наборе данных.

В целях увеличения точности модели было произведено дообучение уже обученной модели (рис. 5) на расширенном количестве данных (500+500 фотографий) в течение 300 эпох (1200+300 эпох).

Рис. 4. График результатов обучения модели YOLO8 на 1200 эпохах

Fig. 4. Graph of learning outcomes of the YOLO8 model for 1200 epochs

Рис. 5. График результатов дообучения модели YOLO на 1500 эпохах

Fig. 5. A graph of the results of the YOLO model training over 1500 epochs

Представленные на рис. 4 и 5 графики включают две линии – линию обучения и линию проверки. Линия обучения (train) отображает показатели производительности модели на каждой эпохе обучения на обучающих данных. Линия проверки (val) свидетельствует о том, как модель проходит проверку на проверочном наборе данных, который она не видела во время обучения. При первоначальном обучении линии train и val были близки. Однако при переобучении на обучающих данных линия обучения продолжала уменьшаться при увеличении разброса данных линии проверки. Таким образом, уменьшение промежутка между train и val линиями говорит о лучшей генерализация модели на новые данные. После дообучения модели удалось снизить количество ошибок, связанных с распознаванием и позиционированием до 0,8, определением классов до 0,4, редко встречающихся объектов до 0,9. Для оценки точности нейросетей модели в задаче обнаружения реперных точек использовалась Матрица ошибок, которая представляют собой таблицу, демонстрирующую комбинации прогнозируемых и фактических значений. Каждая строка в мат- рице соответствует реальному классу объектов, а каждый столбец – предсказанному классу (рис. 6). На основе матрицы ошибок можно вычислить различные метрики, такие как точность, полнота, точность предсказания и F1-меру.

Рис. 6. Матрица ошибок модели Fig. 6. Matrix of model errors

• 4.    Результаты

Оп и ра яс ь на ра сп ол оже ни е т оч е к , оп р ед е л е н н ых не й росе тью на фотографии человека анфас, мет ода ми фо т огра мме три и на основе фотографий, сделанных с других ракурс ов к а ме рой м об и л ьн ого у с т рой с тва и п ри п омощ и специально разработанных алгоритмов, строи т с я т рехме рн а я м оде ль голов ы, н а к о т ор ую п ере н ос ят с я н а й де н н ые точ ки (рис. 7).

Рис. 7. Определение реперных точек на трехмерной модели Fig. 7. Definition of reference points on a three-dimensional model

На ос н ове п о лу че н н ых р е п е рн ых точек на трехмерной модели, выполняя их проекцию на ф ронтал ьн ую и са ги тт а л ьн у ю плоскости, можно построить треугольники , д ля ко т ор ых мо жн о п о с чита ть зн ачени я у г лов в градусах, образуемые в районе вершины точки A 0 (табл. 3). При этом точка A 0 является серед и ной о т резк а A 1 A 2 .

Таблица 3

Угловые показатели фактической сагиттальной поверхности

Table 3

Angular indices of the actual sagittal surface

Вид сбоку		Вид спереди
Обозначение	Значение угла, °	Обозначение	Значение угла, °
α (A1, A0, D0)	5,113	α (A1, A0, D0)	92,251
β (D 0 , A 0 , N 0 )	18,038	β (D 0 , A 0 , N 0 )	92,913
γ (N 0 , A 0 , C 0 )	14,726	γ (N 0 , A 0 , C 0 )	91,91
δ (C 0 , A 0 , L 0 )	22,645	δ (C 0 , A 0 , L 0 )	86,397
ε (L0, A0, R0)	18,449	ε (L0, A0, R0)	90,0
ζ (R 0 , A 0 , E 0 )	21,609	ζ (R 0 , A 0 , E 0 )	90,0
η (E 0 , A 0 , H 0 )	30,562	η (E 0 , A 0 , H 0 )	87,194

По абсолютным значениям отрезков, образованных одной гомо- и второй гетеролатеральной непарными точками, можно произвести расчет архитектуры и гармонии лица (табл. 4).

Таблица 4

Абсолютные значения длины отрезков, образованных непарными точками

Table 4

Absolute values of the length of segments formed by unpaired points

№ п/п		5	12	13	18	21	24	27
№ п/п	Буквенное обозначение	C 0	E 0	H 0	N 0	R 0	L 0	D 0
5	C 0	0,0
12	E 0	20,89	0,0
13	H 0	3,43	17,46	0,0
18	N 0	30,22	9,33	26,79	0,0
21	R 0	14,28	6,61	10,85	15,94	0,0
24	L 0	9,34	11,56	5,91	20,89	4,95	0,0
27	D 0	7,48	28,36	10,9	37,69	21,75	16,81	0,0

Для анализа рельефа (табл. 5) вычисляются следующие показатели по формулам:

^_s = 100 %^^ ;                                                                (4)

^ cn

K_v = 100 %^ ,                                                          (5)

^cn где n – порядковый номер региона; S – площадь; V – объем; Δ – разница между показателями KS и

K V на фотографиях справа (S) и сбоку (D) соответственно.

Таблица 5

Анализ рельефа

Table 5

Relief analysis

Номер региона	S	D	S	D	K S	K V
	K S	K S	K V	K V	Δ	Δ
1	0,99	1,01	15,34	0	0,01	15,34
2	0,2	0,2	13,43	0,0	0,0	13,43
3	0,76	0,78	75,91	0,0	0,03	75,91
4	3,76	4,14	1209,8	0,0	0,37	1209,8
5	1,66	1,7	98,92	0,0	0,03	98,92
6	1,08	1,1	95,21	0,0	0,02	95,21
7	2,05	2,31	173,09	0,0	0,26	173,09
8	1,65	2,51	1434,56	0,0	0,86	1434,56
9	0,67	0,78	34,68	0,0	0,11	34,68
10	2,02	2,53	1704,65	0,0	0,51	1704,65
11	28,97	38,5	23 121,83	0,0	9,52	23 121,83
12	0,82	0,92	51,17	0,0	0,1	51,17

Заключение

В рамках проведенного исследования был выполнен поиск специальных (реперных точек), определяющих геометрию лица при помощи разработанных математических и нейросетевых алгоритмов. Было показано, что точность поиска точек обученной на 1000 сгруппированных фотографиях нейронной сетью значительно выше, чем при использовании исключительно математической модели. Определенные на фотографии точки были перенесены на полученную с помощью разработанной авторами фотограмметрической методики трехмерную модель. Полученные результаты свидетельствуют об эффективности использования разработанной авторами методики в области косметологии и потенциала ее использования в других областях медицины, включая стоматологию, неврологию и хирургию.