Сегментация сосудов склеры глаза для системы биометрической аутентификации

В настоящее время широко используются технологии биометрической аутентификации, и все чаще требуется автономное решение на месте, без передачи данных на сервер или в «облако» для обработки. Такое решение должно быть недорогим и, следовательно, доступным на устройствах с ограниченными вычислительными ресурсами. При этом время аутентификации требуется небольшое (1 –2 секунды), а вероятность ошибок аутентификации сопоставима с серверными решениями.

Наиболее часто используются технологии аутентификации по лицу, голосу, отпечатку пальца, сосудистому руслу пальца, ладони, радужке глаза. Относительно новым биометрическим методом, обладающий множеством востребованных характеристик, является метод аутентификации по склере глаза [1–7]. Склера имеет уникальный сосудистый рисунок, который относительно стабилен с течением времени. Изображение может быть получено по бесконтактным технологиям в видимом свете и в разных направлениях взгляда. В отличие от аутентификации по радужке глаза, аутентификация по склере не влияет на результаты, даже если субъекты носят контактные линзы.

Распознавание сосудов склеры, как правило, начинается с процедуры сегментации склеры. Сегментация склеры включает в себя очень разные типы границ и неоднородную текстуру, особенно при съемке объекта под разными углами. Существующие подходы к сегментации склеры часто строятся на применении алгоритма кластеризация k-средних [8, 9], фильтра Retinex с последующим применением адаптивного порога [10]. В работах [11, 12] приводится сравнительный анализ методов сегментации склеры, описаны методы извлечения сосудов на основе извлечения ключевых точек SIFT и обучения SVM с применением нейронных сетей Unet-VGG, SegDeep+, Attention-Sclera-net, Sclera-TransFuseCNN, IGD-EyeMMS, IGD-U-Net.

В работе [2] для решения задачи сегментации склеры применены нейронные сети Fully Convolutional Network (FCN) и Generative Adversarial Network (GAN). При выделении рисунка сосудов склеры возникают сложности из-за мелкозернистого характера сосудистого рисунка и его перемещения при движении глаза. В работе [3] сегментация области склеры, извлечение рисунка сосудистой сети склеры и определение направления взгляда осуществляется на основе модели сегментации DSeg, основанной на известной СНС UNet. В работе [4]

рассматривается эффективность применения легковесной сети извлечения признаков GazeNet в сравнении с классическими методами извлечения признаков на основе дескрипторов типа SIFT. Для решения этой проблемы авторы [5] предлагают локальную сферическую структуру (LSS), которая включает признак формы сосуда (VSF) для представления геометрии и текстурного признака сосудистого рисунка. Авторы главы [6] предлагают два решения, представляющих собой каскадную сборку сверточной нейронной сети (НС) и модель ScleraNET, обе модели способны сегментировать сосудистую систему склеры из входных изображений независимо от направления взгляда. В работе [7] предложен метод усечения модели НС, позволяющий получить легковесное решение для сегментации склеры.

Несмотря на различные решения, связанные с сегментацией сосудов склеры, большинство из них не обеспечивают необходимой точности сегментации или требуют больших вычислительных ресурсов.

Таким образом, разработка конкурентоспособных алгоритмов сегментации сосудов склеры, простых в реализации или построенных на легковесных НС для автономных систем биометрической аутентификации, остается актуальной задачей. В работе предложена системы биометрической аутентификации использующая алгоритм сегментации сосудов склеры на базе легковесной сверточной нейронной сети HalfUNet.

1.    Архитектура системы биометрической аутентификации

С истема биометрической аутентификации построена на распознавании и сопоставлении биометрических данных – рисунка сосудов склеры человека. Архитектура системы представлена на рис.1. Изображение с сенсора оптической камеры биометрического сканера подвергается обработке с целью выделения вектора биометрических признаков и подвергается сравнению с биометрическим шаблоном пользователя с соответствующим идентификатором ID. При определенной схожести шаблонов выносится решение об аутентификации, в противном случае – завершение протокола без аутентификации.

Рис. 1. Архитектура системы аутентификации

Основой построения системы биометрической аутентификации является алгоритм выделения вектора биометрических признаков с последующим сопоставлением (мэтчингом) входного вектора с вектором биометрического шаблона в базе. Алгоритм можно разделить на следующие этапы:

– сегментация области интереса на изображении (склеры);

– сегментация сосудов склеры на выделенной области интереса;

– извлечение признаков;

– сопоставление признаков.

Для верификации работы биометрической системы рассматривались различные наборы данных, удовлетворяющие требованиям:

– изображения глаз с разными направлениями взгляда, представленные в RGB-системе;

– наличие предварительной разметки разных признаков;

– высокое разрешение изображения (не менее 1024×1024 px).

В результате анализа был выбран набор данных SBVPI [13], содержащий 3,5 ГБ размеченных вручную данных высокого разрешения для 50 субъектов. Набор данных включал в себя изображения глаз, на которых взгляд был направлен прямо, максимально вверх, влево или вправо. Однако следует отметить, что в наборе данных были размечены только крупные кровеносные сосуды. На рис. 2 показан пример фрагментов изображения склеры глаза ( а ) и размеченных сосудов ( б ) из набора данных SBVPI. Видно, что в левом углу склеры большая часть менее видимых сосудов не размечена.

2.    Сегментация сосудов склеры

Сегментация сосудов склеры глаза состоит из двух этапов: сегментации области склеры и сегментации сосудов склеры.

I этап. Алгоритм сегментации склеры включает в себя следующие процедуры:

– предобработку для удаления засвеченных областей кожи века, улучшения качества изображений, уменьшение размера кадра до 512×512 px;

– сегментацию склеры глаза на основе сверточной НС;

– постобработку на основе морфологических операций для удаления небольших объектов, не относящихся к контуру склеры [14].

а)

б)

Рис. 2. Пример фрагментов изображения склеры (а)

и разметки сосудов (б) из набора данных

Для сегментации склеры и сосудов склеры была выбрана легковесная сверточная НС Half-UNet с модулем Ghos, архитектура которой представлена на рис. 3 [15]. Эта модель содержит около 220 тысяч параметров, в то время как наиболее часто используемая сверточная НС UNet имеет около 8 миллионов параметров. Меньшее количество параметров существенно увеличивает как производительность алгоритма, так и скорость обучения самой НС, кроме того, количество операций с плавающей точкой сокращается примерно в 11 раз относительно сети UNet. При этом, как следует из работы [15] по сегментации биомедицинских изображений, сверточная НС HalfUNet уступает по точности сети U-Net по метрике Dice не более чем на 3 %.

Рис. 3. Архитектура нейросети Half-UNet

Результат сегментации склеры представлен на рис. 4: ( а ) – исходное изображение в формате RGB; ( б ) – изображение В-канала после предобработки; ( в ) – разметка склеры из набора данных; ( г ) – результат сегментации алгоритмом.

II этап . Алгоритм сегментации сосудов склеры на выделенной области интереса выполняется в следующем порядке:

• –    выбирается G-канал входного RGB-изображения;

• –    выполняется адаптивная эквализация гистограмм для повышения контрастности изображений;

• –    выполняется медианная фильтрация для устранения «точечных» искажений;

• –    выделяется область с рисунком сетки сосудов с использованием маски склеры, сформированной на предыдущем этапе;

• –    выделяется рисунок сосудистой сетки склеры с использованием сети HalfUNet [15].

Результат работы алгоритма сегментации сосудов склеры приведен на рис. 5: ( а ) – выделенная область с рисунком сетки сосудов, с использованием маски склеры , ( б ) – сегментация сосудов склеры.

а)

Рис. 4. Пример сегментации склеры: (а) входное изображение; (б) результат предобработки; (в) эталонная разметка склеры; (г) результат выделения склеры

Рис. 5. Пример сегментации сосудов склеры: (а) препроцессинг для сосудов; (б) сегментация сосудов

г)

б)

б)

На этом этапе НС обучалась на протяжении 160 эпох с использованием стохастического градиентного спуска. В процессе обучения была выбрана начальная скорость обучения значением в 0,01 и далее для лучшей генерализации результатов обработки снижалась каждые 40 эпох в 5 раз из-за небольшого количества изображений с размеченными сосудами склеры (128 изображений). В работе использовалась функция потерь Combo Loss, сочетающая в себе функцию бинарной кроссэнтропии и функцию Dice Loss [16].

На рис. 6 приведены графики зависимости точности (Accuracy) ( а ) и функции потерь ( б ) для обучающей и тренировочной выборок.

Рис. 6. Графики зависимости функции точности (а) и потерь (б) при обучении: “val” – для валидационных, “tran” – для тренировочных данных

Как видно из графиков, параметр Accuracy составляет 0,95, а среднее значение функции потерь – 0,42. Также в работе для оценки качества работы алгоритма сегментации был вычислен коэффициент Дайса (Dice), используемый для случая дисбаланса классов. Его значение составило 0,4225. Большие значения функции потерь и невысокое значение коэффициента Дайса связаны с расхождением прогнозируемой сегментации сосудов от фактической разметки и объясняются:

• – разметкой на изображениях в наборе данных только крупных сосудов, которых в принципе достаточно для аутентификации, тогда как нейронная сеть распознает и мелкие сосуды;

  – наличием артефактов (засветки) на ряде изображений;

  – сокращением размерности изображения шаблона с 3000×1700 до 512×512 px.

3.    Определение направления взгляда субъекта и извлечение признаков

Несмотря на большие значения функции потерь и невысокое значение коэффициента Дайса, результаты сегментации сосудов склеры с помощью предложенного алгоритма отражают совпадающую структуру сегментированных кровеносных сосудов с разметкой.

После сегментации выполнялось извлечение признаков, при этом учитывался фактор направления взгляда глаза. Процедура определения направления взгляда субъекта необходима для последующего уменьшения числа сопоставлений идентичности.

Направление взгляда глаза находилось по положению склеры, которая уже была сегментирована и определена, а также по положению радужки глаза относительно склеры. Для поиска радужки на изображении использован каскад Хаара, предварительно обученный на 300 изображениях, границы объекта для которых были размечены вручную с помощью утилиты opencv_annotation, каскад был обучен утилитой opencv_traincascade из пакета OpenCV 3.4.0. Пример распознавания областей интереса представлен на рис. 7, ограничивающий прямоугольник склеры выделен черным цветом, а окружностью обведена область, обнаруженная каскадом Хаара.

Рис. 7. Визуализация обнаруженных обнаруженных областей интереса: склеры и радужки

Направление взгляда субъекта рассчитывалось исходя из относительного положения радужки и выделенных контуров склеры по следующим критериям:

• 1.    Если найдены две крупных области интереса для склеры по разные стороны от области радужки (т.е. x-координата центра ограничивающего прямоугольника у первого контура меньше x-координаты радужки глаза, а соответствующая координата второго контура больше).

• 2.    Направление взгляда влево от камеры получается при условии, что значение x-координаты центра склеры меньше, чем x-координата центра радужки глаза.

• 3.    В других случаях выносится решение, что направление взгляда глаза происходит вправо по отношению к камере.

Для выделения признаков (ключевых точек) на изображениях кровеносных сосудов было проведено сравнение трех алгоритмов: Dense SIFT, BRIEF и нейросетевого алгоритма SuperPoint.

Алгоритм Dense-SIFT основан на разбиении изображения на фиксированную сетку и вычислении дескрипторов для каждого элемента данной сетки.

При использовании метода BRIEF выполнялся поиск ключевых точек через использование алгоритма поиска углов Харриса с минимальным расстоянием 8 точек. Длина вектора дескриптора составляла 256 четырёхбайтовых целых чисел, а размер патча – 289 точек..

Алгоритм SuperPoint является нейросетевым алгоритмом поиска ключевых точек на изображениях [17], в котором архитектура основана на парах энкодер/декодер как для векторов ключевых точек, так и для дескрипторов (рис. 8). Поступившее на вход изображение сначала обрабатывается общим энкодером. Далее для выделения ключевых точек и дескрипторов используются два декодера. Оба декодера состоят из сверточного слоя и полносвязного слоя, где для ключевой точки выходные данные с 65 каналами пропускаются через логистическую функцию (softmax) и переставляются для соответствия размерности входного изображения. Для дескриптора же выходные данные интерполируются и нормализуются для достижения размерности входного изображения с D каналами, соответствующими размеру вектора дескриптора.

Рис. 8. Схема алгоритма SuperPoint

Данная нейросеть по большей части обучается без учителя, используя размеченные вручную данные только для первичного обучения, после чего модель может обучаться, уже размечая данные самостоятельно, за счёт трансформации случайным образом имеющихся изображений, и подстановки ключевых точек, найденных на обеих версиях друг с другом. Несмотря на более высокие результаты работы относительно стандартных алгоритмов (Dense-SIFT, BRIEF), этот подход очень требователен к вычислительным ресурсам.

4.    Поиск подходящего субъекта по имеющейся БД

Для поиска совпадающих дескрипторов алгоритмами Dense SIFT и BRIEF использован метод k-ближайших соседей ( k =2) [16], для реализации которого использован алгоритм FLANN с заданным значением минимального расстояния между дескрипторами 0,8 для BRIEF и 0,9 для Dense SIFT.

Для поиска совпадающих дескрипторов алгоритмом SuperPoint использован нейросетевой алгоритм SuperGlue [18]. Данный алгоритм состоит из двух основных частей (рис. 9): взвешенной графовой нейронной сети и слоя оптимального сопоставления ключевых точек.

Attentional Graph Neural Network               Optimal Matching Layer

Рис. 9. Схема алгоритма SuperGlue

В первой части дескриптор и позиция ключевой точки кодируются в единый вектор, а далее агрегируются между собой внутри одного изображения и затем относительно другого изображения, что формирует множество «похожих» дескрипторов. Во втором модуле данное множество дополнительно прореживается для оптимизации результатов сопоставления дескрипторов с целью увеличения точности работы алгоритма.

Для работы алгоритма SuperGlue в реальном времени требуется мощный графический ускоритель NVIDIA с ядрами CUDA или специализированный графический ускоритель для обработки НС. Для проведения эксперимента использовался графический ускоритель AMD RX 6700 XT с использованием низкоуровнего фреймворка ROCm для вычислений на графическом ускорителе с использованием промежуточного слоя Hip. Обработка двух сегментированных изображений и сопоставление извлеченных признаков занимает 1,2 секунды. Несмотря на такое высокое время работы, данный алгоритм позволяет самостоятельно найти ключевые точки, без отдельно заданного алгоритма поиска ключевых точек или разбиения изображения на сетку для последующего расчёта дескрипторов, и гораздо точнее провести сопоставление между различными фрагментами изображения, чем стандартные алгоритмы обработки ключевых точек в связке с FLANN.

В отличие от более простых алгоритмов типа k-ближайших соседей (основанных на близости значений дескрипторов), Superglue также пытается учитывать относительное расположение ключевых точек на изображении, что значительно повышает точность сравнения.

5.    Эксперимент и обсуждение результатов

Таким образом, в работе предложен алгоритм сегментации сосудов склеры на основе легковесной сверточной нейросети HalfUNet. Для выделения признаков рассмотрены дескрипторы Dense-SIFT, BRIEF и нейросетевой алгоритм SuperPoint и два способа сопоставления извлеченных признаков – FLANN и нейросетевой алгоритм Superglue. По итогам проведения эксперимента предлагаются три алгоритма:

• –    Алгоритм 1 – сегментация сосудов, выделение признаков на основе Dense-SIFT, сопоставление признаков на основе FLANN;

• –    Алгоритм 2 – сегментация сосудов, выделение признаков на основе BRIEF, сопоставление признаков на FLANN;

• –    Алгоритм 3 – сегментация сосудов, выделение признаков на основе SuperPoint, сопоставление признаков на основе Superglue.

Для оценки эффективности разработанных алгоритмов проведено моделирование биометрической системы аутентификации. В качестве входных данных использовался один из шаблонов из датасета SBVPI. По результатам построены графики для трех алгоритмов (рис. 10– 12):

• –    зависимости вероятности ложного пропуска от уровня количества ошибочных допусков системой неавторизованных лиц (False Acceptance Rate – FAR) и вероятности ложного отказа в допуске системой авторизованных лиц (False Rejection Rate – FRR;

• –    ROC – кривые (receiver operating characteristic), которые описывают взаимосвязь между долей истинно положительных примеров (True Positives Rate – TPR) и долей ложноположительных результатов (False Positives Rate – FPR).

  а)

  
  
  

  Рис. 10. Графики FAR/FRR (а) и ROC-кривая (б) для алгоритма 1

  
  
  
  
  
  
  
  

  б)

  Рис. 11. Графики FAR/FRR (а) и ROC-кривая (б) для алгоритма 2

  б)

  Рис. 12. Графики FAR/FRR (а) и ROC-кривая (б) для алгоритма 3

  Вероятности FAR и FRR рассчитывались по следующим формулам:

  FAR = FP / (FP + TN),

  
  
  
  

где FP (False positive) – количество ошибочных предоставлений доступа пользователям, которых нет в базе;

TN (True negative) – количество правильных отказов пользователям, которых нет в базе;

FRR = FN / (FN + TP), где FN (False negative) – количество ошибочных отказов в доступе пользователям, которые есть в базе;

TP (True positive) – истинно положительное решение, количество правильных предоставлений доступа пользователям, которые есть в базе.

Основные параметры биометрической системы аутентификации, построенной на основе трех представленных алгоритмов, приведены в табл. 1.

Табл. 1. Основные параметры биометрической системы аутентификации

Алгоритм	FAR	FRR	EER	AUC
Алгоритм 1	1∙10-3	0,17±0,002	0,038±0,002	0,986±0,002
Алгоритм 2	1∙10-3	0,25±0,002	0,033±0,003	0,981±0,004
Алгоритм 3	1∙10-4	0,09±0,002	0,022±0,0005	0,998±0,002

В табл. 2 представлено сравнение эффективности разработанных алгоритмов с результатами исследований других легковесных моделей (GazeNet 1.0 и GazeNet 1.1 [4], ScleraNET, SqueezeNet и SqueezeNet 1.1 [6]) для устройств с ограниченными вычислительными ресурсами, например, таких как смартфоны. Сравнение проводилось по характеристикам: вероятность верификации при ложном пропуске 0,1 % (VER 0,1FAR) и 1 % (VER 1FAR), вероятность средней ошибки (EER), стандартной метрикой качества бинарной классификации (AUC). Модели из работ [4, 6] обучались для прогнозирования как идентичности субъекта, так и направления взгляда на изображении. Обучение моделей в работах [4, 6] и модели HalfUNet осуществлялось на одинаковом наборе данных – SBVPI.

Табл. 2. Сравнение эффективности алгоритмов

Алгоритм/модель	VER 0,1FAR	VER 1FAR	EER	AUC
ScleraNET [4,6]	0,173±0,003	0,381±0,008	0,191±0,002	0,889±0,002
SqueezeNet 1.1 [4, 19]	0,206±0,004	0,427±0,008	0,177±0,003	0,902±0,002
GazeNet 1.0 [4]	0,237±0,010	0,448±0,009	0,174±0,005	0,905±0,004
SqueezeNet 1.1 [4, 19]	0,170±0,008	0,380±0,011	0,190±0,003	0,893±0,003
GazeNet 1.1[4]	0,216±0,005	0,450±0,010	0,172±0,003	0,908±0,002
Алгоритм 1	0,762±0,002	0,939±0,002	0,038±0,002	0,986±0,002
Алгоритм 2	0,662±0,003	0,954±0,003	0,033±0,003	0,981±0,004
Алгоритм 3	0,931±0,002	0,961±0,004	0,022±0,002	0,998±0,002

Согласно результатам, представленным в табл. 2, Алгоритм 3, основанный на методе Superglue, показал наилучшие результаты, достигнув метрики EER в 1,5 раза ниже, чем у двух других алгоритмов. Однако для его работы требуется достаточно мощный графический ускоритель (при времени работы в 1–2 секунды на видеокарте среднего ценового сегмента), в то время как более простые Алгоритмы 1 и 2, основанные на работе с дескрипторами, требуют недорогого процессора. Тем не менее сочетание сегментации сосудов и использования дескрипторов позволяет достичь метрики EER в 4–5 раз меньше, чем у аналогичных алгоритмов.

Причина существенной разницы в характеристиках обусловлена тем, что данная работа, в отличие от существующих подходов [4, 6], включала предварительную обработку для улучшения изображения и сегментацию рисунка сосудов склеры с помощью нейронной сети HalfUNet. Эти дополнительные этапы обработки значительно повысили вероятность распознавания по сравнению с существующими решениями при сопоставимых вычислительных ресурсах.

Выводы

Таким образом, в работе представлены три алгоритма, включающие сегментацию склеры и выделение её сосудистого рисунка на основе легковесной нейронной сети HalfUNet с использованием Ghost-модуля, что снижает количество вычислительных операций, а количество обучаемых параметров сокращается в десятки раз. Особенностью алгоритмов 1 и 2 является использование дескрипторов Dense-SIFT, BRIEF для извлечения признаков, а также метода k-ближайших соседей ( k =2) для их сопоставления с помощью алгоритма FLANN.

Оба алгоритма имеют высокую точность классификации AUC 0,986 и 0,981 и достаточно высокую вероятность распознавания при заданном уровне FAR= 1 ∙ 10^-3 – 0,762 и 0,662 соответственно. Реализованная на устройствах с ограниченными вычислительными мощностями, на одном из этих алгоритмах система аутентификации будет иметь средний уровень ошибки 0,038, а при фиксированном уровне FAR= 1 ∙ 10^-3, значение FRR составит 0,17 и 0,25 соответственно. В то же время проведенные исследования показали, что при отсутствии ограничений на вычислительные ресурсы может быть использован алгоритм 3, который отличается использованием нейросетевого алгоритма поиска дескрипторов и сравнения извлеченных признаков и за счет этого имеет более высокую точность классификации AUC=0,998 и меньшую вероятность ошибок при FAR= 1 ∙ 10^-4, значение FRR составляет 0,09.