Технология интеллектуального отбора признаков для системы автоматического формирования плана коагулятов на сетчатке глаза

Сахарный диабет (СД) является одним из самых распространённых неинфекционных заболеваний в мире и достиг масштабов эпидемии как в развивающихся странах, так и в большинстве развитых стран [1, 2]. По данным Международной диабетической федерации, к началу 2015 года в мире насчитывалось более 400 млн. пациентов с СД [3]. Кроме того, количество людей с нарушением толерантности к глюкозе, которые с высокой долей вероятности могут пополнить группу больных с СД, во всём мире составляет 530 млн. человек [3, 4].

При СД происходит изменение кровеносных сосудов сетчатки, которое приводит к нарушению обеспечения сосудов сетчатки кислородом. Такое состояние зрительной системы ведёт к появлению диабетической ретинопатии (ДРП). Одним из наиболее тяжёлых осложнений ДРП, приводящих к слепоте, является макулярный отёк [5, 6] (рис. 1).

Впервые эффективность лазерокоагуляции в лечении макулярного отёка была доказана в масштабном рандомизированном многоцентровом исследовании ETDRS [7]. Лазерокоагуляция сетчатки является «золотым стандартом» лечения ДРП [6, 8]. Использование лазеркоагуляции подразумевает нанесение серии дозированных ожогов в области отёка. Формирование ожога происходит за счёт поглощения лазерного излучения пигментным эпителием сетчатки и преобразованием его в тепловую энергию [5, 9–13]. Наложение коагулятов происходит либо по одному, либо серией коагулятов, расположенных в виде заданной фигуры правильной формы – паттерна, либо с предварительным планированием расположения коагулятов на изображении сетчатки в режиме реального времени [11, 14] (рис. 2).

Наиболее предпочтительно оптимальное расположение коагулятов в зоне макулярного отёка на максимально равных друг от друга расстояниях и исключения попадания их на сосуды. Если расстановку производить вручную по одному коагуляту, то оптимальность их расположения будет субъективна, а на планирование будет потрачено больше времени [8, 15].

Для автоматизации процедуры лазерной коагуляции необходимо провести сегментацию изображения на области интереса. Таким образом, разработка информационной технологии отбора признаков для проведения сегментации изображения глазного дна с целью последующего автоматического заполнения коагулятами зоны отёка в настоящее время является актуальной задачей.

Рис. 1. Пример диагностического изображения глазного дна без патологий (слева) и с патологией (справа)

Для расчёта информативного признакового пространства предварительно проводилась фрагментация изображения на определённые области интереса, которые характеризуются наличием объектов четырёх классов: экссудаты, толстые сосуды, тонкие сосуды и здоровые участки. При этом использовался врач-эксперт для проведения обучения системы распознавания.

Область макулярного отёка определяется скоплением зон экссудации. При проведении лазерной терапии врачи запрещают накладывать коагуляты на толстые сосуды и не рекомендуют затрагивать здоровые участки и тонкие сосуды, чтобы повысить эффективность проведения лазерной операции.

Рис. 2. Примеры наложения коагулятов при проведении лазерной операции (правее) и примеры паттернов

программного средства NAVILAS

Предложена система формирования плана коагулятов, основанная на сегментации изображения глазного дна с использованием текстурных признаков и применении алгоритмов расстановки коагулятов.

• 1.    Технология формирования эффективных признаков для сегментации изображения глазного дна в различных подпространствах

Для автоматизации процедуры лазерной коагуляции необходимо провести сегментацию изображения на указанные области интереса. Для того, чтобы провести более точную сегментацию, в работе [16] нами была предложена технология формирования набора эффективных признаков на основе анализа текстурных свойств указанных классов изображений с использованием дискриминантного анализа.

10 В 16 19 22 25 28 31 34 3 7 40 43 46 49

Рис. 3. Технология формирования эффективных признаков для идентификации областей интереса изображений глазного дна

Выделение областей интереса осуществлялось на основе принятия решения о принадлежности фрагментированных зон к одному из 4 классов объектов: экссудаты, толстые сосуды, тонкие сосуды и здоро- вые участки. Фрагментация проводилась путём разделения изображения на блоки квадратной формы, классификация которых осуществлялась на основе технологии, представленной в [16].

Технология основывается на методах кластеризации с использованием текстурных признаков. Анализ областей интереса (ROI) исходных изображений показал, что они хорошо различаются своими текстурными свойствами. Текстурные признаки и ранее показывали хорошие результаты при распознавании биомедицинских изображений и их дальнейшей диагностики [17, 18–20]. Для расчёта текстурных признаков нами использовалась известная библиотека MaZda [21, 22]. В работе [31] рассматривается похожая задача выявления патологий по изображениям клеток крови на основе анализа текстурных признаков различных классов исходных изображений в разных цветовых подпространствах. Поэтому в настоящей работе было решено усовершенствовать ранее рассмотренную технологию и сформировать не только выборку фрагментов в исходном цветовом пространстве, но и в отдельных компонентах цветового пространства RGB и HSL, а также выборку полутоновых фрагментов изображений. Были проведены сравнительные экспериментальные исследования на предмет выявления более информативных цветовых пространств и подпространств, а также более информативных текстурных признаков различных цветовых подпространств.

Таким образом, было сформировано 7 исходных выборок, содержащих вектора признаков, подсчитанных на изображениях в различных комбинациях компонент цветовых пространств RGB и HSL. Кроме того, было принято решение проводить дополнительную процедуру поворота обучающих фрагментов изображений для получения более объективных результатов при формировании набора эффективных признаков.

В работе использовался общий и попарный отбор признаков. При использовании общего способа отбора признаков признаковое пространство составляется из числа лучших признаков по значению критерия разделимости дискриминантного анализа J1 [23 – 25], рассчитываемого для всех 4 классов исследуемых объектов. Наряду с общим, в отличие от работы [16], нами использовался также попарный способ отбора признаков, заключающийся в выборе признаков, обладающих наибольшим значением критерия разделимости при различении каждой пары классов и последующем их объединении в единый набор. Для оценки качества полученных наборов проводилось вычисление ошибки кластеризации для всех исследуемых размеров окна фрагментации. Кластеризация осуществлялась методом К-средних, а в качестве меры сходства использовалось расстояние Евклида и Махаланобиса [24]. Модифицированная технология отбора эффективных признаков распознавания представлена на рис. 3. Технология является частью описываемой в работе компьютерной системы диагностики, отдельные этапы исследований которой были представлены на международных конференциях [16, 26–28].

2.    Текстурные признаки

Как отмечалось выше, текстурные признаки хорошо себя зарекомендовали для распознавания биомедицинских изображений и их дальнейшей диагностики. Существует большое количество текстурных признаков. Программа «MaZda» [22], используемая в данной работе, производит расчёт следующих групп признаков текстуры:

• а)    основанные на статистических характеристиках;

• б)    основанные на градиентных параметрах;

• в)    основанные на матрице смежности;

• г)    основанные на групповой матрице (матрице длины серий) [22].

3.    Результаты экспериментальных исследований

Цель экспериментов – продемонстрировать возможности предложенной технологии для проведения интеллектуального анализа пространства признаков при решении конкретной диагностической задачи. Представленная технология позволяет не только выделить информативные признаки в конкретных цветовых пространствах, но и определить эффективный признак для различия двух определённых классов при конкретном значении окна фрагментации благодаря использованию различных правил отбора признаков.

Экспериментальные исследования проводились на выборках, сформированных при анализе 132600 фрагментов, содержащих различные классы изображений [27, 28]. Для каждой из сформированных выборок были рассчитаны и отобраны по критерию разделимости наиболее информативные текстурные признаки. Рассматривались наборы признаков, полученные при объединении от 1 до 6 информативных признаков для каждой пары классов при попарном отборе и до 30 наиболее информативных признаков по критерию разделимости при общем способе отбора признаков (рис. 4, 5).

Исследования направлены на выделение наилучшего набора признаков и размера окна фрагментации для идентификации областей интереса с заданной точностью. При этом специфика анализируемого диагностического изображения накладывает ограничение на размер окна фрагментации. Чем меньше размер окна, тем более качественная диагностика при проведении лазерной коагуляции будет получена. Поэтому, анализируя полученные в ходе исследований зависимости, выбираем наименьшее значение окна фрагментации, при котором происходит качественный скачок значений ошибки кластеризации и критерия разделимости.

На рис. 4 показана зависимость значений общегруппового критерия разделимости от размера окна фрагментации при различном числе отобранных признаков (1–30), которые характеризуются максимальным индивидуальным критерием разделимости. На рисунке видно, что оптимальным числом признаков является 13, так как дальнейшее их увеличение не ведёт к существенному росту общего критерия разделимости. При этом качественный скачок на графике наблюдается при размере окна 12, что говорит о предположительно низком значении ошибки кластеризации в данной точке. Это подтверждает график зависимости ошибки кластеризации от размера окна фрагментации при различных мерах сходства (рис. 6). Исходные признаки, представленные на рис. 6, представляют собой набор признаков, которые были вычислены программой MaZda, а сформированные признаки представляют собой признаки с максимальным критерием разделимости при попарном отборе. Качественный скачок изменения ошибки кластеризации происходит при том же значении величины окна фрагментации – 12 (выделено пунктиром), позволяющем получить допустимую ошибку. На рис. 5 представлен аналогичный график зависимости общегруппового критерия разделимости от размера окна фрагментации при различном числе отобранных признаков, но при попарном способе отбора. На графике (рис. 5) можно наблюдать также заметное увеличение критерия разделимости при аналогичном значении минимального размера окна – 12.

Рис. 4. Зависимость значений общегруппового критерия разделимости от размера окна фрагментации при различном числе выбранных признаков с максимальным критерием разделимости (общий отбор признаков)

Рис. 5. Зависимость значений общегруппового критерия разделимости от размера окна фрагментации при различном числе выбранных признаков (1 – 6) с максимальным критерием разделимости при попарном отборе признаков

Эксперименты показали, что попарный отбор даёт меньшую ошибку кластеризации по сравнению с общим отбором признаков (рис. 7).

На рис. 8 и 9 показан анализ информационного содержимого отдельных цветовых подпространств (зелёный, красный, синий) и изображения уровня серого. На рис. 8 показана ошибка кластеризации по сравнению с размером окна фрагментации при ис- пользовании меры сходства Махаланобиса для набора из 13 признаков с максимальным критерием разделения для общей техники выбора признаков. На рис. 9 продемонстрирован аналогичный график ошибки кластеризации для попарного выбора. Анализ информативности цветовых подпространств для набора из 13 признаков при общем способе отбора (рис. 8) и для набора из 6 признаков при попарном (рис. 9) показал, что при использовании попарного способа отбора ошибка кластеризации существенно меньше при любом размере блока фрагментации (рис. 8, 9). Проанализировав данные графика, приведённого на рис. 9, можно сделать вывод о том, что наименьшая ошибка кластеризации и минимальный размер окна сегментации с допустимой минимальной ошибкой (< 2,5 %) достигается для фрагментов размером 12 пикселей при использовании признаков, отобранных попарным способом в зелёном цветовом подпространстве. Таким образом, зелёное подпространство является наиболее информативным.

На рис. 10 отображена частота отбора признаков зелёного подпространства для различных значений окна фрагментации (от 10 до 50) и различных углов поворота.

Рис. 6. Зависимость ошибки кластеризации от размера окна фрагментации: Евклидово расстояние, исходные признаки (а); расстояние Махаланобиса, исходные признаки (б); Евклидово расстояние, вновь сформированные признаки (в); расстояние

На рис. 10 можно увидеть признаки, наиболее часто встречаемые при формировании вектора информативных признаков при различных окнах фрагментации, которые оказались нечувствительными к повороту изображений.

Видно, что при попарном отборе вышли на первый план статистические признаки и некоторые признаки исчезли, как неинвариантные к повороту.

Эксперименты показали, что наиболее информативными и наиболее вероятными при отборе для различных размеров окон фрагментации оказались следующие признаки:

• а)    при попарном отборе:

  

  Рис. 7. Зависимость значений общегруппового критерия разделимости признаков от размера окна фрагментации при различных способах отбора признаков (количество признаков 6 с максимальным критерием разделимости)

  
  

G_Sigma, H_Perc.99%, B_Perc.10%, B_Perc.01%, B_Perc.99%, G_Skewness, B_GrVariance, H_S(1,0)Correlat, G_S(5,0)Entropy, B_S(5,5)Entropy, Perc.10%, H_S(0,1)Correlat, G_S(5,5)Entropy;

• б)    при общем отборе:

G_S(5,–5)Entropy, G_S(5,5)Entropy, B_Perc.99%, G_S(0,5)Entropy, G_S(4,–4)Entropy, G_S(5,0)Entropy, G_S(4,4)Entropy, G_Sigma, G_S(0,1)Entropy, G_S(1,0)Entropy, H_Perc.99%, G_S(0,1)Correlat, G_S(1,0)Correlat.

Рис. 8. Зависимость ошибки кластеризации от размера окна фрагментации при использовании меры сходства Махаланобиса и набора из 13 признаков, информативных

Общими признаками при любом способе отбора оказались признаки: G_S(5,5) Entropy, B_Perc.99%, G_S(5,0) Entropy, G_Sigma, H_Perc.99% (первая буква обозначает цветовое подпространство). В табл. 1 вынесены признаки, характеризуемые максимальным критерием разделимости в зависимости от конкретной техники отбора признаков и наличия поворота изображения.

Табл. 1. Набор признаков с максимальным критерием разделимости в зависимости от способа отбора признаков и наличия поворота изображения

	Общий отбор	Попарный отбор
s © H © c. © © c и	B_Perc.99% B_Perc.90% G_S(1,0)Entropy G_S(0,1)Entropy H_Perc.90% G_S(0,5)Entropy	Perc.10% G_Skewness G_S(5,0)Entropy B_Perc.99% B_GrVariance H_Perc.90%
© H $ B. M = © c	B_Perc.99% B_Perc.90% G_S(1,0)Entropy G_S(0,5)Entropy G_S(0,3)Entropy G_S(0,4)Entropy	Perc.10% S(0,5)Entropy G_Skewness G_S(0,5)Entropy B_GrVariance H_Perc.90%

Рис. 9. Зависимость ошибки кластеризации от размера окна фрагментации при использовании меры сходства Махаланобиса и набора из 6 признаков, информативных при попарном отборе признаков

На рис. 11 показаны результаты сегментации изображения дна, полученные с использованием предлагаемой методики выбора признаков. Основываясь на визуальной оценке медицинского эксперта, можно сделать вывод, что наилучший результат сегментации представлен на рис. 11 г , что также было подтверждено вышеупомянутыми экспериментальными исследованиями.

После сегментации выделяется область, в которую производится расстановка коагулятов. На рис. 12 представлены фрагмент изображения с экссудатами и изображения с расставленными коагулятами в выделенной наилучшим способом сегментации области.

4.    Компьютерная система автоматического формирования плана коагулятов

Сегментация изображения глазного дна и расстановка коагулятов представляют собой ключевые этапы предлагаемой технологии. На рис. 13 представлена общая схема системы, включающей следующие шаги:

совмещение данных, полученных с помощью ОКТ, с изображением глазного дна, сегментация изображения глазного дна, формирование карты отклонения толщины исследуемой сетчатки от нормы, выделение области интереса, в которую будут расставлены коагуляты, на основе выделения зон с патологией на карте высот и исключения запрещённых зон, расстановка коагулятов в выделенную область интереса.

G_Sigma H_Perc99% В _P ere 10% B_Perc01% B_Perc99% G_Skewness В GrVariance

H_SV Жоп-elat G_S(5,OyEntropy B_S(5,5yEntropy

Pere 10%

H_S(0,iyCorrelat G_S(5,5yEntropv

G_S(2,0ySumEntrp G_S(3,OyEntropy GrNonZeros H_Perc90%

B_S( IjySumEntrp B_S( 1 ,-lySumEntrp

G_S(4 AyEntropy G_S(5 .-SyEntropy B_S(5.-5 yEntropy

G_S(0,2ySumEntrp G_S(3 ByEntropv

H_Perc50%

R_S(5 ,5yEntropv

B_Perc50% B_S(1,0)SumEntrp B_S(2,0ySumEntrp G_S(l,l)SumEntrp G_S( 1

G_S(0,5)Entropy B_S(2,OyEntropy G S(0,5yCorrelat (T_S(1,OyEntropy

G_S(5,-5yAngScMom S(0,5)Entropy

S(1 .OyDifEntrp S(5,SyEntropy B_S( 5,0 yDifEntrp G_S(5,OyDifEntrp U_S(2,2yCorrelat Horzl_ShrtREmp

S^l ,O^Entropy G_S(2,0)Entropy B_S(l,-l\Entropy G_S(l,-l)Eatropy G_SU №ifEatrp B_S(2,-2}Entropy В_S(2,0)DifEntrp G_S(0,l)Correlat

0 5 10 15 20 25 30

G_S(5, -5)Entropy G_S(5,5 )Entropv

B_Perc99“o G_S( 0.5 ^Entropy G_S( 4.-4 ^Entropy G_S( 5.0 )Entropy G_S^ 4,4)Entropy

G_Sigma G_S(O, lyEmropy G_S<1 .dyEntropy

H_Perc99% G_S(0.1yCorrelat G_S(1 Жоп-elat G_S(0.3yEntropy G_S(3. OyEntropy H_S( 0,1) Correlat

S(5,5yEnlropv

B_Perc90% G_S( 0,4 yEntropy G_S( 4, OyEntropy Sy.5,-5yEntropv

H_Perc90% G_S(0,2y Entropy

G_Perc99%

Perc99%

G_S(4,-4yinvDfMom G_S(5 .OyinvDfMom G_S( 5.-SyinvDfMom G_iertl_RLNonUni

G_Perc90%

H_Mean G_Sy3, -3 yEntropy

G_S(2,Oy Entropy 8(2, OyEntropy

G_S(2.0yDifEnhp B_S(5,0yDitEntrp G_S(1,-l)Entropy 8(1 .OyEntropy

B_S(4, OyDiJEntrp B_S( 3, OyDifEntrp B_S(2, OyDijEntrp 8(1 .OyDifEntrp

G_S(1.0yDifEnhp

С поворотом Без поворота

Рис. 10. Частота попаданий признаков в зеленое подпространство признаков при различных размерах окна фрагментации при попарном отборе признаков и общем отборе признаков

Для формирования карты отклонения от нормы необходимо получить карту высот сетчатки, наложенную на изображение глазного дна. На изображении ОКТ выделение патологических зон осуществляется врачом вручную. Врач ориентируется на смоделированную карту высот здоровой сетчатки и карту высот сетчатки пациента, полученной при помощи ОКТ. Затем врач вручную расставляет ключевые точки на изображениях глазного дна и ОКТ, чтобы совместить их. Наложение патологических зон на изображение глазного дна осуществляется на основе аф- финного преобразования, вычисляемого по расставленным ключевым точкам изображений.

Сегментация позволяет выделить запрещённые области на изображении глазного дна, которые исключаются из области с высокими отклонениями от нормы. В выделенную область интереса расставляются коагуляты одним из предложенных алгоритмов. В работах [29, 30] были предложены 7 алгоритмов расстановки коагулятов в заданную область интереса, различающихся формируемыми картами коагулятов: квадратная, гексагональная, волновая, упорядочен- ная, граничная, адаптивно граничная, случайная. Квадратная карта является близким аналогом заполнения области интереса коагулятами на основе квадратных паттернов. Адаптивно-граничная карта обладает высокой вычислительной сложностью. Самой низкой вычислительной сложностью обладает упорядоченная карта [29, 30]. Программная система будет позволять в интерактивном режиме выбирать нужный алгоритм расстановки коагулятов из предложенных 7.

Предложенная система на этапе подготовки к операции формирует оптимальный план по изображению глазного дна пациента. Врач на основе полученной картины осуществляет серию микроожогов. В дальнейшем система будет использована в качестве технологии дополненной реальности: камера принимает изображение глазного дна пациента, а система в режиме реального времени отображает врачу результат формирования плана коагулятов.

и)

е)

Рис. 11. Результаты сегментации изображения глазного дна, полученные в зависимости от способа отбора признаков, наличия поворота изображения и различных мер близости: а) исходное изображение; б) в) г) д) - попарный отбор признаков; е), ж), з), и) общий отбор признаков; б), в), е), ж) без поворота; г), д), з), и) с поворотом;

б), г), е), и) расстояние Махаланобиса; в), д), ж), з) Евклидово расстояние

Рис. 12. Результаты заполнения коагулятам выделенных областей интереса: а) зона экссудат;

б) результат заполнения коагулятами

На рис. 14 представлен интерфейс программного комплекса, который позволяет отображать промежу- точные результаты обработки. Интерфейс реализован с использованием технологии WPF на языке C#. Модули вычисления признаков реализованы в динамической библиотеке на языке С++ с целью повышения производительности. Программный комплекс позволяет учитывать данные ОКТ сетчатки пациента и на основе этих данных выделять область интереса, в которую затем расставляются коагуляты.

Заключение

В работе представлена технология отбора эффективных признаков с использованием различных цветовых подпространств для проведения сегментации изображений глазного дна. Технология позволила осуществить интеллектуальный анализ признаков для решения задачи выделения областей интереса, содержащих 4 класса объектов (экссудаты, здоровые участки, толстые, тонкие сосуды) для проведения операции лазерной коагуляции.

Для оценки эффективности набора признаков была использована процедура кластеризации на основе метода К-средних. В качестве меры сходства – расстояния Евклида и Махаланобиса. Необходимый размер окна фрагментации и мера сходства выбирались из критерия минимума ошибки кластеризации среди всех наименьших размеров окна фрагментации. Экспериментальные исследования технологии на серии из 70 изображений (132600 фрагментов, содержащих различные классы элементов глазного дна в различ- ных цветовых подпространствах) позволили выделить наиболее информативные текстурные признаки (13 при общем способе отбора и 6 – при попарном отборе признаков), а также размер окна фрагментации (равного 12 пикселям) для получения наилучшего результата кластеризации. При этом необходимо отметить, что по сравнению с работой [16] использование различных цветовых подпространств и дополнительного поворота изображений обучающих выборок позволило существенно уменьшить размер окна фрагментации (с 47 до 12 пикселей) при сохранении достоверности не меньше 95 %, что является важным при проведении операции лазерной коагуляции.

Исходное изображение

Формирование диагностических признаков

Сегментация изображения

Исключение запрещённых зон

Выделение области интереса

!

Формирование карты отклонения от нормы

Совмещение изображений

Карта отклонений

Рис. 13. Технология формирования плана коагулятов с использованием разработанных методов сегментации изображений глазного дна и расстановки коагулятов

Рис. 14. Программный интерфейс системы формирования плана коагулятов на изображении глазного дна

Попарный способ отбора признаков позволил снизить ошибку кластеризации в 2 раза и более чем в 2 раза уменьшить количество признаков (до 6). В зависимости от различных способов отбора признаков и наличия поворота изображений были получены несколько наборов информативных признаков, обладающих наибольшим критерием разделимости.

В результате экспериментальных исследований были получены следующие рекомендации для получения наилучших результатов кластеризации: 1) маска фрагментации – 12 пикселей; 2) попарный отбор признаков; 3) использование следующих текстурных признаков: Perc.10 %, G_Skewness, G_S(5,0)Entropy, B_Perc.99 %, B_GrVariance, H_Perc.90 %. Также сле- дует отметить, что предложенная технология позволила не только выделить информативные признаки в конкретных цветовых пространствах, но и выявить наиболее информативное цветовое подпространство при наилучшем способе отбора признаков.

Предложена система автоматического формирования плана коагулятов на основе сегментации изображений глазного дна с применением эффективных текстурных признаков и алгоритмов расстановки коагулятов. Система может быть использована для эффективного лечения диабетической ретинопатии, в процессе которого врач будет наносить микроожоги на глазное дно в соответствии с предложенным системой планом коагулятов. Дальнейшие исследования направлены на совершенствование отдельных этапов представленной технологии, в частности применение процедуры предварительной обработки изображения, позволяющей подчёркивать необходимые для анализа элементы изображения глазного дна.

Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (гранты № 16-41-630761, № 17-01-00972, № 19-2901135, № 19-29-01235), государственного задания 3.3025.2017/4.6 и Министерства науки и высшего образования Российской Федерации, в рамках выполнения работ по государственному заданию ФНИЦ

«Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).