Интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных на основе мультимодальной нейронной сети

Рак кожи является одной из наиболее распространенных форм окопаталогии у людей и представляет собой широкий спектр злокачественных пигментных образований [1]. Основным способом первичной диагностики рака кожи является визуальное клиническое обследование при помощи дерматоскопии [2]. Средняя точность метода визуальной диагностики злокачественных образований у опытного врача-дерматолога составляет 65-75% и зависит от подготовки и квалификации специалиста [3; 4]. Гистопатологический анализ считается «золотым стандартом» диагностики рака кожи, однако данный метод является инвазивным и может быть неубедительным в пограничных случаях. Расхождения в диагнозе между отдельными патологоанатомами может составлять до 25% [5; 6]. Технологии искусственного интеллекта позволяют c высокой точностью анализировать пигментные образования кожи более быстрым, удобным и доступным способом [7]. При этом, подобные системы не могут заменить решающее мнение патологоанатома и дерматолога-онколога в диагностике рака кожи в связи с возможностью ложноотрицательных случаев прогнозирования, когда злокачественное пигментное образование может быть классифицировано как доброкачественное. Поэтому в настоящее время актуальным является разработка высокоточных интеллектуальных систем, которые могут использоваться в качестве вспомогательных диагностических инструментов для выявления рака кожи на ранних стадиях [8].

Основная гипотеза рукописи заключается в потенциальном снижении количества ложноположительных прогнозирований нейронных сетей за счет проявления специфических системных свойств при использовании различных методов повышения качества работы интеллектуальных систем. Целью исследования является разработка мультимодальной нейросетевой системы анализа несбалансированных гетерогенных дерматологических данных для распознавания рака кожи. Представленная система позволит уменьшить количество ложноположительных прогнозов за счет использования разнородных дерматологических данных, этапа предварительной очистки волосяных структур и модифицированной функции кросс-энтропийных потерь. Новизна предлагаемой интеллектуальной системы заключается в одновременном использовании метода предварительной очистки волосяных структур на визуальных данных и мультимодальном обучении на гетерогенных данных с применением модифицированной функции кросс-энтропийных потерь.

Мультимодальная нейросетевая система с предварительной очисткой волосяных структур и модифицированной функцией кросс-энтропийных потерь

Наиболее распространенными типами данных в области дерматологии являются визуальные многомерные данные и статистические данные о пациентах. Визуальные многомерные данные включают в себя дерматологические изображения пигментных новообразований кожи. К статистическим данным относятся пол, возраст, а также локализация пигментного новообразования на теле пациента. Несмотря на то, что визуальное клиническое исследование кожи является основной формой диагностирования онкопаталогий, статистические параметры пациента также могут указывать на риск развития злокачественных форм пигментных поражений кожи [9]. Поэтому возникает необходимость во всестороннем анализе разнородных данных для более точной диагностики [10]. Использование разнородных данных позволяет повысить точность интеллектуального анализа за счет поиска дополнительных связей между визуальными объектами исследований и статистическими данными.

Одной из основных проблем при анализе дерматологических изображений является наличие шума, который может искажать диагностиче-ски-значимую информацию. Наличие волосяных структур может изменить размер, форму, цвет и текстуру пигментного новообразования. Очистка изображений от волосяных структур на этапе предварительной обработки позволяет повысит качество визуальных данных и подготовить их для дальнейшего интеллектуального анализа. Для обработки дерматологических изображений был предложен метод очистки волосяных структур при помощи морфологических опера- ций [11], который состоит из четырех основных этапов. На первом этапе происходит разложение обрабатываемого дерматологического RGB-изображения на цветовые составляющие. Морфологические операции производятся отдельно для каждой цветовой составляющей. На втором этапе происходит определение расположения волосяных структур при помощи морфологической операции замыкания. На третьем этапе производится замена пикселей волос на соседние пиксели при помощи интерполяции. На четвертом этапе производится обратное построение дерматологического RGB-изображения из цветовых составляющих. Использование предложенного метода очистки волосяных структур позволяет значительно повысить точность распознавания у интеллектуальных систем за счет улучшения качества визуальной диагностически значимой информации. Пример поэтапной работы использованного метода предварительной очистки волосяных структур представлен на рисунке 1.

Для большинства интеллектуальных систем в качестве входных данных требуется целочисленный вектор признаков. Преобразование дерматологических статистических данных в числовой формат является необходимым шагом для корректного вычисления корреляции и дальнейшего интеллектуального прогнозирования [12]. Наиболее распространенным способом предварительной обработки статистических данных является метод one-hot encoding [13]. В результате статистические переменные с несколькими возможными значениями преобразовываются в новый набор числовых позиционных векторов, все элементы которого равны нулю, кроме положения значения переменной в списке всех возможных значений. Входной вектор признаков с формируется при помощи метода one-hot encoding следующим образом:

c = Е m ^ m = dim I c m , ⁽¹⁾

где ф _т - мощность статистического фактора пациента c_m , которая зависит от количества всех возможных значений фактора.

Мультимодальное машинное обучение является перспективной областью исследований и представляет собой интеллектуальный анализ информации из нескольких модальностей [14]. Слияние гетерогенных данных позволяет извлекать признаки из различных модальностей для определения неочевидной взаимосвязи между обрабатываемыми данными и результатами диагностики. Разнородная информация используется для принятия решений нейросетевой модели путем интеграции архитектур для обработки раз- личных модальностей в общую структуру интеллектуальной системы [15].

Оригинальное дерматологическое изображение

Этап 1. Разложение на цветовые составляющие

Компонента R Компонента G Компонента B

Этап 2. Определение волосяных структур

Компонента R Компонента G Компонента B

Этап 3. Замена пикселей волосяных структур

Компонента R Компонента G Компонента B

Этап 4. Обратное построение RGB изображения

Очищенное дерматологическое изображение

Рисунок 1. Пример поэтапной работы метода предварительной очистки волосяных структур на дерматологических изображениях

Для анализа статистический факторов пациентов наиболее оптимальной нейросетевой архитектурой является многослойный персептрон с прямой связью [16]. Для обработки визуальных многомерных данных наиболее оптимальными нейросетевыми архитектурами являются сверточные нейронные сети (СНС) [17]. Предлагаемая интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных состоит из двух архитектур нейронных сетей, которые параллельно извлекают признаки из данных различных модальностей.

Дерматологические изображения пигментных новообразований кожи обрабатываются при помощи предварительно обученных архитектур

СНС. Получение карт признаков в результате обработки многомерных визуальных данных Id производится следующим образом:

w - 1         w - 1

if (x, y )=t+s    i j^ s *= -о wj) I (x + i, y + j, I),

где I_f – карта признаков дерматологического изображения I d ; w ⁽p - коэффициент фильтра маски размером x х x ; t - коэффициент смещения.

Статистические данные пациентов обрабатываются при помощи разработанной архитектуры линейного многослойного персептрона. В многослойном персептроне нейроны выполняют суммирование полученного вектора входных статистических данных 3 и коэффициента смещения t , формируя выходной сигнал следующим образом:

p^c = f ( 1 n cp / ⁺ t ) , ⁽³⁾ где p_t - весовой коэффициент нейрона.

Объединение полученной карты признаков и выходного сигнала p^c производится на слое конкатенации.

D=TT ТТЫ.2)+т1 рсw(3), (4) Z-^ i ^^ j Л^ I f j Л^ i=1 il где w(2) - весовой коэффициент для обработки карт признаков I дерматологических изображений Id ; w^ - весовой коэффициент для обработки извлеченных признаков pc статистических данных.

Последний слой мультимодальной интеллектуальной системы активируется при помощи функции softmax. Полученное выходное распределение вероятностей между категориями сравнивается с исходным верным распределением при помощи функции кросс-энтропийных потерь. При обучении на несбалансированных данных стандартная функция потерь будет успешно минимизироваться при интеллектуальных прогнозах категорий, которые содержат большинство обучающих данных. Большинство существующих общедоступных наборов дерматологических данных имеют ассиметричное распределение в сторону доброкачественных пигментных новообразований кожи [18]. Для решения данной проблемы наиболее оптимальным является использование неравных затрат на ошибочную классификацию между категориями, которые могут быть определены как весовые коэффициенты. Для дерматологических разнородных данных весовые коэффициенты направлены на повышение значимости наименее распространенных категорий злокачественных пигментных новообразований. Расчет весовых коэффициентов 5к производится обратно пропорци- онально частоте категорий в базе данных и имеет следующий вид:

5_к =

H к 1 H=i qik ’

где H – количество дерматологических данных; K – количество категорий, по которым распределе- ны данные; qIk – указатель принадлежности дерматологического изображения I к категории k .

Модифицированную функцию кросс-энтропийных потерь E ₅ для несбалансированных дерматологических данных можно представить:

E 5 = - H 1 K = 1 1 Т^{5 х l} I ^х log ( m ^ ( x,^k ) ) , ⁽⁶⁾

где l _I ^k – истинная метка для примера I из категории к ; т _ц - модель нейронной сети с весами Ц ; 5 _к - весовой коэффициент категории к .

В результате модифицированная функция потерь Е ₅ указывает расстояние между выходным распределением и исходным распределением вероятностей. Происходит постепенное запоминание истинных векторов и минимизация потерь при обучении. Модификация функции кросс-энтропийных потерь при помощи весовых коэффициентов позволяет минимизировать влияние несбалансированных данных и не допускает смещение результатов классификации в сторону более распространенной категории доброкачественных образований кожи. Архитектура предлагаемой мультимодальной нейросетевой системы на основе сверточной архитектуры AlexNet с модифицированной функцией кросс-энтропийных потерь представлена на рисунке 2. В результате предварительной обработки метаданных формируется вектор входных признаков, состоящий из 13 значений. После завершения процесса обработки визуальных многомерных данных при помощи сверточных слоев нейросетевой архитектуры формируется выходной слой из 10 нейронов, соответствующих количеству распознаваемых категорий. Аналогичным образом формируется выходной слой из линейной нейросетевой архитектуры из 10 нейронов, соответствующих количеству распознаваемых категорий.

Моделирование мультимодальной нейросетевой системы анализа несбалансированных гетерогенных дерматологических данных

Для проведения моделирования были использованы дерматологические данные из открытого архива International Skin Imaging Collaboration (ISIC). Собранная база дерматологических данных включала в себя 41725 случаев клинически-ди- агностированных пигментных поражений кожи. Каждый случай сопровождался изображением, подтвержденным диагнозом и такими статистическими данными как пол, возраст, локализация пигментного новообразования на теле пациента. Весь набор данных был распределен по 10 диагностиче-ски-значимым категориям: сосудистые поражения, невусы, солнечные лентиго, дерматофибромы, себорейные кератозы, доброкачественные кератозы, актинические кератозы, базальноклеточные карциномы, плоскоклеточные карциномы и меланомы. На рисунке 3 представлен график распределения отобранных данных по категориям. Все диагностические категории подразделяются на группы «злокачественные» и «доброкачественные» и располагаются в порядке возрастания риска и тяжести течения заболевания.

На этапе предварительной обработки статистических факторов параметр «Возраст» был разделен на четыре группы в соответствии с возрастной классификацией, принятой Всемирной организацией здравоохранения (ВОЗ). Распределение статистических данных пациентов в базе данных моделирования представлено в таблице 1. Преобладающее количество пациентов относится к мужчинам и возрастной группе до 44 лет. При этом пигментные новообразования чаще всего локализуются на задней части туловища.

Моделированиепроводилосьсиспользованием высокоуровневого языка программирования Python 3.11.0. Все расчеты проводились на ПК с процессором Intel(R) Core(TM) i5-8500 с частотой 3,00 ГГц с 16 ГБ оперативной памяти и 64-битной операционной системой Windows 10. Обучение мультимодальных нейросетевых систем проводилось с использованием графического процессора (GPU) на базе видеочипсета NVIDIA GeForce GTX 1050TI. Для моделирования нейросетевых систем использовался фреймворк машинного обучения Pytorch. Для обработки статистических данных использовались библиотеки NumPy, Pandas и ScikitLearn. Для визуализации данных использовалась библиотека Matplotlib. Для моделирования мультимодальной нейросетевой системы чувствительной к несбалансированным данным были выбраны нейросетевые архитектуры AlexNet, MNASNet и Shufflenet_v2, которые были предварительно обучены на наборе изображений ImageNet.

Распределение дерматологических данных по диагностическим категориям

О 5000 10000 15000 20000 25000 30000

Сое i ’диет ые п сражен ия Невусы Солнечные лентиго

Дерматофибром ы

Себорейные кератозы Доброкачественные кератозы Актинические кератозы Базалъноклсточные карциномы Плоскоклеточные карциномы Меланомы

■ 1464

■ 5597

- Злокачественные категории

- Доброкачественные категории

Рисунок 3. График распределения отобранных дерматологических данных по категориям

На первом этапе моделирования была произведена предварительная обработка дермато-

Таблица 1. Распределение статистических параметров пациентов в дерматологической базе данных моделирования

Статистический фактор	Значение	Количество	Процент от общего числа, %
Пол	Мужской	23,294	55,83
	Женский	18,294	44,17
	≤ 44 лет	17,927	42,96
Возраст	45 ≤ 59 лет	10,720	25,69
	60 ≤ 74 лет	7788	18,67
	≥ 75 лет	5290	12,68
	Задняя часть туловища	17,326	41,52
	Передняя часть туловища	7440	17,83
	Нижние конечности	7182	17,21
Локализация на теле	Голова/шея	5375	12,88
пациента	Верхние конечности	3844	9,21
	Ладони/стопы	411	0,99
	Боковая часть туловища	83	0,20
	Оральная/генитальная зона	64	0,15

логических данных. Статистические данные были преобразованы при помощи метода one-hot encoding в вектор входных признаков. Визуальные многомерные данные были обработаны при помощи метода очистки волосяных структур, представленного в работе [11]. Обработанные дерматологические изображения были преобразованы до размера 227 х 227 пикселей для нейросетевой архитектуры AlexNet и 224 х 224 для архитектур MNASNet и Shufflenet_v2.

Для дальнейшего моделирования дерматологическая база данных была разделена на обучающие, валидационные и тестовые данные в соответствии с золотым стандартом машинного обучения. В группу «обучающие данные» были включены 25.035 случаев, в группу «проверочные данные» были включены 8.345 случаев и в группу «тестовые данные» были включены 8.345 случаев. К обучающему набору визуальных данных были применены такие аффинные преобразования как отражение, вращение, смещение, масштабирование и прочие. Аугментация данных позволила избежать переобучения мультимодальных нейросетевых моделей. Весовые коэффициенты для каждой из категорий, полученные при помощи формулы (5), представлены в таблице 2.

Используемый размер пакета входных данных составил 8 случаев. В качестве оптимизатора использовался SGD со стандартной скоростью обучения 0.001 и моментом 0.9. В таблице 3 представлены результаты точности, функции потерь и значения различных методов статистической оценки при тестировании разработанных мультимодальных нейросетевых систем, чувствительных к несбалансированных дерматологическим данным. Представленные результаты сравниваются с оригинальными мультимодальными системами.

Для статистической оценки обученных моделей были выбраны такие количественные методы как F-1, коэффициент корреляции Мэтьюса (MCC), специфичность (Sp), коэффициент истинных срабатываний (FPR) и коэффициент ложных срабатываний (FNR).

Таблица 2. Весовые коэффициенты, использованные для модификации функции кросс-энтропийных потерь

№	Диагностическая категория	Весовой коэффициент
1	Сосудистые поражения	3,8893
2	Невусы	0,0353
3	Солнечные лентиго	3,6444
4	Дерматофибромы	3,9992
5	Себорейные кератозы	0,6721
6	Доброкачественные кератозы	0,8954
7	Актинические кератозы	1,1323
8	Базальноклеточные	0,2900
	Карциномы
9	Плоскоклеточные	1,5000
	Карциномы
10	Меланомы	0,1758

В результате проведенного моделирования было установлено, что использование весовых коэффициентов для модификации функции кросс-энтропийных потерь позволяет повысить точность интеллектуального распознавания дерматологических данных и снизить значение функции потерь. Наилучший показатель точности прогнозирования был получен у мультимодальной нейросетевой системы на основе архитектуры AlexNet, чувствительной к несбалансированным данным, и составил 83,87%. При тестировании каждой из разработанных мультимодальных нейросетевых систем, чувствительных к несбалансированным дерматологическим данным точность распознавания была выше, чем при тестировании оригинальных мультимодальных нейросетевых архитектур. Увеличение точности прогнозирования у систем с модифицированной функцией кросс-энтропийных потерь составило 1,31-4,91 процентных пункта в зависимости от выбранной предварительно обученной архитектуры СНС. Наилучший показатель функции потерь составил 0,2270 и был получен при тестировании мультимодальной нейросетевой системы, чувствительной к

Таблица 3. Результаты тестирования мультимодальных нейросетевых систем методами количественной оценки

СНС архитектура	Весовые коэффициенты	Функция потерь	Точность, %	F-1	МСС	Sp	FNR	FPR
	Нет	0,3084	82,56	0,8256	0,6793	0,9785	0,2013	0,0228
AlexNet	Да	0,2270	83,87	0,8387	0,6898	0,9788	0,1867	0,0206
	Нет	0,3716	78,02	0,7817	0,6170	0,9735	0,2383	0,0265
MNASNet	Да	0,2748	81,51	0,8185	0,6423	0,9780	0,1915	0,0220
	Нет	0,3573	77,83	0,7783	0,5857	0,9731	0,2419	0,0269
Shufflenet_v2	Да	0,2659	82,74	0,8274	0,6436	0,9787	0,1981	0,0213

несбалансированным данным на основе архитектуры AlexNet. Во всех случаях значение функции потерь было ниже у разработанных систем, чувствительных к несбалансированным дерматологическим данным, чем у интеллектуальным систем, обученных без использования весовых коэффициентов. Уменьшение показателя функции потерь составило 0,0814-0,0968 в зависимости от выбранной предварительно обученной СНС.

F-1 является мерой оценивания интеллектуальных систем и представляет собой среднее гармоническое положительной прогностической ценности и чувствительности. Однако статистическая метрика F-1 является зависимой от соотношения положительных и отрицательных случаев и не всегда может корректно оценивать системы, в которых существует явный дисбаланс данных. Коэффициент корреляции Мэтьюса (MCC) является более надежной статистической мерой оценивания систем с несбалансированными данными. Высокий показатель MCC свидетельствует о высокой эффективности интеллектуальной системы пропорционально количеству доброкачественных и злокачественных случаев в наборе данных [19]. Специфичность (Sp) является показателем того, насколько хорошо интеллектуальная система выявляет пациентов с злокачественными пигментными новообразованиями. Коэффициент ложных срабатываний (FNR) и коэффициент истинных срабатываний (FPR) являются вероятностью ложного и истинного отклонения нулевой гипотезы в результате тестирования нейросетевой системы. В результате тестирования всех обученных мультимодальных нейросетевых систем наилучшие показатели статистических оценок были получены у системы на основе архитектуры AlexNet, обученной с использованием весовых коэффициентов, и составили 0,8387 для F-1; 0,6898 для MCC; 0,9788 для специфичности (Sp); 0,1867 для FNR и 0,0206

для FPR. По всем рассмотренным метрикам тестирования у интеллектуальных систем, обученных с использованием модифицированной функции кросс-энтропийных потерь результаты оценки были выше, чем у оригинальных мультимодальных систем распознавания пигментных новообразований кожи. Использование модифицированной функции кросс-энтропийных потерь при обучении мультимодальных архитектур позволило получить классификаторы, чувствительные к несбалансированным дерматологическим данным. Кроме того, обучение с использованием модифицированной функции кросс-энтропийных потерь при помощи весовых коэффициентов позволило снизить количество ложноположительных ошибок, при которых злокачественные пигментные новообразования распознаются как доброкачественные. Несмотря на значительное снижение риска возникновения ложноположительных ошибок, разработанная система анализа дерматологических данных не может быть использована в качестве самостоятельного диагностического инструмента.

Заключение

В работе представлена интеллектуальная система анализа несбалансированных гетерогенных дерматологических данных на основе мультимодальной нейронной сети. Точность разработанной интеллектуальной системы на основе сверточной архитектуры AlexNet составила 83,87%. Система анализирует разнородные дерматологические данные, представленные изображениями пигментных новообразований кожи и статистической информацией пациентов. Модификация функции кросс-энтропийных потерь позволила преодолеть дисбаланс дерматологических данных и добиться более высокой точности по сравнению с результатами тестирования оригинальных мультимодальных системам, а также по сравнению с результатами аналогичных си-

Дерматологические данные

Разнородные данные

Мультимодальная

Дерматологическое изображение

Метаданные

Модифицированная функция кросс-энтропийных потерь

Предобработка изображения

( Возраст | Локализация)

Сверточные слои архитектуры AlexNet

Предобработка метаданных

сеть

Слой конкатенации

Softmax

1 категория (3,8893)

2 категория (0,0353)

3 категория (3,6444)

4 категория (3,9992)

5 категория (0,6721)

6 категория (0,8954)

7 категория (1,1323)

8 категория (0,2900)

9 категория (1,5000)

10 категория (0,1758)

Ｏ Сосудистые поражения (0.04)

Ｏ Невусы (0.01)

Ｏ Солнечные лентиго (0.01)

Ｏ Дерматофибромы (0.02)

Ｏ Себорейные кератозы (0.07)

Ｏ Доброкачественные кератозы (0.02)

Ｏ Актинические кератозы (0.01)

Ｏ Базальноклеточные карциномы (0.06)

Ｏ Плоскоклеточные карциномы (0.04)

Ｏ Меланомы (0.72)

Предобработанное Предобработанные изображение метаданные

Обратное распространение ошибки

Рисунок 2. Схема обучения предлагаемой мультимодальной нейросетевой системы на основе сверточной архитектуры AlexNet с использованием модифицированной функции кросс-энтропийных потерь

стем распознавания злокачественных образований кожи [20; 21].

Основным ограничением предложенной мультимодальной нейросетевой системы, чувствительной к несбалансированным разнородным дерматологическим данным является то, что специалисты могут использовать систему только как дополнительный диагностический инструмент. Разработанная система не может быть использована в качестве самостоятельного метода диагностики из-за возможного риска возникновения ложноположительных ошибок. Внедрение и использование разработанной системы как высокоточного вспомогательного инструмента для помощи принятия врачебного решения позволит сократить потребление финансовых и трудовых ресурсов, задействованных в медицинской отрасли, а также повысит шанс раннего выявления пигментных онкопаталогий.

Исследование проведено в Северо-Кавказском центре математических исследований в рамках соглашения с Министерством науки и высшего образования Российской Федерации (соглашение № 075-02-2023-938). Автор работы выражает благодарность СКФУ за помощь в рамках проекта поддержки малых научных групп и отдельных ученых.