Опыт применения сверточной нейронной сети для бинарной классификации микрофотографий цитологических препаратов щитовидной железы

В щитовидной железе у 48 % пациентов при плановом медицинском обследовании обнаруживаются узловые образования, которые могут быть доброкачественными или злокачественными [1]. Доброкачественные узлы включают коллоидные и аденоматозные узлы, кисты и воспалительные заболевания, а злокачественные – различные виды рака, такие как папиллярный, фолликулярный, медуллярный и др. Для определения характера образования проводится тонкоигольная аспирационная пункционная биопсия (ТАПБ). Цитологическое исследование ТАПБ является золотым стандартом предоперационной диагностики, но имеет высокую вариабельность и может давать неопределенные результаты [2, 3]. Хирургическое вмешательство на щитовидной железе, одной из целей которого является получение морфологического материала для дальнейшего гистологического исследования, позволяет в подавляющем большинстве случаев окончательно определить характер патологического процесса, но может привести к негативным последствиям, непосредственно связанным с проведением оперативной агрессии. Для исключения неоправданных хирургических вмешательств необходимы быстрые и точные методы ранней диагностики рака щитовидной железы, среди которых популярность набирают инструменты на основе искусственных нейронных сетей, с помощью которых можно обрабатывать данные ультразвуковых, радиологических и цитологических исследований [4].

Для цитологической диагностики привлекательны сверточные нейронные сети (СНС), которые хорошо распознают формы и текстуры на изображениях и классифицируют их с высокой точностью и чувствительностью [5]. Такие нейронные сети автоматически анализируют важные детали изображений без необходимости аннотирования диагностических признаков со стороны специалиста, что делает процесс идентификации и классификации более эффективным. СНС анализируют изображения с помощью фильтров (матриц небольших размеров, 3×3 или 5×5), которые перемещаются по растровой сетке и создают карты признаков посредством матричных операций (сверток). После этого выполняется пулинг – процесс, который обеспечивает уменьшение размерности карты признаков с селекцией наиболее значимых. Операции свертки и пулинга повторяются многократно, уточняя и конкретизируя признаки, которые нейронная сеть может распознать. Затем карта признаков преобразуется в одномерный массив данных и передается в блок с полносвязными нейронными слоями, который выполняет классификацию изображения. Подробное описание принципов работы СНС при анализе цитологических изображений представлено в обзорах [6, 7].

В последние годы активизировалось проведение исследований по использованию СНС для классификации заболеваний щитовидной железы по микрофотографиям цитологических препаратов. P. Sanyal et al. создали СНС для классификации папиллярного рака щитовидной железы (РЩЖ) по микрофотографиям препаратов ТАПБ [8]. Датасет из 370 микрофотографий с разрешением 512×512 пикселей был разделен на два класса: папиллярный рак и доброкачественные узловые образования. Сеть достигла следующих результатов: общая точность – 85,1 %, чувствительность – 90,5 %, специфичность – 83,3 %. Q. Guan et al. использовали нейросетевые архитектуры VGG-16 и Inception-v3 для идентификации папиллярного рака по микрофотографиям. Наилучшие результаты показала сеть VGG-16: общая точность – 97,7 % (95 % на уровне пациентов), чувствительность – 100 % и специфичность – 94,9 % [9].

Группа исследователей из США провела цикл работ по автоматизации диагностики патологии щитовидной железы по цитологическим микрофотографиям [10–13]. Они предложили использовать тандем нейронных сетей на основе архитектуры VGG11. Первая сеть определяла информативные области фолликулярных клеток на препаратах, а вторая анализировала их и формировала прогноз о классификационной категории Bethesda и доброкачественности или злокачественности узлового образования. Система достигла точности 90,8 %, чувствительности – 92,0 %, специфичности – 90,5 % и AUC – 0,932.

W. Duan et al. предложили автоматизированную систему диагностики на основе двух модулей СНС для автоматического скрининга РЩЖ по цельнопрепаратным изображениям [14]. Авторы использовали нейросетевые архитектуры YOLOv4 для обнаружения диагностически значимых областей, а EfficientNet для бинарной классификации. Такая система достигла общей точности классификации 81,8 %.

M.M.A. Alabrak et al. разработали архитектуру СНС для диагностики патологий щитовидной железы IV категории Bethesda [15]. Категория включает фолликулярную аденому и рак, которые сложно различить цитологическим методом. Для обучения модели использовали 886 микрофотографий, из которых 527 – аденома, 359 – рак. Точность модели составила 78,0 %, чувствительность – 88,4 %, специфичность – 64 %, AUC – 0,87.

M. Hirokawa et al. на момент написания статьи провели самое масштабное исследование по применению СНС для классификации девяти типов патологий щитовидной железы [16]. Использовалась архитектура EfficientNetV2-L, обученная на 148 395 фрагментарных изображениях препаратов ТАПБ из 393 узловых образований. Большинство категорий эффективно классифицировались (AUC>0,95) за исключением низкодифференцированного и медуллярного рака. Разработанная модель также успешно дифференцировала фолликулярную аденому от фолликулярного рака.

N.T. Duc et al. сравнивали эффективность нейросетевых архитектур ResNet, DenseNet и Inception для выявления папиллярного рака по микрофотографиям препаратов жидкостной цитологии ThinPrep [17]. Для формирования датасета использовалось 367 микрофотографий, из которых 222 случая папиллярного рака и 145 доброкачественных узловых образований. Наилучшие показатели были достигнуты с использованием архитектуры DenseNet161: общая точность составила 95,6 %, чувствительность – 97,3 %, специфичность – 94,1 %. Для повышения точности авторы применили метод ансамблевого обучения с использованием классификатора AdaBoost, который позволил увеличить точность до 99,7 %.

Целью исследования явилась оценка эффективности разработанной авторами модели СНС для автоматизированной диагностики папиллярного рака и доброкачественных узловых образований щитовидной железы, обученной на базе микрофотографий препаратов ФГБУ «ИНВХ им. В.К. Гусака» Минздрава России. Насколько нам известно, это первое исследование по применению СНС для классификации цитологических препаратов ТАПБ щитовидной железы, проведенное в Российской Федерации.

Материал и методы

Для обучения нейронной сети использовался архив препаратов ТАПБ, собранных цитологом учреждения при выполнении диагностики различных патологий щитовидной железы. Использовались препараты пациентов, которым проводилась ТАПБ узлов щитовидной железы в период с 5 октября 2020 г. по 28 декабря 2023 г. Перед процедурой ТАПБ от всех пациентов было получено письменное информированное согласие на медицинское вмешательство. Биопсия проводилась иглами калибра 21G под контролем УЗИ. Препараты были окрашены по методу Май–Грюнвальда–Романовского и оцифрованы с использованием фотокамеры смартфона Samsung SM-J600F/DS, установленной на микроскоп Leica DMLS с помощью специальной насадки, при ×100, ×200 и ×400. Для формирования датасета из общего архива отбирались микрофотографии препаратов пациентов, в отношении которых проводилось оперативное вмешательство для подтверждения гистологическим методом заключения цитолога. Все фотографии обрезали до квадратной формы, выделяя области с наибольшим диагностическим

Рис. 1. Примеры микрофотографий из датасета, используемого для обучения сверточной нейронной сети.

1А, 1Б, 1В, 1Г – папиллярный рак; 2А, 2Б, 2B, 2Г – доброкачественные узловые образования. Препараты мазков ТАПБ окрашены по методу Май–Грюнвальда–Романовского. Исходные фотографии получены при ×100, ×200 и ×400 с использованием микроскопа Leica DMLS, затем обрезаны до квадратной формы и масштабированы до размера 224×224 пикселей. Примечание: рисунок выполнен авторами

Fig. 1. Examples of microphotographs from the dataset used to train the convolutional neural network. 1A, 1B, 1C, 1D – papillary carcinoma; 2A, 2B, 2C, 2D – benign nodules. Fine-needle aspiration biopsy specimens were stained using the May–Grunwald–Romanovsky method. The original photographs were taken at ×100, ×200 and ×400 magnifications using a Leica DMLS microscope, then cropped to a square shape and scaled to 224×224 pixels. Note: created by the authors

интересом, а затем масштабировали до размера 224×224 пикселей. Решение использовать нечетко стандартизованные микрофотографии (исходно полученные при серии увеличений, и из которых затем были сформированы квадратные диагностические фрагменты разных размеров) обосновано предположением о том, что модель СНС, обученная на таком датасете, сможет лучше адаптироваться к различным условиям и вариациям реальных клинических данных, распознавая широкий спектр микроскопических признаков патологии щитовидной железы [8].

Итоговый датасет содержал 2 364 микрофотографии от 212 пациентов (38 мужчин и 174 женщины в возрасте от 18 до 84 лет, медиана – 55 лет). Количество микрофотографий на одного пациента варьировало от 1 до 42 (медиана – 10). Набор данных включал две категории патологий: 1 597 микрофотографий папиллярного рака (ПР) и 767 микрофотографий доброкачественных узловых образований (ДУ) (рис. 1).

Микрофотографии ПР имели основной цитологический признак – высокую клеточность. Клетки формировали папиллярные, солидные, микрофолликулярные структуры, монослойные кластерные комплексы, смешанные структуры, содержащие специфические внутриядерные инклюзии и признаки плоскоклеточной метаплазии, и были отнесены цитологом к категориям V или VI в соответствии с системой отчетности Bethesda

• [18] . Микрофотографии ДУ включали случаи коллоидного зоба и фолликулярных узлообразований, соответствовали категории II в системе Bethesda и содержали образцы с достаточной клеточно-стью. Они характеризовались наличием микро-нормофолликулярных структур и коллоида.

Для классификации ПР и ДУ была разработана СНС на языке программирования Python, с использованием библиотеки с открытым исходным кодом TensorFlow 2.15.0. Модель СНС состояла из нескольких типов последовательных вычислительных слоев (рис. 2): 1) слоя нормализации, который преобразует значения пикселей изображения, чтобы они находились в диапазоне от 0 до 1, что помогает ускорить обучение и улучшить сходимость модели; 2) слоев случайных преобразований к изображениям (изменений контрастности, отражения по горизонтали и вертикали, а также вращения изображений) для улучшения обобщающей способности модели; 3) сверточных слоев для извлечения признаков из изображений, в каждом из которых используется ReLU (Rectified Linear Unit) в качестве функции активации для введения нелинейности в модель; 4) слоев пулинга, которые после каждого сверточного слоя применяются для уменьшения размерности карты признаков и сохранения наиболее важных признаков; 5) слоев отсева, которые случайным образом обнуляют выходы некоторых нейронов во время обучения для предотвращения переобучения модели; 6) полно-

Рис. 2. Архитектура используемой в исследовании сверточной нейронной сети. 5 слоев предобработки (не показаны на схеме), по 5 последовательных слоев свертки (Conv), пулинга (MaxPool) и отсева выходных данных (Dropout), 1 слой разворачивания тензора признаков изображения в одномерный массив (Flattening), 2 полносвязных слоя для итоговой классификации. Цифрами обозначены размеры тензоров входных данных изображения на каждом вычислительном слое.

Примечание: рисунок выполнен авторами

Fig. 2. Architecture of the convolutional neural network. 5 layers of preprocessing (not shown in the diagram), 5 consecutive layers of convolution (Conv), pooling (MaxPool) and elimination of output data (Dropout), 1 layer of unfolding the image feature tensor into a onedimensional array (Flattening), 2 fully connected layers for final classification. The numbers indicate the sizes of the input image data tensors on each computational layer. Note: created by the authors

связных слоев, которые объединяют извлеченные признаки и классифицируют изображение.

Датасет был разделен на обучающую и тестовую выборки в соотношении 80/20: 1 892 микрофотографии в обучающей выборке и 472 в тестовой. При обучении модели использовался оптимизатор Adam, а в качестве функции потерь была выбрана бинарная кросс-энтропия, соответствующая задаче бинарной классификации. Были определены параметры обучения модели, включая размер пакета (batch size), который был установлен на уровне 96, и количество эпох, равное 200. Размер пакета обозначает количество изображений, обрабатываемых моделью за один раз перед обновлением ее параметров, а эпоха обучения представляет собой полный проход по всей обучающей выборке. Поскольку в датасете имеется дисбаланс классов (случаев ПР больше, чем ДУ), специальным программным методом библиотеки Tensorflow были вычислены весовые коэффициенты классов и переданы в качестве параметра при вызове функции обучения модели. Такой подход позволяет минимизировать влияние различных значимостей каждого класса и улучшить обобщающую способность модели.

Обучение СНС проводили на веб-платформе Kaggle c использованием графического процессора NVIDIA Tesla P100. В процессе обучения модель была настроена на минимизацию функции потерь, а затем ее производительность оценивалась на тестовой выборке. Такой подход позволяет проверять обобщающую способность модели на независимых данных. Показателем, используемым для оценки производительности модели во время обучения, была общая точность (accuracy). Для полной оценки производительности модели на тестовой выборке вычисляли матрицу ошибок (confusion matrix) и дополнительные показатели:

точность (precision), полноту (recall), чувствительность (sensitivity) и оценку F1 (F1-score).

Результаты и обсуждение

Процесс обучения разработанной СНС состоял в итеративном прохождении пиксельных данных изображения через слои сети и формировании классификационного прогноза. Затем выполнялось сравнение прогноза сети и истинного значения, и на основе этого сравнения вычислялась ошибка. После этого ошибка распространялась обратно по сети, корректируя параметры фильтров и весовые коэффициенты связей между нейронами таким образом, чтобы минимизировать ошибку. В нашем исследовании этот процесс повторялся на протяжении 200 эпох на обучающей выборке изображений, позволяя сети «научиться» дифференцировать цитологические признаки ПР от признаков ДУ. Динамика обучения СНС представлена на рис. 3.

Наблюдалось постепенное снижение значений функции потерь на обучающем и тестовом наборах данных в течение эпох обучения, что свидетельствует об успешном обучении модели и улучшении ее прогностической ценности. График изменения общей точности демонстрирует соответствующее увеличение точности модели в процессе обучения. По завершении финальной эпохи обучения параметры модели сохранялись в соответствии с наилучшими показателями точности. На обучающей выборке модель достигла общей точности в 90 %, что свидетельствует о хорошей способности к правильной классификации микрофотографий внутри обучающей выборки. На тестовой выборке общая точность составила 87,5 %, что подтверждает обобщающую способность модели на новых данных.

После применения обученной модели СНС к тестовому набору данных были построены матрицы

Рис. 3. Динамика общей точности классификации и функции потерь сверточной нейронной сети на обучающей и тестовой выборках микрофотографий в процессе обучения. Примечание: рисунок выполнен авторами Fig. 3. Dynamics of the accuracy and loss function of a convolutional neural network on training and testing microphotograph samples during training. Note: created by the authors

Рис. 4. Матрицы ошибок классификации на уровне отдельных микрофотографий (А) и на уровне пациентов (Б).