Применение нейронных сетей для распознавания хитинозой на изображениях

Хитинозои — вымершая группа микроорганизмов неизвестного систематического положения, используется для определения возраста вмещающих осадочных отложений. Они представляют собой мелкие органостенные микрофоссилии от 40 до 1500 мкм с радиальной симметрией. В биостратиграфии ордовикских и силурийских морских отложений хитино-зои используют наравне с конодонтами и граптоли-тами.

Исследование микрофоссилий начинается с дезинтеграции породы и выделения нерастворимого органического остатка. Из полученного остатка достаются единичные микрофоссилии, в дальнейшем проводится их изучение с помощью световой и электронной микроскопии. В результате накапливается большое количество фотографий, требующих индивидуальной обработки в графических редакторах и последующего анализа. Совместно с хитинозоями встречаются и другие группы микро- и макрофоссилий. Требуется ручной отбор нужного материала для фотографирования, определение и палеонтологическое описание везикул (единичных организмов) хитинозой на основе полученных изображений микропроблематики.

Несмотря на то, что хитинозои являются признанной группой для определения возраста отложений силура и ордовика, они считаются проблематичными — неизвестна их точная биологическая принадлежность к царству животных или растений (Paris, Nolvak, 1999). Искусственная биологическая классификация хитино-зой построена на морфологических признаках — строении пробки/оперкулума, форме везикулы и морфологии стенки (Paris, 2006). Несомненным плюсом для использования хитинозой в качестве модельной груп-

пы органики на данный момент является их классификационная иерархия, где виды объединяются в 56 родов, которые относятся всего к трем семействам и объединяются в два отряда (Paris, Nolvak, 1999). Возможно последовательное решение задачи определения изображений от семейства и подсемейства к роду и виду — при видовом описании палеонтологи следуют данному алгоритму. Еще одним аргументом в пользу использования хитинозой является то, что даже поврежденные и частично разрушенные везикулы из-за радиальной симметрии могут виртуально достраиваться до полной формы, если сохранилась некоторая часть или фрагменты везикулы по оси симметрии. Для конодонтов, граптолитов и других важных для биостратиграфии ордовика и силура групп, не имеющих такой особенности, подобный подход (достраивание формы) невозможен. Решение данной проблемы является нетривиальной задачей и требует отдельного этапа работ.

Современные программные и технические возможности позволяют нейронной сети анализировать и классифицировать изображения в разных областях человеческой деятельности, например в медицине (Гусев, 2017; Gardner et al., 2023), в литологии (Журавлев, Груздев, 2024). Опубликованы работы по распознаванию изображений палеонтологических объектов: фо-раминифер (Gorur et al., 2023), радиолярий (Ruikar, Agrawal, 2019), спор и пыльцы (White, 2020) и раковинной фауны (Marmo et al., 2006). Автоматизация подготовки, обработки и распознавания изображений палеонтологических объектов способствует существенному сокращению рутинных ручных этапов обработки информации. Увеличение производительности труда критически важно на фоне востребованности узких профильных специалистов-палеонтологов, а инновационные подходы открывают новые горизонты для изучения прошлого Земли и применения новейших методов в фундаментальных науках.

Цель данной работы заключается в создании системы для автоматизации процесса классификации хитинозой на основе их морфологических признаков.

Материалы и методы

Разработка программного обеспечения, способного автоматизировать процесс распознавания хити-нозой на изображениях, проходила в несколько этапов. На первом этапе набирался обучающий и тестовый набор данных, включающий 2955 СЭМ-изображений (СЭМ — сканирующий электронный микроскоп) хити-нозой. Дополнительно было подготовлено 3484 фотографии других микрофоссилий. В ходе эксперимента было выяснено, что изображений для проверки и обучения нейронной сети недостаточно из-за сильного дисбаланса классов (недостаточно изображений в каждой категории и их количество отличается в два-три раза). Набор данных, необходимый для обучения нейронной сети, расширили, используя существующие изображения, для чего в часть изображений были внесены изменения: некоторые были повернуты на определенный угол, часть изображений кадрировалась по случайным параметрам. Созданные новые изображения вошли в ту же базу данных. Вышеописанные действия называются «аугментацией данных». Набор данных дополнили также изображениями из других источников, до 5000 в каждой категории.

После объединения данных были удалены изображения, содержащие ложные признаки, в частности, среди изображений хитинозой присутствовали фотографии с белым фоном, которые модель приняла за признак, так как у «нехитинозой» белого фона не было. Были убраны рамки, линейки и другие элементы, мешающие распознаванию. Все изображения были приведены к градациям серого и лишены цветовой информации (рис. 1).

a

Рис. 1. Изображения из набора данных: a —хитинозои: 1 — оптическое фото в проходящем свете, 2—9 — СЭМ-изображения; b — другие микрофоссилии

Fig. 1. Images from the dataset: a — chitinozoans: 1 — optical photo in transmitted light, 2—9 — SEM images; b — other microfossils

Математическая постановка задачи выражалась в решении задачи бинарной классификации и построении функции классификации, предсказывающей, к какому классу принадлежит изображение ископаемого по входному вектору признаков — «хитинозоа» либо «нехитинозоа».

Для системы распознавания изображений была выбрана архитектура свёрточной нейронной сети (CNN) (рис. 2).

Выбор свёрточной нейронной сети для распознавания изображений обусловлен её способностью эффективно обрабатывать визуальные данные и сравнительно высокой точностью в классификации изображений (Tan, Quoc, 2021).

Была выбрана модель EfficientNetV2B0, так как она принадлежит к семейству EfficientNetV2, улучшающему исходную серию EfficientNet. EfficientNetV2 — семейство более мелких и быстрых нейронных сетей для распознавания изображений. По сравнению с Effi- cientNet и более поздними разработками, EfficientNetV2 обучается до 11 раз быстрее, будучи при этом в 6.8 раза меньше (Tan, Quoc, 2021).

Stem-блок — начальная часть модели, включающая несколько сверток и активирований, оптимизированных для быстрого извлечения признаков (рис. 3).

Сетевые стадии включают последовательность блоков MBConv и Fused-MBConv. Каждый блок состоит из свёрточного слоя, за которым следует активация, и завершается блок нейронной сети слоем пакетной нормализации.

В отличие от обычных MBConv, Fused-MBConv-блоки совмещают свёртки и нормализацию в одном шаге, что помогает увеличить эффективность модели.

В конце сети используется глобальное усреднение для снижения размерности признаков перед передачей в окончательный полносвязный слой для предсказания классов.

Входное изображение

Ядро свертки -матрица из весов, например, размером 5x5

Свертка - проход ядром свертки по всем нейронам нижнего слоя для активации нейронов верхнего слоя -получение карты признаков (feature maps).

Для ядер разного типа получаются разные карты признаков

Подвыборка -операция уменьшения размерности. Чаще всего - выбор максимума или поиск среднего по нескольким соседним нейронам

Input Image (Class 1)

Рис. 2. Архитектура свёрточной нейросети в общем виде (LeCun et al., 1995)

Fig. 2. General architecture of a convolutional neural network (LeCun et al., 1995)

Binary Classification

Fully Connected

7x7x1280

Fig. 3. Architecture of the neural network EfficientNetV2B0

Таблица 1. Конфигурация EfficientNetV2B0

Table 1. EfficientNetV2B0 configuration

Этап / / Stage	Блоки / Blocks	К. выхода / Outputs
Stem	Conv3x3	32
Стадия 1 / Stage 1	Fused-MBConv	16
Стадия 2 / Stage 2	Fused-MBConv	32
Стадия 3 / Stage 3	Fused-MBConv	48
Стадия 4 / Stage 4	MBConv	96
Стадия 5 / Stage 4	MBConv	112
Стадия 6 / Stage 6	MBConv	192
Классификация / Classification	Conv1x1, Global Pooling, FC	1280

Таблица 2. Отчет классификации оценочных данных

Table 2. Validation data classification report

Название класса Name of class	Количество изображений в классе Number of images in class	Распознано верно Recognized correctly	Распознано неверно Recognized incorrectly	Точность Accuracy
Хитинозои Chitinozoans	737	729	8	99 %
Нехитинозои Non-chitinozoans	876	862	14	98.4 %

Таблица 3. Точность распознавания по классам на тестовом наборе данных

Table 3. Recognition accuracy by classes on the test data set

Название класса / Name of class	Количество изображений в классе Number of images in class	Точность / Accuracy
Хитинозои / Chitinozoans	239	98.9 %
Нехитинозои / Non-chitinozoans	294	98.4 %

Для реализации обучения и распознавания использовались: IDE Visual Studio Code 1.90.2, язык программирования Python 3.11.6, платформа Kaggle Code. Исходные размеры используемых изображений не являются важными для распознавания, так как перед подачей на вход нейросети они приводятся к единому размеру. Количество извлекаемых характеристик или признаков соответствует количеству выходных фильтров каждого блока модели. В данной модели их от 16 до 1280 (табл. 1)

По результатам обработки и классификации изображений из проверочных и оценочных данных была проведена оценка эффективности (табл. 2).

По отчету о классификации данных можно сделать вывод, что модель чуть хуже классифицирует хи-тинозои по сравнению с нехитинозоями. Это может указывать на то, что класс изображений хитинозой визуально менее разнообразен, чем класс нехитинозой, но так как в каждом классе достаточно большое количество изображений, ошибка очень мала, а точность модели составляет 98 %.

На конечном этапе проводилась оценка точности работы системы с использованием тестового набора данных, не участвовавших в обучении нейронной сети (табл. 3).

Высокая точность достигается благодаря большому количеству параметров модели нейронной сети и достаточному количеству изображений для обучения — 4826.

Ошибочные определения хитинозой как нехити-нозой связаны с ограничением самих нейросетей и зависимостью от выбора обучающих данных (рис. 4).

Данные изображения хитинозой (на рис. 4) не были определены как хитинозои, так как на них при- 38

Рис. 4. Хитинозои, определенные как нехитинозои

Fig. 4. Chitinozoans defined as non-chitinozoans сутствует только часть исходного изображения. Из-за ограничений нейронной сети в формате входных данных она работает с изображениями строго размером 224 на 224 пикселя. Изображения меньшего размера дополняются цветами соседних пикселей, которые на большинстве изображений представлены чёрным или серым. Изображения большего размера обрезаются, из-за чего нейронная сеть ошибочно относит их к другому классу. Данная проблема может быть решена путём уменьшения разрешения исходного изображения.

Выводы

Современные нейронные сети применяются для распознавания изображений в разных областях фундаментальных и прикладных наук (Гусев, 2017; Журавлев, Груздев, 2024; Gorur et al., 2023; Marmo et al., 2006; Ruikar, Agrawal, 2019; White, 2020) и впервые были использованы для распознавания изображений хитинозой.

Создание инновационного решения, которое интегрирует передовые методы компьютерного зрения и машинного обучения для автоматизированного распознавания изображений микрофоссилий на примере хитинозой, на первом этапе показало хорошие результаты. Эффективность разработанных методов была подтверждена на тестовом наборе данных. Тестирование показало высокую точность алгоритма распознавания, равную 98 %.

Продолжение работ по созданию системы анализа изображений и определения хитинозой включает следующие этапы.

После решения задачи определения объекта и отнесения его к классу хитинозой потребуется отнесение изображений выбранных хитинозой к одному из трех семейств. Следующим этапом будет отнесение изображения к подсемейству, а затем и к роду. Финальный этап применения нейросетей предполагает автоматизированное определение изображения до вида и решение задачи анализа изображений неполных (поврежденных, деформированных) везикул хитинозой. Для данных преобразований потребуется применение не только сверточной сети (CNN), но и генеративно-состязательной сети (GAN) для воссоздания отсутствующих фрагментов везикулы.

Авторы выражают глубокую признательность Г. Р. Шахмаметовой за разработку методики и ценные замечания к статье.

Публикация выполнена по государственной программе FMRS-2022-0010 «Фундаментальные исследования. Основные события фанерозоя: палеонтология, стратиграфия, корреляция».