Распознавание микроскопических изображений пыльцевых зерен с помощью сверточной нейронной сети VGG-16

Yu.B. Kamalova, , N.A. Andriyanov, , Financial University under the Government of the Russian Federation, Moscow, Russia

Применение методов машинного обучения на основе глубоких нейронных сетей показало высокую эффективность и точность в решении различных задач, таких как распознавание изображений на фотографиях, полученных с помощью оптического микроскопа.

В настоящее время методы машинного обучения легли в основу приложений для классификации объектов, обеспечивая высокоточные результаты для крупномасштабных наборов данных с несколькими классами [1].

Технологии машинного обучения применяются для решения задач распознавания микроскопических изображений различных биологических объектов, в том числе пыльцевых зерен.

Классификация видов и типов пыльцы является важной задачей во многих областях, таких как судебная палинология, археологическая палинология и мелиссопалинология [2].

Автоматизация классификации пыльцевых зерен окажет большое влияние на разработку недорогих инструментов для аэробиологов.

Пчеловодство – это искусство выращивания пчел с целью добиться от этой отрасли максимальной производительности при минимальных затратах. К продуктам пчеловодства относят воск, пыльцу, мед, прополис и маточное молочко.

Развитие и автоматизация технологий пчеловодства способствует развитию животноводства и защите окружающей среды (апимониторинг).

В наше время задача распознавания пыльцевых зерен актуальна из-за отсутствия всеобщей международной базы данных пыльцевых зерен, которая могла бы пополняться.

Пыльцевой анализ меда используется для дифференциации цветочного источника, который используют пчелы, периода сбора урожая и геоклиматических условий различных регионов, палеоклиматической реконструкции [3].

Необходимость автоматизации классификации изображений зерен пыльцы обусловлена тем, что пыльцевой анализ меда должен производиться по ГОСТ 31769–2012 «Мед. Метод определения частоты встречаемости пыльцевых зерен» [4], согласно которому количество пыльцевых зерен в различных видах медов регламентировано.

Количество пыльцевых зерен определяется в палинологической лаборатории оператором вручную, что допускает вероятность совершения различного рода ошибок и медленность процесса. Для экономии времени и энергии, для большей эффективности процесса классификации необходима его автоматизация.

Цель работы – анализ эффективности и точности классификации микроскопических изображений пыльцевых зерен с помощью трансферного обучения сверточной нейронной сети VGG-16.

Цель машинного обучения состоит в том, чтобы обучить алгоритм с переменными параметрами для принятия правильного решения по заданной задаче.

Глубокое обучение является такой областью машинного обучения, которая направлена на получение определенных знаний на основе примеров. Обучение с учителем, распространенное в задаче классификации, происходит таким образом, что разработчик не задает правила для решения задачи, а предоставляет модель, с помощью которой компьютер сравнивает примеры, и, помимо этого, задаются определенные инструкции для модификации на случай ошибки. С каждым обучением модель должна улучшиться так, чтобы как можно более точно решать поставленные задачи.

На основе анализа просмотренных работ можно сделать вывод: среди применяемых систем наибольшую актуальность имеют многослойные сверточные нейронные сети. Однако модификация, цели и способы применения или, говоря другими словами, приложения данного инструмента различаются от эксперимента к эксперименту.

Целью рассмотренных работ [5–14] по распознаванию пыльцы является повышение точности классификации пыльцевых зерен.

Автоматизация анализа пыльцевых зерен зависит от создания выборок изображений, содержащих множество экземпляров разных видов, классифицированных экспертами. Эта задача требует больших усилий и должна выполняться в подходящих условиях с использованием специального оборудования, такого как оптический микроскоп и предметные стекла.

В 2020 году состоялось соревнование Pollen Grain Classification Challenge [15, 16], для которого была разработана база данных пыльцевых зерен Pollen 13K примерно с 13 тысячами изображений пыльцевых зерен в пяти различных категориях из аэробиологических образцов [17]. Pollen13K содержит более 12 тысяч изображений пыльцевых зерен, включая примеры «помех», таких как пыль, пузырьки воздуха на подложках и другие.

Самой перспективной для использования в целях обучения и тестирования нейронных сетей является Pollen13K.

Методика проведения эксперимента

На основе предоставленных Лабораторией цитогенетики и генетических ресурсов растений кафедры ботаники и генетики растений Пермского государственного университета микроскопических снимков пыльцевых зерен (в частности, профессором Л.В. Новоселовой) были сформированы обучающая и проверочная выборки из образцов трех типов.

Структура выборки представлена в табл. 1.

На рис. 1 представлены примеры изображений каждого класса.

Таблица 1

a)

b)

c)

Распределение выборок

Table 1

Sample distribution

Класс	Тип выборки
	Обучающая	Тестовая	Всего
1 – тип Липа	160	40	200
2 – тип Подсолнечник	286	18	304
3 – тип Одуванчик	1143	286	1429

Рис. 1. Примеры изображений: a – пыльцевое зерно Липы, b – пыльцевое зерно Подсолнечника, c – пыльцевое зерно Одуванчика

Fig. 1. Sample images: a – Linden pollen, b – Sunflower pollen, c – Dandelion pollen

Будем выполнять трансферное обучение с помощью нейронной сети VGG-16 [18]. Данная сеть имеет 13 сверточных слоев, группируемых в 5 блоков с пулингом и 3 сглаживающих слоя на выходе. Поскольку применяется трансферное обучение, то количество эпох обучения можно выбрать небольшим. По сути, у сети меняются только сглаживающие выходные слои, а извлечение признаков остается, как в классической модели. Поэтому используется всего 10 эпох обучения. Другие гиперпараметры – регуляризация Drop Out [19] с вероятностью 50 %, метод оптимизации – ADAM, функция активации – sigmoid, функция потерь – кросс-энтропия, размер батча – 32 изображения. Результаты обучения (в смысле метрики достоверности accuracy и целевой функции кросс-энтропии) представлены на рис. 2. Здесь красным показаны характеристики для обучающей выборки, а зеленым – для тестовой.

Рис. 2. Процесс обучения модели без аугментации

Fig. 2. The process of training the model without augmentation

Анализ представленного рис. 2 показывает, что, несмотря на достаточно быструю сходимость модели, результаты получаются неудовлетворительными. Это связано с тем, что в качестве функции активации используется сигмоида. Кроме того, сильное различие показателей на тесте и обучении (больше 50 %) может свидетельствовать о переобученности модели.

Чтобы бороться с данным эффектом, будем использовать технологии аугментирования [20]. Вкратце данная технология позволяет на основе обучающей выборки искусственно сгенерировать дополнительные изображения для каждого класса, что потенциально обеспечивает уход модели от переобучения. Аугментация будет применяться на уровне батча. Наконец, изменим функцию активации на softmax. Процесс обучения такой модели показан на рис. 3.

Рис. 3. Процесс обучения модели с аугментацией

Fig. 3. The process of training a model with augmentation

Как видно из рис. 3, удалось значительно повысить метрику accuracy на тестовой выборке. Она составила порядка 80 %. В связи с несбалансированностью датасета (см. табл. 1) дополнительно рассмотрим другие метрики данной модели. Результаты оценки точности (precision) и полноты (recall) представлены в табл. 2.

Метрики эффективности

Performance Metrics

Таблица 2

Table 2

Истинные значения	П	рогнозные значения		Точность	Полнота
	Липа	Подсолнечник	Одуванчик
Липа	28	3	9	0,4	0,7
Подсолнечник	3	9	6	0,3913	0,5
Одуванчик	39	11	236	0,94024	0,82517

Таким образом, видим, что наиболее хорошо модель научилась работать с одуванчиками. Это связано с тем, что таких примеров было гораздо больше в обучающей выборке.

Заключение

В проведенном исследовании было выполнено трансферное обучение модели сверточной сети VGG-16 для решения задачи распознавания пыльцы. За счет настройки гиперпараметров модели и использования аугментаций удалось достичь доли верных распознаваний порядка 80 %. При этом в связи с разным количеством обучающих примеров частные характеристики по классам несколько отличаются. Так, максимальные точность и полнота достигают 94 и 83 % соответственно для типа Одуванчик. В будущем планируются исследования для применения аугментации в качестве предобработки для создания сбалансированной выборки.