Применение сиамских нейронных сетей для классификации биомассы растений по визуальному состоянию

Бесплатный доступ

В настоящей статье предложен метод классификации биомассы растений по визуальному состоянию с использованием изображений, снятых в специально сконструированной теплице, и технологий искусственных нейронных сетей Сиамской архитектуры. Определены критерии различных состояний биомассы растений. Сформирован собственный набор данных для обучения Сиамских нейронных сетей, содержащий в себе образцы состояний биомассы в форме текстур. В результате была получена точность при обучении в 91.6% и средняя точность классификации отдельных состояний биомассы в 73.6%.

Сиамские нейронные сети, набор данных, биомасса растений, классификация

Короткий адрес: https://sciup.org/143183468

IDR: 143183468   |   DOI: 10.25209/2079-3316-2024-15-3-53-74

Текст научной статьи Применение сиамских нейронных сетей для классификации биомассы растений по визуальному состоянию

На сегодняшний день, в сфере информационных технологий широкое распространение получает использование искусственных нейронных сетей (ИНС). Одним из наиболее популярных направлений применения ИНС является обработка изображений. Обработка и анализ изображений может затрагивать различные сферы жизнедеятельности людей, в том числе и

Y-4.0

сельское хозяйство (выращивание различных растений). Применение ИНС для анализа внешнего вида и состояния растений поможет в последствии автоматизировать процесс выращивания растений, что в свою очередь станет неотъемлемой частью автоматических систем для ухода за растениями.

В работе [1] авторы использовали глубинные нейронные сети для оценки динамики роста растений, в частности технологию Social LEAP Estimates Animal Poses (SLEAP) 1 . Оценка происходила по кадрам небольших видеороликов и охватывала различные параметры растений от внешнего вида и формы кроны до условий освещения. В итоге авторы сделали вывод о том, что технология SLEAP достаточно точно отслеживает рост растения в боковой проекции, но имеет проблемы с видом сверху из-за перекрытия листьев.

Работа [2] также посвящена анализу роста растений. В данной работе авторы анализировали рост различных видов салата и использовали несколько архитектур свёрточных нейронных сетей (СНС) таких, как: FFN N2 и BiLST M3. Исследование предполагало периодический сбор изображений растений в течении 4-х недельного периода. Всего для обучения нейронных сетей было собрано 443 изображения трех сортов салата. В результате, авторам удалось добиться точности по R 24 до 80%. Авторы отмечают, что на итоговую точность повлияло малое количество изображений.

Кроме анализа роста растений, СНС используется и для их классификации. Например, в работе [3] используется нейросетевую модель CNN-DFLC, которая предназначена для анализа структуры листьев растений и выполнения классификации. В данном исследовании для обучения СНС был использован набор данных VNPlant-200 [4] , состоящий из 20000 изображений в 200 классах. Таким образом, авторами была получена средняя точность классификации равная 96,42%.

Другой вид анализа растений предполагает нахождение и классификацию их болезней. Работа [5] представляет собой обширный обзор различных методов определения и классификации болезней растений, в том числе с использованием СНС. В данном обзоре уделяется внимание болезням, поражающим 11 различных растений, которые можно детектировать визуально. Приведено описание и классификация болезней растений и факторов их возникновения. В результате своего исследования, авторы сформировали ряд ограничивающих факторов для использования СНС для определения и классификации болезней растений, среди которых особенно выделяются проблемы с количеством и качеством обучающих данных/изображений.

В статье [6] описывается применение глубинных СНС для распознавания болезней листьев растений. В данном исследовании были испытаны 18 различных нейросетевых архитектур. В итоге, авторы предлагают собственную нейросетевую модель PlaNet, точность которой сравнима с аналогами и составляет 96.86%.

Аналогичная работа представлена в [7] . Здесь авторы также используют нейронные сети глубокого обучения для классификации болезней листьев растений. В этой статье исследуется новая модель СНС с несколькими автоматическими экстракторами признаков, а именно СНС плотного слияния (DFNet). В качестве средства извлечения признаков использовались модели MobileNetV 25 и NASNetMobil e6. Предложенный метод был протестирован на наборах данных болезней листьев кукурузы и кофе, где была достигнута точность в 97.53% и 94.65% соответственно.

Также технологии нейронных сетей применяются для оценки биомассы растений. Например, в статье [8] рассматривается применение двух методов машинного обучения (многомерная регрессионная сет ь7 и нейронная сеть на основе ResNet-5 08) для прогнозирования роста биомассы растений. В данной работе авторы используют набор данных, сформированный из изображений 57 растений, снятых с двух разных ракурсов в течение пяти дней. В итоге наилучшие оценки биомассы были получены с помощью многомерной регрессионной сети, что дало среднеквадратичную ошибку 0.0466. Наилучшие оценки относительной скорости роста были получены с помощью сети ResNet-50, что дало среднеквадратичную ошибку 0.1767.

Помимо использования классических СНС, для анализа изображений растений можно использовать Сиамские нейронные сети. Сиамские нейронные сети – это особый класс нейронных сетей, основной задачей которого является не непосредственная классификация образов, а выявление сходства или различия между входными данными. К особенностям Сиамских нейронных сетей можно отнести использование относительно небольших объёмов данных для обучения.

Среди более ранних (2019 – 2020 г.) работ можно выделить [9], [10] и [11]. В данных статьях Сиамсике нейронные сети используются для классификации листьев растений, их видов и болезней. Во всех перечисленных работах была достигнута точность классификации сравнимая с точностью при использовании глубинных нейронных сетей.

Подобные исследования также представлены в статье [12] , где Сиамская нейронная сеть используется вместе с СНС для распознавания видов растений и выявления болезней. Авторы создают гибридную модель (нейросетевой ансамбль), в котором Сиамская сеть отвечает за определения вида растения, а СНС модель VGG1 69 за распознавание заболевания. Такой подход позволил увеличить точность распознавания на 13.4%–37.39% по сравнению с использованием одиночных моделей СНС.

Если рассматривать Сиамские нейронные сети в качестве инструмента для анализа изображений наряду с глубинными СНС, то можно обратиться к работе [13] . Здесь Авторы проводят исследование с целью доказать, что использование сиамских сетей может быть эффективнее с точки зрения затрат времени без потери точности классификации. В качестве подсетей использовалась сеть LeNet- 510. Обучение проводилась на наборах данных MNIS T11, Fashion-MNIS T12 и CIFAR1 013. Точность составила 99.11%, 91.65% и 81.64%, что сопоставимо с точностью при классическом использовании сети LeNet-5 при двукратном уменьшении времени обучения.

Исходя из вышеизложенного, можно сделать вывод о том, что в данный момент активно ведутся работы по применению искусственных нейронных сетей (как свёрточных, так и Сиамских) для анализа изображений растений, что подтверждает актуальность настоящей работы.

Настоящая статья посвящена разработке метода классификации биомассы растений по визуальному состоянию с использованием Сиамских нейронных сетей. Будет представлено определение визуального состояния биомассы, а также описан метод формирования обучающего набора данных. Проведено экспериментальное тестирование разработанного метода, в результате которого была достигнута средняя точность в 73.6% по метрике F-score.

1.    Постановка задачи

При проектировании систем автоматизированного ухода за растениями очень важно уделить внимание сенсорным подсистемам, которые необходимым для сбора информации об окружающей среде и о состоянии растений. Однако, однозначное определение состояния растения в каком-либо числовом эквиваленте – задача нетривиальная и не может быть решена посредством использования датчика/сенсора, как, например, определение влажности почвы или температуры воздуха.

Выходом из ситуации мог бы стать анализ внешнего вида или визуального состояния растений. Чтобы его выполнить, необходимо получить качественное изображение исследуемого растения. Однако, установка множества цифровых камер в теплицу для наблюдения за растениями финансово не выгодно, так как несёт затраты на покупку самих камер, и обеспечения их влагозащиты и электропитания. К тому же, могут появиться проблемы связанные с недостатком освещения или неверным ракурсом съёмки.

Тем не менее состояние растения – это тот показатель, который может свидетельствовать об эффективности автоматизированной системы ухода и по сути является некоторым видом «обратной связи» растения с системой. В таком случае, следует использовать не анализ внешнего вида отдельных растений, а анализ визуального состояния биомассы в целом. Для этого достаточно одной камеры установленной в верхней части теплицы, объектив которой буден направлен вертикально вниз.

Таким образом, задача настоящего исследования заключается в сег-ментации/классификации запечатлённой на снимке биомассы растений на классы, различающиеся по состояниям растения. В проведённом исследовании рассматривается только два состояния биомассы растения: «здоровое растение» и «больное растение». Следовательно, необходимо определить к какому классу относится входное изображение биомассы растения, что можно сделать, сравнив его с образцом одного из классов. Для решения подобных задач применяется специальная архитектура нейронных сетей – Сиамские нейронные сети.

Целью же настоящего исследования является получение работоспособного метода для классификации биомассы растений по визуальному состоянию с использованием технологий Сиамских нейронных сетей, для последующего применения в автоматизированных системах ухода и выращивания растений, в качестве сенсорной подсистемы. Также следует отметить тот факт, что проводимое исследование не было направленно на классификацию отдельных видов растений или распознавание их заболеваний.

2.    Критерии состояния растений

В рамках настоящего исследования рассматриваются только два крайних состояния биомассы растений: «здоровое растение» и «больное растение». Сокращение возможных состояний до двух крайних, было вызвано тем, что достаточно затруднительно однозначного дифференцировать промежуточные состояния растения на используемых изображениях (рисунок 1).

Рисунок 1. Пример используемых изображений

Критерии определения состояния биомассы были сформированы исходя из внешнего вида наблюдаемых растений. Стоит отметить тот факт, что в настоящем исследовании наблюдались растений с визуально схожим жизненным циклом, такие как: Огурец, Томат, Баклажан, Перец сладкий, Перец острый . Данные растения, находясь в оптимальном состоянии, имеют ровные листья зелёного или оттеков зелёного цвета, но при недостаточном питании или наличии иных вредоносных факторов цвет листьев изменяется в сторону жёлто-коричневых оттенков, на листьях появляются повреждения, которые можно определить визуально. Таким образом, в основном оценивался цвет и форма листьев наблюдаемых растений. Если они имели свой естественный цвет и форму без видимых изменений, то состояние биомассы растения определялось как «здоровое». Однако, если по какому-то из критериев растение не проходило, то оно считалось «больным». На рисунке 2 показан биомассы «здорового» и «больного» растения.

Определение состояния биомассы растения и соответствия его внешнего вида сформированным ранее критериям происходило в ручном режиме. Оператор с использованием специального программного обеспечения выделял участки входных изображений, которые, по его мнению, содержали биомассу «здорового» или «больного» растения. В итоге был создан набор

( а ) изображение «здорового» ( б ) изображение «больного»

растения растения

Рисунок 2. Пример «здорового» и «больного» растения изображений, содержащий примеры биомассы «здоровых» и «больных» растений. Более подробно о создании используемого набора данных будет описано в п. 4.1 настоящей статьи.

3.    Архитектура и особенности Сиамских нейронных сетей

Нейронные сети Сиамской архитектуры были впервые представлены в начале 1990-х годов в работе [14] для решения проблемы проверки подлинности подписей как задачи сопоставления изображений. Сиамские нейронные сети (Siamese Neural Network, SNN) — это класс архитектур нейронных сетей, предназначенных для сравнения и измерения сходства между парами входных выборок. Термин «сиамский» происходит от идеи, что архитектура сети состоит из парных нейронных сетей (часто свёрточных), которые идентичны по структуре и имеют одинаковый набор весовых коэффициентов. Каждая сеть обрабатывает одну входную выборку из пары, а их выходные данные сравниваются для определения сходства или различия между двумя экземплярами входных данных.

Сиамские сети предназначены для решения задач, где прямое обучение с помеченными выборками ограничено или затруднено, поскольку сеть после обучения способна различать похожие и непохожие экземпляры, не требуя явных меток классов.

Архитектура сиамской сети обычно состоит из трех основных компонентов: используемая подсеть, метрика сходства и функция ошибки (рисунок 3) .

Подсеть является основным компонентом архитектуры Сиамской сети. Она отвечает за извлечение ключевых признаков и особенностей

Рисунок 3. Пример архитектуры Сиамской нейронной сети из входных выборок. Обычно подсети представляют собой свёрточные нейронные сети, состоящие из слоёв свёртки и/или полносвязных слоёв, которые обрабатывают входные данные и создают некоторый дескриптор исследуемого объекта. Распределяя одинаковые веса между идентичными подсетями, модель учится извлекать схожие признаки и особенности для аналогичных входных данных, что позволяет эффективно их сравнивать.

Метрика сходства используется для сравнения сгенерированных дескрипторов и измерения сходства или различия между двумя входными данными. Выбор метрики сходства зависит от конкретной задачи и характера входных данных. Обычно в качестве метрики сходства используется евклидово расстояние, косинусное сходство или коэффициент корреляции.

В роли функции ошибки применяется функция контрастных потерь. Это функция, основанная на подсчёте расстояния, в отличие от более традиционных функций прогнозирования ошибки. Данная функция используется для анализа входных данных, при котором две схожие точки имеют малое евклидово расстояние, а две различные точки имеют большое евклидово расстояние.

Функция контрастных потерь высчитывается по формуле:

(1 - Y )|( Dw ) 2 + ( Y )|{max(0 ,m - D w )} 2

где Y — метка соответствия классов (0 один класс, 1 разные), m— значение предела, D W (евклидово расстояние), которое определяется по формуле:

y i G w t X ) -G w t X j} 2

где X 1 и X 2 входныые данные (изображения), G W выход сети.

Среди преимуществ Сиамских нейронных сетей можно выделить следующее:

  •    Нет необходимости в большом наборе данных для обучения. Сеть способна обучиться на небольшом наборе данных, что также позволяет компенсировать дисбаланс классов.

  •    Устойчивость к аффинным преобразованиям изображений, таким как поворот и масштабирование.

  •    Семантическое сходство. Нейронная сеть Сиамской архитектуры анализирует пространство признаков, чтобы сформировать представление о схожести/различии изображений вместо того, чтобы просто извлекать статические признаки с помощью операции свёртки.

К недостаткам Сиамских нейронных сетей можно отнести:

  • -    Требуется больше времени на обучение по сравнению с традиционными свёрточными нейронными сетями.

  • -    Не предоставляет данные о вероятности определения объекта к какому-либо классу.

  • 4.    Реализация и обучение нейронной сети Сиамской архитектуры

Для выполнения поставленных задач по классификации биомассы растений по визуальному состоянию была использована нейронная сеть Сиамской архитектуры с двумя идентичными свёрточными подсетями, которые содержат три слоя свёртки, три полносвязных слоя и имеют следующую конфигурацию:

(cnn1): Sequential

Conv2d(3, 96, kernel_size=(11, 11), stride=(4, 4))

ReLU(inplace=True)

MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)

Conv2d(96, 256, kernel_size=(5, 5), stride=(1, 1))

ReLU(inplace=True)

MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil\_mode=False)

Conv2d(256, 384, kernel_size=(3, 3), stride=(1, 1))

ReLU(inplace=True)

(fc1): Sequential

Linear(in_features=384, out_features=1024, bias=True)

ReLU(inplace=True)

Linear(in_features=1024, out_features=256, bias=True)

ReLU(inplace=True)

Linear(in_features=256, out_features=2, bias=True)

Программирование архитектуры используемой Сиамской нейронной сети, её обучение и тестирование происходили с использованием языка программирования Python и фреймворка PyTorch14. PyTorch — это фреймворк предназначенный для машинного обучения. Он включает в себя набор инструментов для работы с моделями, используется в обработке естественного языка, компьютерном зрении и других похожих направлениях.

  • 4.1.    Создание обучающего набора данных

    В свободном доступе существуют наборы данных, содержащих в себе как изображения «здоровых» растений, так и растений, поражённых каким-либо заболеванием. Одним из таких наборов данных является New Plant Diseases Datase t15 , который содержит в себе 87000 изображений в 38 классах. При проведении предварительных экспериментальных исследований, на этом наборе данных была обучена СНС. Однако, в процессе классификации отдельных растений, каких-либо адекватных результатов достичь не удалось. Вероятно, на результат повлияли различные условия съёмки. На рисунке 4 показан пример изображения Перца из набора данных New Plant Diseases Dataset и на используемых

снимках.

( а ) изображение из набора данных

(б) фрагмент из используемых снимков

Рисунок 4. Пример изображений листа Перца из набора данных New Plant Diseases Dataset и на используемых снимках

Невооружённым глазом видно отличие представленных данных. Изображение из набора более высокого качества и содержит одиночный лист растения. Тогда как на снимках из теплицы запечатлена биомасса растения, и само изображение более низкого качества. В связи с этим, было принято решении о создании собственного небольшого набора данных, содержащего образцы состояний биомассы растений.

Определение состояния биомассы растения в соответствии со сформированными ранее критериям происходило в ручном режиме, с использованием специально разработанного программного обеспечения. Данное П О16 имеет графический интерфейс пользователя, и позволяет выбрать интересуемую область изображения с помощью полигонального выделения, задать название класса и при необходимости отзеркалить полученные образцы. На рисунке 5 изображён интерфейс используемого ПО.

Рисунок 5. Интерфейс ПО Marker Image: 1 – меню для загрузки изображения; 2 – загруженное изображение; 3 – кнопка выбора директории для сохранения образцов; 4 – поле для введения названия класса; 5 – выбор метода отзеркаливания образцов; 6 – кнопка подтверждающая разметку выбранной области; 7 – поле показа координат точек полигонального выделения размеченной области; 8 – выбор цвета разметки

Созданный набор данных состоял из образцов размером 100x100 пикселей, распределённых по трём классам:

  •    «plant» фрагменты биомассы «здоровых» растений. 211 образцов;

  •    «dise» фрагменты биомассы «больных» или «умерших» растений. 219 образцов;

  •    «back» элементы фона. 222 образца.

На рисунке 6 показаны примеры образцов каждого из классов.

Предложенный набор данных не содержит изображения конкретных видов растений или их заболеваний, а скорее отражает внешний вид

( в ) класс «back»

Рисунок 6. Примеры образцов созданного набора данных текстуры17 биомассы «здоровых» и «больных» растений, а также фона.

Несмотря на то, что Сиамские сети способны адекватно обучаться при дисбалансе классов, было принято решение о балансировании классов, что потенциально может увеличить точность обучения сети. Процедура балансирования заключалась в добавлении недостающих экземпляров класса, которыми являлись зеркальные копии случайных уже существующих экземпляров. Итого в каждом классе количество экземпляров было выровнено до 230: 200 на обучение и 30 на тест.

  • 4.2.    Обучение Сиамской нейронной сети

Обучение используемой Сиамской нейронной сети происходило со следующими параметрами:

  •    batch_size: 16 размер (количество) данных, посылаемых на вход сети каждую эпоху;

  •    epochs: 100 количество эпох обучения нейронной сети;

  •    функция потерь: ContrastiveLoss функция контрастных потерь;

  •    оптимизатор: Adam один из методов оптимизации обучения, включённых в фреймворк.

  • 4.3.    Подсчёт точности обучения

На рисунке 7 приведён график изменения ошибки обучения в зависимости от эпох.

Рисунок 7. График изменения ошибки обучения

В качестве метрики подсчёта точности обучения Сиамской нейронной сети был использован показатель F-scor e18 , который высчитывается по формуле:

(1)

Fscore =

2 ∗ Recall ∗ Precision

Recall + Precision

(2)

Precision =

True Positive

True Positive + False Positive

(3)

Recall =

True Positive

True Positive + False Negative

(4)

Здесь следует ввести следующие обозначения:

True Positive(TP) истинно-положительное решение. Искомый объект обнаружен.

True Negative(TN) истинно-отрицательное решение. Объект, который не является искомым не был обнаружен.

False Positive(FP) ложно-положительное решение. Объект, который не является искомым был детектирован как искомый.

False Negative(FN) ложно-отрицательное решение. Объект, который является искомым не был обнаружен.

Precision (точность) отношение TP к TP + FP. Это доля объектов, названными классификатором положительными и при этом действительно являющимися положительными.

Recall (полнота) отношение TP к TP + FN. Это то, какую долю объектов положительного класса из всех объектов положительного класса нашёл алгоритм.

Поскольку Сиамская нейронная сеть на выходе даёт информацию об относительном расстоянии объектов друг от друга, что является в некотором понимании мерой схожести (меньше расстояние более похожие объекты), то для определения принадлежности объектов к одному классу было введено пороговое значение расстояния. Если расстояние между объектами ниже данного порога, то они считаются принадлежащими одному классу, в противном случае разным классам. На графике (рисунок 8) отображены пороговые значения с шагом 0.1 и полученная точность обучения, рассчитанная на тестовой выборке.

Рисунок 8. График изменения точности от значения порога

5.    Тестирование обученной Сиамской нейронной сети

В процессе тестирования предложенного метода классификации биомассы растений по визуальному состоянию использовались несколько тестовых изображений, не используемых в качестве обучающих данных.

Для каждого тестового изображения были созданы эталонные данные. Более подробно о создании эталонных данных описано в п. 4.1 настоящей статьи.

  • 5.1.    Создание эталонных данных

  • 5.2.    Классификации растений по их визуальному состоянию

При создании эталонных данных были использованы 5 изображений биомассы растений, которые не задействовались для создания данных для обучающих. Эти изображения были получены при тех же условиях, что и обучающие данные, то есть сняты с использованием программируемой Wi-Fi камера в специально сконструированной теплице.

Эталонные данные представляли собой бинарные изображения-маски, где интересующая область была окрашена в белый цвет, а всё остальное изображение в чёрный. Для каждого снимка были сгенерированы по 3 изображения-маски в соответствии с количеством исследуемых классов («plant», «dise» и «back»). Генерация изображений-масок происходила в ручном режиме с использованием графического редактора с возможностью редактирования слоёв (например, онлайн редактор Photope a19) . На рисунке 9 представлен пример снимка биомассы растений и созданных изображений-масок для каждого из классов.

Таким образом, были получены 15 изображений-масок, по 3 маски для каждого из входных изображений биомассы растений. Именно это изображения-маски были использованы в качестве эталонных данных для подсчёта точности классификации биомассы растений по визуальному состоянию.

Экспериментальное тестирование классификации биомассы растений по визуальному состоянию происходило на тех же снимках, что использовались для создания эталонных данных. При тестировании был применён подход на основе сканирующего окн а20 . Размер сканирующего окна был получен экспериментально и составил 50 на 50 пикселей. Шаг окна также был получен экспериментально и составлял 1/5 от его размера по горизонтали и вертикали.

В процессе тестирования, область исходного изображения под сканирующим окном подавалась на вход обученной Сиамской нейронной сети в паре с эталонным экземпляром класса, выбранным случайно из тестовой выборки. Затем сеть рассчитывала показатель «непохожести» (dissimilarity)

( а ) исходное изображение

( б ) изображение-маска ( в ) изображение-маска ( г ) изображение-маска для класса «plant» для класса «dise» для класса «back»

Рисунок 9. Исходное изображение биомассы растений и изображения-маски для каждого из классов для пары входных данных, который показывал на сколько образец схож с эталоном. Если показатель dissimilarity был ниже некоторого порогового значения (подбиралось экспериментально), то образец считался экземпляром того же класса, что и эталон, и его координаты на исходном изображении, а также его ширина и высота сохранялись в отдельный список для последующего подсчёта точности классификации.

Для удобства восприятия, область под классифицируемым образцом окрашивалась в определённый цвет (у каждого класса был свой цвет), тем самым создавая некую маску, которая в свою очередь содержала результирующую область класса и накладывалась на копию входного изображения. Таким образом, были сгенерированы изображения (рисунок 10) , наглядно показывающие зоны, принадлежащие каждому из классов.

( а ) область класса «plant»

( б ) область класса «dise»

( в ) область класса «back»

Рисунок 10. Пример изображений с результирующими областями после классификации

  • 5.3.    Подсчёт точности классификации растений

Точность классификации биомассы растений рассчитывалась с использованием метрики F-score, которая была описана в п. 4.3 настоящей статьи. В данном случае объект (ранее классифицируемая область изображения с координатами и размером) считался верно определённым (True Positive) если площадь пересечения с эталоном занимала более 50% его собственной площади. В противном случае он относился к необнаруженным объектам (False Negative). Если пересечение между текущим объектом и эталоном отсутствовало, засчитывалось ложно-положительное решение (False Positive), то есть объект, который не является искомым был детектирован как искомый. В таблице 1 представлены результаты подсчёта точности классификации.

Таблица 1. Точность классификации по метрике F-score

Класс

Среднее, %

Худщее, %

Лучшее, %

plant

65

48

71

dise

82

76

91

back

74

68

81

Экспериментальное тестирование обученной нейронной сети показало среднюю точность в 65%, 82% и 74% для классов «plant», «dise» и «back» соответственно. Общая точность по F-score составила около 73.6%.

Несмотря на относительно низкую общую точность, при классификации биомассы «больных растений» было достигнуто значение точности в 91%. Определение наличия «больных растений» и площади их биомассы относительно всей биомассы растений на изображении, по крайней мере, может использоваться как некий детектор, сообщающий о возникновении негативных факторов при выращивании растений. В свою очередь, для нахождения площади всей биомассы растений можно воспользоваться методом, описанным в статье [15] . Тем самым можно будет рассчитать соотношение «здоровых» и «больных растений» к общей биомассе, и на основании полученных значений принять меры по урегулированию негативных влияний.

Также следует отметить тот факт, что на итоговую точность классификации могли повлиять эталонные данные, которые были созданы вручную и не имеют 100% достоверности из-за проблемы однозначной дифференциации растений на используемых изображениях.

Вывод

В результате проведённого экспериментального исследования был разработан метод классификации биомассы растений по визуальному состоянию с применением нейронных сетей Сиамской архитектуры. Была получена точность при обучении равная 91.6% и точность определения биомассы «больных растений» от 76% до 91%.

Представленный метод показал относительно низкое значение точности в сравнении с более классическим применением нейронных сетей. Однако, здесь стоит учитывать различие поставленных задач, условий проведения исследований и сложности используемых нейронных сетей.

Тем не менее, разработанный метод может быть применён в качестве одной из сенсорных подсистем, используемых в системах автоматизированного ухода за растениями, и, как минимум, сигнализировать о наличии больных растений, что позволит своевременно менять правила ухода и корректировать воздействие на растения.

Список литературы Применение сиамских нейронных сетей для классификации биомассы растений по визуальному состоянию

  • G. E. C. Gall, T. D. Pereira, A. Jordan, Y. Meroz. “Fast estimation of plant growth dynamics using deep neural networks”, Plant Methods, 18 (2022), id. 21, 11 pp. https://doi.org/10.1186/s13007-022-00851-9
  • M. Taewon, C. Woo-Joo, J. Se-Hun, C. Da-Seul, O. Myung-Min. “Growth analysis of plant factory-grown lettuce by deep neural networks based on automated feature extraction”, Horticulturae, 8:12 (2022), id. 1124, 9 pp. https://doi.org/10.3390/horticulturae8121124
  • P. Savitha, S. Mungamuri. “Accurate plant species analysis for plant classification using convolutional neural network architecture”, International Journal of Reconfigurable and Embedded Systems (IJRES), 13:1 (2024), pp. 160–170. https://doi.org/10.11591/ijres.v13
  • T. N. Quoc, V. T. Hoang. “VNPlant-200 — A public and large-scale of Vietnamese medicinal plant images dataset”, Integrated Science in Digital Age 2020, ICIS 2020, Lecture Notes in Networks and Systems, vol. 136, Springer, Cham, 2020, ISBN 978-3-030-49263-2, pp. 406–411. https://doi.org/10.1007/978-3-030-49264-9_37
  • D. S. Joseph, P. M. Pawar, R. Pramanik. “Intelligent plant disease diagnosis using convolutional neural network: a review”, Multimedia Tools and Applications, 82:14 (2023), pp. 21415–21481. https://doi.org/10.1007/s11042-022-14004-6
  • M. Khanna, L. K. Singh, S. Thawkar, M. Goyal. “PlaNet: a robust deep convolutional neural network model for plant leaves disease recognition”, Multimedia Tools and Applications, 83:2 (2024), pp. 4465–4517. https://doi.org/10.1007/s11042-023-15809-9
  • M. Faisal, J. S. Leu, C. Avian, S. W. Prakosa, M. Köppen. “DFNet: Dense fusion convolution neural network for plant leaf disease classification”, Agronomy Journal, 116:3 (2024), pp. 826–838. https://doi.org/10.1002/agj2.21341
  • O. Åström, H. Hedlund, A. Sopasakis. “Machine-learning approach to non-destructive biomass and relative growth rate estimation in aeroponic cultivation”, Agriculture, 13:4 (2023), id. 801, 13 pp. https://doi.org/10.3390/agriculture13040801
  • B. Wang, D. Wang. “Plant leaves classification: a few-shot learning method based on Siamese network”, IEEE Access, 7 (2019), pp. 151754–151763. https://doi.org/10.1109/ACCESS.2019.2947510
  • G. Figueroa-Mata, E. Mata-Montero. “Using a convolutional Siamese network for image-based plant species identification with small datasets”, Biomimetics, 5:1 (2020), id. 8, 17 pp. https://doi.org/10.3390/biomimetics5010008
  • P. Goncharov, A. Uzhinskiy, G. Ososkov, A. Nechaevskiy, J. Zudikhina. “Deep Siamese networks for plant disease detection”, Mathematical Modeling and Computational Physics 2019 (MMCP 2019), EPJ Web Conf., 226 (2020), id. 03010, 4 pp. https://doi.org/10.1051/epjconf/202022603010
  • K. K. Sherly, A. Sonia. “Hybrid CNN models for plant species recognition and disease detection”, Intelligent Computing, Lecture Notes in Networks and Systems, vol. 1016, Springer, Cham, 2024, ISBN 978-3-031-62280-9, pp. 35–50. https://doi.org/10.1007/978-3-031-62281-6_3
  • J. Du, W. Fu, Y. Zhang, Z. Wang. “Advancements in image recognition: a Siamese network approach”, Information Dynamics and Applications, 3:2 (2024), pp. 89–103. https://doi.org/10.56578/ida030202
  • J. Bromley, I. Guyon, Y. LeCun, E. Säckinger, R. Shah. “Signature verification using a "Siamese" time delay neural network”, International Journal of Pattern Recognition and Artificial Intelligence, 07:04, pp. 669–688. https://doi.org/10.1142/S0218001493000339
  • A. V. Smirnov, E. S. Ivanov. “Analysis of images of a plant obtained from a camera of an automated care system to visually assess the change in its state over time”, Program Systems: Theory and Applications, 14:3(58) (2023), pp. 37–58 (In Russian). https://doi.org/10.2520Uh9t/Rt2pL0s7:/9/-3p3s1ta6.-p2s0i2r3a-s1.r4u-3/-r3e7a-d5/
Еще
Статья научная