Разработка системы раннего обнаружения лесных пожаров с использованием беспилотных летательных аппаратов и искусственного интеллекта

• 1.    Введение

  Только в Российской Федерации лесами покрыто почти две трети территории, что на 2021 г. составляет 1,019 млрд га. Из них ежегодно пожарами охвачено от 500 тыс. до 3,5 млн га. С 2019 г. ежегодно высаживается около 1 млн га саженцев за счёт реализации федерального проекта «Сохранение лесов». При этом в Российской Федерации в год регистрируется от 9 до 35 тыс. лесных пожаров, охватывающих площади от 500 тыс. до нескольких миллионов гектаров [8].

• 2.    Методы и принципы исследования

  • 2.1.    Основы системы для раннего обнаружения лесного пожара

Количество лесных пожаров за последние десятилетия в мире несколько снизилось, что объясняется ужесточением предпринимаемых мер и внедрением методов их раннего обнаружения. Однако лесные пожары продолжают наносить колоссальный ущерб во всём мире.

Наиболее значимым фактором в борьбе с лесными пожарами является максимально раннее обнаружение признаков огня и быстрота реагирования противопожарных служб. Для раннего обнаружения лесных пожаров предлагается использовать современные технологии: использование двух типов беспилотных летательных аппаратов (БПЛА) — дронов с неподвижным крылом («самолётного» типа) и мультироторных дронов (мультикоптеров).

В основе любого прогноза лежит непрерывное наблюдение за множеством специфических параметров. Наша задача состоит в сокращении количества наблюдаемых параметров, включая зависящие от погодных условий, что позволит уменьшить ошибки. В то же время отобранные параметры должны с высокой точностью коррелироваться с риском возникновения пожара. Для этого целесообразно использовать следующие параметры:

• ■    минимальная суточная температура Т_мин;

• ■   максимальная суточная температура Т_макс;

• ■    среднесуточная влажность;

• ■    суточная солнечная радиация;

• ■    среднесуточная скорость ветра;

• ■    суммарное количество осадков.

• 3.    Результаты

Указанные параметры используются для прогноза пожароопасности методом опорных векторов ( SVM — Support Vector Machines).

Метод опорных векторов заключается в нахождении точек данных разных классов и рисовании границы между ними. Такие выбранные точки данных называются опорными векторами, а границы — гиперплоскостями. Алгоритмы используют набор математических функций — ядра. Функция ядра состоит в том, чтобы принимать данные в качестве входных и преобразовывать их в требуемую форму. При этом рассматривается каждая пара точек данных до тех пор, пока не найдётся ближайшая пара из разных классов и будет проведена прямая линия (или плоскость) на полпути между ними. Если входные данные линейно разделимы, то решение для гиперплоскости является простым. Но на практике часто области классификации пересекаются, и ни одна прямая плоскость не может выступать в качестве границы. Когда данные линейно неразделимы, методом опорных векторов отображают данные в пространстве более высокой размерности (N-мерного) — пространстве признаков. Эта задача может быть решена с использованием различных нелинейных отображений: полиномиальных, сигмовидных и радиальной базисной функции Гаусса.

После нелинейного преобразования находят линейную разделяющую гиперплоскость в этом новом пространстве признаков. В отличие от других методов модель вероятности и функции плотности вероятности не должны быть заранее известны [20].

Во время стадии изучения методом опорных векторов используют данные обучения для поиска параметров w = [ w 1 w 1 ... W n ] T и b функции решения d ( x , w, b ) представляется:

n d (x, w, b) = wTx + b =

^ wx + b .

i=i

Разделяющая гиперплоскость описывается уравнением d ( x, w , b ) = 0. На этапе тестирования невидимый вектор x создаст выход у в соответствии со следующей индикаторной функцией:

у = sign (d(x, w, b)).

Иными словами, если d ( x,w,b ) > 0, то x принадлежит классу 1, и если d ( x,w, b ) < 0, то x принадлежит классу 2.

Весовой вектор и смещение получаются путём минимизации следующего уравнения:

Ld (a) = 0,SaTHa-fTa                                  (3)

при условиях:

• ута = 0;

• а > 0;

где H = y i y j (x i x j ) — матрица Гессе; f — единичный вектор f = [1, 1...1] T .

При наличии значения a oi решение задачи двойственной оптимизации будет достаточно для определения весового вектора и смещения с использованием следующих уравнений:

I

w

^ « oi V i X i=i

b = ^Лу-^А

где N — количество опорных векторов.

Представленный выше линейный классификатор имеет ограничения, поскольку он применим только с линейно зависимыми данными, тогда как на практике часто данные случайны и зависимость у них нелинейная. Нелинейные данные должны быть отображены на новом функциональном пространстве более высокой размерности с использованием подходящей отображающей функция Ф( x ), значительно большей размерности, потенциально бесконечной. Упрощает задачу то, что во всех уравнениях функция представлена только в виде скалярного произведения.

Согласно теории Гильбертова пространства с воспроизводящим ядром [2], которая выходит за рамки настоящей статьи, функция ядра определяется как

K(xt, Xj) = ФО^ )ТФ(хД

Уравнение (3) имеет следующий вид в пространстве признаков:

i

Ld(a) = ^«i- 2 ^ yiyj«i«jK(xi, Xj)(7)

i=i         i ,j=i при условии

• a > 0;

i

• ^ «iVi = 0.

• 3.1.    Техническая составляющая системы

i=i

Гиперповерхность в уравнении (1) задаётся в виде нелинейного пространства следующим уравнением:

d(x) = Zi=iyi«iK(Xi, х).

Решение уравнения (7) даёт классификатор с жёсткими границами. В общем, полезно использовать классификатор мягких полей, чтобы сохранить гладкость гиперплоскости и предотвратить стремление « i к бесконечности. Данный классификатор получается с использованием того же процесса минимизации, просто путём добавления ещё одного ограничения к уравнению (7). Ограничение 0 < « i < С, где C определяется пользователем.

Если C стремится к бесконечности, классификатор мягких границ стремится к жёстким границам [1], [5], [7], [18—22].

Системы обнаружения лесного пожара можно реализовать с помощью специализированных камер, способных фиксировать изображение в различных диапазонах спектра шкалы электромагнитных излучений. Самая сложная задача в этом случае — определение места установки видеокамер для лучшего обзора наблюдаемой территории. Поскольку у данных систем есть определённые ограничения из-за статичного положения видеокамер, то в последние годы широкое применение находит использование БПЛА. В предлагаемой системе раннего обнаружения признаков лесных пожаров предусмотрено использование специализированных видеокамер и/или тепловизоров. Кроме этого, БПЛА имеют постоянную двухстороннюю связь с базовой станцией (рисунок 1).

Рисунок 1. Состав системы раннего обнаружения лесных пожаров

• Figure 1.    Composition of the forest fire early detection system

Многие десятилетия БПЛА широко использовались в различных областях (Вооружённых силах, сельском хозяйстве и многих других). В предлагаемой системе раннего обнаружения лесных пожаров предлагается использовать БПЛА двух типов — с неподвижным крылом и мультироторные. БПЛА с неподвижным крылом отличаются рядом преимуществ от дронов других классов, таких как повышенная крейсерская скорость и надёжность, достижение большей высоты полёта и больший обзор наблюдаемой территории. В то же время мультироторные БПЛА способны взлетать и приземляться вертикально при любом типе ландшафта и более экономичны. В настоящее время развиваются также гибридные БПЛА, которые объединяют преимущества обоих [1], [3], [20].

Как видно из блок-схемы, представленной на рисунке 2, система выявляет пожар в три этапа.

Первый этап (выделен синим цветом) осуществляет БПЛА с неподвижным крылом, который для более широкого обзора пролетает на высоте от 350 до 5000 м. При обнаружении подозрения на лесной пожар к выполнению второго этапа приступает получивший сигнал тревоги и координаты района от БПЛА с неподвижным крылом БПЛА мультироторного типа (выделено зелёным цветом), который осматривает подозрительный район с более низкой высоты для подтверждения наличия лесного пожара. Если наличие пожара не подтверждается, то мультироторный БПЛА возвращается на базу. В противном же случае мультироторный БПЛА передаёт сигнал тревоги наземной противопожарной службе (выделено оранжевым цветом), которой продолжает помогать контролировать выявленную область. Таким образом, второй БПЛА позволяет сократить количество ложных определений лесных пожаров, поскольку мультироторные дроны способны летать на более низкой высоте (до 350 м) по сравнению с дронами с неподвижным крылом, что обеспечивает наилучший обзор.

Также оба БПЛА снабжаются специализированными многоспектральными камерами, которые позволяют выполнять полный анализ района, где подозревается пожар. Изображения, захваченные многоспектральными камерами, могут обрабатываться и использоваться для создания нормализованного относительного индекса растительности (NDVI — Normalized Difference Vegetation Index) карты ландшафта. NDVI — простой графический индикатор, который может использоваться для оценок ущерба от пожара [6], [9], [20].

Рисунок 2. Блок-схема операционного принципа ранней платформы обнаружения лесных пожаров

• Figure 2.    Flowchart of the operational principle of the early forest fire detection platform

• 3.2.    Реализация системы искусственного интеллекта

Система взаимодействия БПЛА полностью автоматизирована. Для совершенствования указанной системы предлагается задействовать искусственный интеллект, позволяющий БПЛА прогнозировать лесные пожары с использованием нейронных сетей. В настоящее время нейронные сети является достаточно востребованным видом в вычислительных системах из-за их способности «обучаться» выполнить задачи на основе примеров. Нейронные сети вдохновлены биологическими нейронными связями в человеческом мозге.

После проведения анализа рынка БПЛА было решено использовать модель «GAMMA» с неподвижным крылом (рисунок 3), российский многоцелевой беспилотный летательный аппарат, спроектированный компанией «Автономные аэрокосмические системы — Геосервис». Максимальная скорость данного БПЛА составляет 140 км/ч, эффективная дальность полёта составляет 50 км, а максимальная продолжительность нахождения в воздухе — 12 ч, что, в свою очередь, вполне удовлетворяет нашим целям и задачам. Из-за большой высоты полёта БПЛА с неподвижным крылом значительным становится и расстояние камер до земной поверхности, что может при попытках определить наличие лесного пожара приводить к большому количеству ложных тревог. Второй, но уже мультироторный БПЛА необходим для тщательного изучения подозрительного района и сведения к минимуму ложных тревог. Мультироторный БПЛА снабжается более качественной видеокамерой и летит на более низкой высоте для достижения лучшей видимости. Выбор остановили на влагозащищённом БПЛА DJI Matrice 210 (рисунок 4), способном летать в дождь или туман.

Искусственный интеллект стал чрезвычайно популярен в последние годы, поскольку он способен выполнять задачи, присущие человеческому разуму. Искусственный интеллект (машинный интеллект) реализуется с помощью нейронных сетей.

Рисунок 3. БПЛА «GAMMA»

Рисунок 4. DJI Matrice 210

Figure 3. UAV «GAMMA»

Figure 4. DJI Matrice 210

Нейронные сети — это специализированные компьютерные модели, которые можно обучить выполнению различных задач. Они используются для классификации изображений, распознавания речи, перевода текстов и более сложных задач, таких как управление автономными транспортными средствами и т. д. Существует несколько типов нейронных сетей, но наиболее широко используемыми для обнаружения изображений и компьютерного видения являются свёрточные нейронные сети [2], [4], [20]. Они состоят из входного слоя, скрытых слоёв и выходного слоя взаимосвязанных нейронов. В зависимости от количества скрытых слоёв применяются методы машинного обучения (только с одним скрытым слоем) и методы глубокого обучения (с более чем одним скрытым слоем). Например, на рисунке 5 представлена глубокая нейронная сеть, поскольку она имеет два скрытых слоя.

Рисунок 5. Пример нейронной сети глубокого обучения с двумя скрытыми слоями

• Figure 5.    An example of a deep learning neural network with two hidden layers

Входные нейроны представляют собой данные, используемые для обучения. Например, если входной сигнал (вход) представляет собой изображение, входные нейроны могут представлять значения для каждого пикселя. Нейроны, скрытые в средних слоях, обычно служат для математических вычислений. Связи между нейронами уравновешиваются, определяя значимость входного значения.

Принцип обнаружения изображения показан на рисунке 6. Этот пример показывает, как нейронная сеть может распознавать цифру на заданном изображении с разрешением восемь на восемь пикселей (столь низкое разрешение приводим для простоты примера). Все пиксели изображения передаются в качестве входных нейронов модели. Уникальность активированного нейрона определяет результат. Перед выполнением таких сложных задач каждую нейронную сеть необходимо обучить. Обучение можно описать как процесс нахождения связей между нейронами, при которых минимизируется функция потерь. Обучение может быть контролируемым и неконтролируемым.

Системы машинного обучения узнают, как комбинировать входные данные для получения полезных прогнозов на основе ранее не публиковавшихся данных. В случае машинного обучения строятся модели, исследуется множество примеров и реализуется попытка найти модель, минимизирующую потери. Потеря определяется как разница между фактическим значением и прогнозируемым выходом. Функция потерь минимизируется за счёт изменения значений весов связей между нейронами. Обучение с учителем можно использовать как для структурированных, так и для неструктурированных данных. Простые алгоритмы машинного обучения хорошо работают со структурированными данными, но когда дело доходит до неструктурированных данных, их производительность, как правило, низкая. Именно здесь нейронные сети оказались настолько эффективными и полезными. Они исключительно хорошо работают с неструктурированными данными. Структурированные данные — это чётко определённые входные данные, которые имеют значимые значения, в то время как неструктурированные данные относятся к таким вещам, как аудио и изображения, где цель состоит в том, чтобы распознать, что находится на изображении или что такое текст (например, обнаружение объекта). Здесь функциями могут быть значения пикселей в изображении, и неясно, что каждый пиксель изображения представлен в изображении, и поэтому это подпадает под неструктурированные данные [5], [7], [10—12], [20].

ВХОДНЫХ нейрона

Рисунок 6. Принцип обнаружения изображения моделью нейронной сети

• Figure 6.    The principle of image detection by a neural network model

Таким образом, система раннего обнаружения лесных пожаров может быть отнесена к категории задач бинарной классификации. Модели классификации изображений относят изображения к одной категории, обычно соответствующей наиболее заметному объекту. В лесу самым заметным объектом может быть дерево, река, куст или даже сам лес. По этой причине классификация изображений как частного решения не может быть эффективной. Присвоение метки моделям классификации изображений может стать сложным и неопределённым. Таким образом, модели обнаружения объектов больше подходят для идентификации нескольких соответствующих объектов на одном изображении или, в нашем случае, только одного дыма.

Есть ещё одно преимущество обнаружения объектов — возможность локализовать объект на изображении. Сравнение между классификацией изображений, обнаружением объектов и сегментацией экземпляров представлено на рисунке 7.

Классификация

Классификация с локализацией

Выделение объектов

Рисунок 7. Сравнение   классификации

Пример детализации

изображений, обнаружения объектов и их детализации

• Figure 7.    Comparison of images classifications, objects detection and objects specification

• 3.3.    Построение нейронной сети компьютерного видения для обнаружения дыма на изображениях

• 4. Обсуждение и заключение

Для улучшения системы и реализации функции обнаружения дыма на статичных изображениях сначала необходимо обучить нейронную сеть его распознавать, что можно осуществить несколькими методами. Для использования алгоритма обнаружения объектов сначала нужно определить входные данные. Входные данные (набор данных) — набор изображений, на которых присутствует и отмечено задымление. Набор данных должен быть разделён на две части — для обучения и для тестирования. Это основное требование, позволяющее избежать так называемого переобучения. Иногда после обучения нейронные сети очень хорошо работают с обучающими данными (или очень похожими изображениями) и не так хорошо с новыми изображениями. Это называется переоснащением модели [3], [20].

Некорректным подходом является использование всех данных для оценки параметров (обучения алгоритму), потому что тогда не останется данных для тестирования метода, а модель станет переобученной. Повторное использование одних и тех же данных и для обучения, и для тестирования также некорректно, поскольку для оценки модели необходимо знать, как метод будет работать на данных, которые не использовались для его обучения. Оптимальное разделение набора данных — около 75 % изображений для обучения и 25 % для тестирования [13—17], [20].

Система раннего обнаружения лесных пожаров находится в стадии дальнейшего развития. Представленные в статье модели БПЛА в настоящее время уже сняты с производства, но их ещё возможно приобрести. В то же время на смену им приходят всё более и более совершенные модели, значительно растёт список производителей БПЛА. Также немалую роль играет то, что в Российской Федерации в настоящее время оценили значимость беспилотной техники в различных отраслях и предпринимаются меры для расширения отечественного производства.

Предлагаемый подход направлен на то, чтобы улучшить имеющиеся системы обнаружения лесных пожаров и значительно снизить ущерб, вызванный несвоевременным или запоздалым их обнаружением.