Программное обеспечение разметки крупноформатных аэрокосмических изображений и подготовки обучающих выборок

В настоящей работе представлено программное обеспечение, предназначенное для разметки объектов на аэрокосмических изображениях видимого и инфракрасного спектров, создания базы образцов и подготовки обучающих выборок для решения задачи обнаружения и локализации объектов. Программа разметки работает в автоматическом, полуавтоматическом и ручном режимах. Работа в полуавтоматическом режиме позволяет оператору уточнить локализацию и маркировку объектов и значительно облегчает и повышает качество подготовки обучающих выборок для последующего обучения алгоритмов обнаружения и классификации.

Кл. сл. : разметка обучающих выборок, обучение нейросетей, активное обучение

ВВЕДЕНИЕ                    ва классов и ракурсов объектов интереса, требуе мых для решения поставленной задачи.

Для решения задач обнаружения и локализации в последнее время широкое распространение получили нейронные сети. Качество обнаружения и локализации объектов с помощью сверточных нейронных сетей в некоторых случаях значительно превышает качество, обеспечиваемое классическими алгоритмами машинного зрения, например такими, как корреляционные фильтры [1].

К недостаткам ряда популярных алгоритмов машинного обучения можно отнести необходимость подготовки базы образцов изображений или обучающей выборки для их обучения и работы с обозначенными объектами интереса [2]. Создание таких баз образцов обычно осуществляется вручную человеком-оператором и представляет собой трудоемкую задачу, требующую наличия достаточно большой выборки изображений, содержащих объекты интереса, отснятых в различных видах и ракурсах [3]. В задачах распознавания подготовка обучающей базы изображений является достаточно трудоемким процессом, для выполнения которого предъявляются достаточно высокие требования к квалификации исполнителя. Как правило, разметка данных включает работу оператора с каждым отдельным изображением и заключается в выделении на нем области или точек интереса [4].

В последние годы сообществами исследователей создаются открытые базы образцов, содержащие миллионы разнообразных изображений. Примером такой базы может служить ImageNet [5]. Тем не менее изображения, имеющиеся в свободном доступе, не содержат достаточного количест-

Отдельно стоит отметить методы обучения без учителя. Например, обучение с подкреплением. Указанный метод не требует создания обучающей выборки из изображений-примеров объектов интереса. Однако его применение возможно лишь в специальных задачах, из-за того что реализация метода несет в себе ряд сложностей. Данному методу будут посвящены последующие исследования авторов.

Предлагаемое программное обеспечение представляет собой программу разметки изображений аэрофотосъемки и аэрокосмической съемки с нейросетевой подпрограммой помощи оператору и предназначено для разметки объектов на аэрокосмических изображениях видимого и инфракрасного спектров, создания базы образцов и подготовки обучающих выборок для решения задачи обнаружения и локализации объектов. Прецедентная информация для обучения представляет собой аэрокосмические снимки с отмеченными на них изображениями объектов, выделенными с максимально возможной точностью.

ОПИСАНИЕ РАБОТЫ ПРОГРАММЫ

Общие характеристики оборудования и программы

В качестве входных данных программа использует аэрокосмические изображения видимого и инфракрасного диапазонов спектра, в том числе крупноформатные. Программа позволяет осуществлять разметку следующих основных видов объектов.

• -    Объекты техники:

• o    авиационная техника;

• o    сухопутная техника;

• o    морская техника;

• o    автомобильная техника.

• -    Наземные объекты:

• o    населенный пункт — группа строений более 3 шт., не считая мелких построек;

• o    строения вне населенных пунктов — строения, находящиеся вне площадных объектов и удаленные от их границ на расстояние более 70 м;

• o    жилое строение — строение, на изображении которого видна кровля или не видны внутренние стены;

o развалины — строение, на изображении которого видны внутренние стены, фундамент.

Объекты техники вида "авиационная" и "сухопутная" разбиваются на типы. При этом каждый объект распознавания принадлежит одному типу. Программное обеспечение позволяет размечать до типа 50 наименований авиационной техники, в том числе самолеты, вертолеты, беспилотные летательные аппараты (БПЛА) и 10 наименований сухопутной техники.

Для функционирования программы необходимо следующее системно-аппаратное обеспечение:

• -    операционная система: Linux Ubuntu;

• -    два монитора 21", со входом HDMI;

  - процессор Intel Core i7 5930K, не хуже;

• -    не менее 4 видеокарт NVIDIA GeForce 1080Ti;

• -    не менее 64 ГБ оперативной памяти;

• -    не менее 200 ГБ доступного места на жестких дисках.

Основной функционал программы составляют следующие операции: просмотр изображения видимого или инфракрасного диапазонов, поиск объектов интереса, разметка объектов интереса на изображениях с помощью специальных инструментов разметки, измерение размеров объектов, редактирование ранее выполненной разметки объектов, обозначение и маркировка объектов.

О разметке объектов интереса на изображениях

Программа обеспечивает работу в ручном, полностью автоматическом или полуавтоматическом режимах. Оператор может использовать любой требуемый режим работы. Как правило, основным режимом работы программы является полуавтоматический, когда оператор на первом этапе использует инструмент предварительной "грубой" разметки, в ходе которой программа осуществляет первичное обнаружение и классификацию объектов. В результате предварительной разметки на исходном изображении могут быть отмечены объекты, не относящиеся к объектам интереса, — такие объекты называются ложноположительными. Некоторые объекты интереса могут быть пропущены программой — такие объекты называются ложноотрицательными. На следующем этапе локализация и маркировка объектов могут быть исправлены оператором вручную с помощью инструментов редактирования. Порог отсечения настраивается в зависимости от требований оператора.

Работа в полуавтоматическом режиме, при котором оператор исправляет ошибки и ложные отклики программы, обеспечивает накопление обучающих данных для последующего дообучения и повышения качества работы. При этом может учитываться опыт нескольких экспертов, что позволяет получить более качественную обучающую выборку.

Для обозначения объектов интереса предназначены инструменты ручной разметки: обозначение центра, обозначение ограничивающего прямоугольника, обозначение выпуклой оболочки. Редактирование разметки осуществляет смещение центра, смещение границ ограничивающего прямоугольника, смещение выпуклой оболочки. Пример разметки наземных объектов представлен на рис. 1.

Представление формы объектов

Разметка объектов авиационной техники, имеющих сложную форму, включает процессы подготовки эталонных изображений и подгонки эталонов к тестовым изображениям [6]. Подготовка эталонных изображений состоит в построении контурного описания для всех типов объектов. Исходными данными для построения описания являются образцы объектов в виде растровых бинарных изображений хорошего качества. В результате обработки этих изображений система формирует контурные описания объектов в формате многоугольных фигур. Векторные описания контуров объектов являются эталонными (шаблонами) и используются в дальнейшем для разметки аэрокосмических снимков.

Подготовка эталонных изображений включает следующую последовательность действий. Во-первых, получение высококачественных растровых изображений образцов объектов интереса, взятых либо из фотографий с высоким разрешением, либо из описаний технической документации (чертежей или схем объекта). При этом необходимо отметить, что изображение объекта интереса должно представлять собой ортогональную проекцию (вид сверху). Во-вторых, формирование эталонного описания формы объекта интереса в виде бинарного (черно-белого) изображения высокого разрешения. В-третьих, создание контурной модели формы (шаблона) объекта интереса в векторном формате и сохранение ее в базе данных.

а

б

в

Рис. 1. Образцы ра зметки н аз е мных объектов.

а — ра зм е т к а с т ро е ни й с пом ощ ью и нс т р у ме нт а "к ос ой пря м о уг ол ьник", б — ра з ме т к а с т роен и й с п ом ощ ь ю и н ст р у м ент а "полигон", в — р а зм е т к а гра н иц н а с еленных пунктов

Сравнение объектов

Кон т у р н а я м о д е ль им е е т в ид м ного угольн ика, ап про кс им ирую ще го гра ни цу фи гу ры в б ина рном изо б ра же нии с за д а н ной о п ера то ро м точ н ос т ью .

Подгонка эталонов к тестовым изображениям осуществляется оператором путем наложения векторного описания эталона на аэрокосмический снимок и преобразования контура с целью совмещения его с объектом на снимке. Преобразования контура выполняются оператором с использованием инструментальных операций: сдвиг, поворот, масштабирование и растяжение—сжатие контура вдоль или поперек оси симметрии объекта.

Для подгонки эталонов к тестовым изображениям выполняется визуальный анализ исходного аэрокосмического снимка оператором с целью нахождения на нем объектов интереса и дальнейшей разметки этих объектов с использованием предлагаемых инструментальных средств. Затем осуществляется выбор подходящего эталонного образца (шаблона), соответствующего объекту на исходном изображении. Шаблон выбирается оператором на основе собственного опыта или методом подбора. Выполняется подгонка шаблона к исходному изображению с помощью операций сдвига, вращения и масштабирования контура эталонного образца, при этом векторная форма представления контуров обеспечивает высокую эффективность и точность процесса подгонки. Процесс подгонки представлен на рис. 2.

Выбранное положение эталона фиксируется, формируется выходное бинарное изображение путем растрирования контурной модели. На последнем этапе производятся маркировка и сохранение размеченного аэрокосмического снимка в библиотеке тестовых изображений.

Кроме того, программа обеспечивает возможность группового редактирования объектов интереса, принадлежащих к одной группе или классу.

Об обучающих выборках

Инструменты группового редактирования позволяют выбирать тип каждого объекта в отдельности, одновременно относить выделенную группу объектов к определенному классу. Выбор класса, в том числе для группы объектов, осуществляется с помощью классификатора.

Обучающая выборка для обучения нейронной сети должна содержать как можно более "чистые" обучающие данные. Подготовка "чистых"

Рис. 2 . Подгонка эталонов.

а — сдвиг, б — вращение, в — пропорциональное масштабирование контура, г — масштабирование контура по горизонтали, д — масштабирование контура по вертикали

обучаю щ и х д а н н ы х за ключа етс я в иск лю чении и з обуч а ю ще й вы б орки и зобра ж е н и й о б ъ е ктов, в отн ош е н и и котор ых у опера тора -эксперта нет полной уверенности, являются ли они объектами интереса или нет.

И нстру м ент р а зме тки обу ч аю щ и х д а н н ы х, позв оля ющий оп е р а тор у-эксперту отмечать на изоб ра ж е н и ях об л а с ти, в нали чи и н а котор ых объе ктов и н те рес а он н е уве рен, н а зыв а етс я "область нулевого штрафа". Д ан н ый ин ст румент мож е т б ы ть испол ьзов а н , если р а зме тк а объектов какого-ли б о ти п а затр у д н ен а , ли б о из об ражен и е и м е ет д е ф е кт с ъем ки . Э ксп е рт может и гнори ров ать д а нные объекты, и это п ред отв ра щ ае т ухудшение базы обра зц ов и обучающ е й вы б ор к и . Об разцы объе ктов , точн а я ра змет ка которы х зат р у дн е на, п редставлены на рис. 3.

Результаты работы программы сохраняются оператором-разметчиком в том же каталоге, что и обрабатываемый (исходный) файл. В каталоге создается файл с именем исходного и расширением ".xml".

В ыхо д н ыми да н н ым и п рогр а м мы разме тк и я вляются сформирован н ые век тор н ые оп исан и я о б ъе ктов в ф орма те мн ого уг ольн ы х ф и г ур в в и де б ин а рн ог о и зо б ра ж е н и я ( э та лон н ые обра зц ы), ра змече н н ые и п рома рк и ров а н н ые а э рокосми че с ки е с н и м ки . Обра зц ы в ы ходн ого и зоб раже ни я представлены в Приложении.

Результаты экспериментов с системой

Ис с лед ов а н и я р а зраб отанн о го п рог ра м м н о го обе с п е че н и я п ров е д ен ы п ри созда н ии э к сп е р т ной ра з м е тки в а л ида ц и он н о й в ыб о рки д ля а л г ори тмов д е ши фр ир ов а н ия вид ов ой а э рокос ми че ской инф орма ц и и [ 7 ] . С ра в н и в а ло с ь с умма рн ое коли че ство объектов, обнаруженных про гра ммой и оп е р аторами- э кс п е рта ми. В р а зме тке и з об ра ж е н и й п р ин и м а л и у ча с ти е три э кс п е рта. Р е зул ь та ты п о о б нару ж е н и ю об ъ е ктов пр е д с тавл е н ы в таблице.

а

Рис. 3 . Образцы объек т ов неизвестного типа, выде л е н н ых с п омощью и н ст рум е н т а " о б ла ст ь нуле в ого шт р афа " .

а — н е о б ычный о б ъе к т, б — дефекты съемки

Сравнение количества обнаруженных объектов

Исполнитель	Количество обнаруженных объектов, шт.
Операторы Программное обеспечение разметки	2412 12370

Как видно из данных, представленных в таблице, программное обеспечение позволяет обнаружить более чем в 5 раз больше объектов интереса на крупноформатных аэрокосмических изображениях. Проведенные испытания показали, что доля ошибки установки центра объекта не превышает 10 % общего числа объектов, доля ошибки, при которой центры объектов отмечены несколько раз, не превышает 5 % общего числа объектов. Дальнейшая работа в полуавтоматическом режиме позволяет оператору уточнить локализацию и маркировку объектов и значительно облегчает и улучшает качество подготовки обучающих выборок для обучения алгоритмов обнаружения и классификации.

ЗАКЛЮЧЕНИЕ

Представлено программное обеспечение, предназначенное для разметки объектов на аэрокосми- ческих изображениях видимого и инфракрасного спектров, создания базы образцов и подготовки обучающих выборок для решения задачи обнаружения и локализации объектов. Основной функционал программы составляют операции поиска объектов интереса, просмотр изображения, измерение размеров объектов, разметка объектов интереса на изображениях с помощью специальных инструментов разметки, редактирование ранее выполненной разметки объектов, обозначение и маркировка объектов. Программа разметки позволяет осуществлять работу в автоматическом, полуавтоматическом и ручном режимах. Работа в полуавтоматическом режиме позволяет оператору уточнить локализацию и маркировку объектов и значительно облегчает и улучшает качество подготовки обучающих выборок для обучения алгоритмов обнаружения и классификации.

ПРИЛОЖЕНИЕ (образцы выходных изображений)

Рис. П1. Образец разметки авиационной техники

Рис. П2. Образец разметки сухопутной техники

Рис. П3 . Образец разметки морской техники