Применение графического процессора Tegra K1 в задачах обработки изображений на борту БЛА

БЛА становятся все более популярным в повседневной жизни, они стремительно перешли от сугубо военного применения [1] в использование любителями и специалистами в различных отраслях. Потребительский рынок стремительно растёт и уже предлагает широкий спектр БЛА от микро- и мини- до полноразмерных самолётов.

Небольшие БЛА способны решать локальные задачи в условиях города. Это обусловлено ограниченностью и несовершенством источников питания для электрических двигателей коптеров. Малая ёмкость батарей не позволяет использовать БЛА на больших расстояниях, где они пригодились бы, например, для патрулирования местности или обновления оперативной информации в ходе ликвидации чрезвычайных ситуаций. Применение БЛА с ДВС позволяет решить проблему с дальностью работы таких аппаратов, что делает возможным их использование для решения специфических задач, что, в свою очередь, позволяет достигать существенной экономии в материальных и людских ресурсах, обеспечивая наилучшее качество.

• 1.    Основная часть

Ввиду сложности передачи большого объёма видеоданных по радиолинии на больших удалениях БЛА возникает задача обработки этих данных на борту. А именно: наложение знакосинтезирующей информации на изображение; запись отснятого материала; распознавание образов (в том числе фильтрации); сопровождение объектов и т. д.

Существует несколько возможных способов реализации обработки видеопотока на борту БЛА. Все они имеют свои преимущества и недостатки. Авторами были предъявлены следующие требования к разрабатываемой системе: минимальные массогабаритные параметры; минимальное энергопотребление к скорости обработки (псевдо-реальное время) и скорости разработки, рассмотрены три варианта построения системы: обработка изображений на процессорах общего назначения (CPU x86-64), на графических процессорах и на ПЛИС микросхемах. Проведя обзор литературы [2, 3], нами были сделаны следующие выводы.

• •    В [2] представлены зависимости производительности GPU, CPU и FPGA, из которых видно, что для решения конкретных задач GPU хорошо фильтрует, за ним идёт CPU и только потом FPGA; GPU хуже всего подходит для стерео-зрения, затем CPU и за ним FPGA; GPU лучше CPU, но хуже FPGA в задачах классификации.

• •    Согласно [3] реализация алгоритмов обработки изображений на FPGA занимает значительное время (хотя позволяет достигать минимального электропотребления, в отличие от реализа-

• ции тех же задач на GPU). К тому же, кроме скорости разработки, GPU имеет гибкие возможности, а также множество библиотек, реализующих различные алгоритмы, в том числе популярные на данный момент сверточные нейронные сети.

Исходя из поставленных задач, авторами выбрана схема на базе встраиваемой платформы Jetson TK1, предназначенной для разработок с использованием технологий графических ядер в области обработки изображений и сложных параллельных вычислений. Данная система имеет следующее ТТХ: четырёхъядерный Cortex-A15 с частотой 1,5 ГГц и 192 графических процессора.

Была предпринята попытка использовать данную систему для решения задач патрулирования с БЛА. Для нормальной работы систему Jetson TK1 необходимо обеспечить мощностью 60 Вт (пиковая), что легко решается добавлением генератора к ДВС.

Система в первом приближении должна содержать: камеру с гиростабилизированной платформой; накопитель для записи видеопотока; модуль навигации; блок обработки и принятия решений; дисплей для отображения видеопотока.

На рис. 1 представлена структурная схема экспериментальной установки.

Рис. 1. Блок-схема устройства

В ходе работы авторами была реализована схема, представленная на рис. 1, воплощена в действующее устройство, представленное на рис. 2 (во время отладки на земле), разработана схема.

Рис. 2. Сборка системы, тестирование и отладка

Камера соединена с микрокомпьютером Jetson по Ethernet интерфейсу, который обеспечивает высокую пропускную способность (до 100 Мбит/с). Жёсткий диск подключён к разъёму SATA3. Плата GPS (SimCom SIM18) подключена через UART-USB преобразователь PL2032 к USB.

Используемая IP-камера выдаёт картинку в формате Full HD (1080p) по протоколу RTSP, используется контейнер h264. При этом используемая камера выдаёт картинку с задержкой в

Краткие сообщения

0,5 секунды (что учитывается нашим программным обеспечением при наложении GPS-координат). Это связано с программной частью в самой камере, на которую, к сожалению, мы не можем влиять. Кроме всего прочего данная камера имеет интерфейс управления через UART, что позволяет менять угол поворота, управлять фокусным расстоянием линзы и зумом. Данные о местоположении берутся с SimCom SIM18, который выдаёт GPS-координаты по UART-интерфейсу. Ввиду отсутствия UART-порта на самом Jetson используется UART-USB преобразователь.

Полевые испытания устройства были проведены на самолете Аэропракт А-20, а также на БЛА «Юпитер» производства КБ «Аэростарт».

В ходе разработки авторы столкнулись с рядом трудностей, связанных с кодировани-ем/декодированием видеосигнала. По умолчанию система использует программную кодиров-ку/декодировку видео, что сказывается на количестве кадров в секунду (далее FPS). Нагрузка настолько большая, что FPS падает до 10 кадров в секунду. Ввиду специфичности системы не все программные компоненты доступны на данной платформе (архитектура процессора – ARM). Однако использование аппаратного кодирования/декодирования существенно увеличивает производительность системы. Используя библиотеки GStreamer, авторам удалось применить аппаратные средства, доступные на миникомпьютере для кодировки/декодировки контейнера h264. Производительность поднялась до 20–25 кадров в секунду, а также были устранены артефакты.

Пример съёмки с наложенными данными (время и место съёмки) представлены на рис. 3.

Рис. 3. Пример полученного изображения с наложенной графикой

Вес устройства составляет порядка 5 килограмм (компьютер и гиростабилизированная платформа). Применение такой системы на борту БЛА позволит патрулировать такие индустриальные и протяжённые объекты, как линии электропередач и газопроводы. Стоимость мониторинга существенно снижается по сравнению с использованием для этих целей вертолётов (при том же запасе хода). Требуется минимальный людской персонал.

Заключение

Полученные результаты наглядно демонстрируют перспективность использования подобных систем на борту БЛА и лягут в основу разработки экспериментального образца полезной нагрузки для БЛА. В дальнейшей работе планируется использовать более современную и мощную систему, которая пришла на замену TK1 – Jetson TX1. В данный момент проходит испытание разработанная авторами система мониторинга для БЛА «Юпитер», которая позволит бортовому компьютеру получать параметры летательного аппарата, что будет крайне полезно для автономной работы дрона в рамках работ по мониторингу.