Адаптивный гибридный алгоритм локализации ключевых точек для навигации летательного аппарата с оценкой качества изображения

В настоящее время бортовые системы видеонаблюдения летательных аппаратов становятся неотъемлемой частью современных систем навигации и стабилизации [1]. Одной из ключевых задач таких систем является точное определение положения и ориентации летательного аппарата относительно опорных графических маркеров, размещаемых на земле или на целевых объектах [2]. Традиционные методы (например, детекторы ArUco) теряют эффективность в условиях шумов, размытия и сложного освещения [3]. Напротив, нейросетевые подходы демонстрируют высокую работоспособность за счет возможности аппроксимировать сложные нелинейные зависимости [4, 5], однако часто уступают в точности локализации в идеальных условиях. Этим объясняется высокий интерес исследователей и разработчиков к использованию сверточных (CNN) и трансфор-мерных архитектур нейронных сетей для решения задач компьютерного зрения на борту летательных аппаратов, в том числе для локализации объектов и ключевых точек [6]. В данном контексте под объектами понимаются целевые элементы сцены (например, визуальные маркеры), относительно которых осуществляется навигация. Ключевыми точками называют характерные, локально уникальные особенности этих объектов (в данном исследовании – углы маркеров), корректная детекция которых на изображении позволит восстановить положение в пространстве летательного аппарата.

Однако применение нейросетевых алгоритмов порождает новую задачу – необходимость оценки погрешности определения координат ключевых точек [7]. Эта оценка критична для последующего использования координат маркеров при коррекции навигационной системы летательного аппарата. Ошибки в определении положения ключевых точек в видеопотоке напрямую трансформируются в ошибки навигационного решения, что может привести к недопустимым отклонениям от заданной траектории полета и нестабильности в контуре управления [8]. При этом степень влияния ошибок локализации маркеров на точность навигации зависит не только от абсолютной величины ошибок обнаружения, но и от их статистических характеристик, распределения ошибок по различным комбинациям условий съемки, а также от применяемых методов фильтрации и интеграции измерений на борту, таких как расширенный фильтр Калмана для ком-плексирования данных и видеосистемы [9, 10].

Целью исследования является повышение точности и надежности навигации БПЛА в сложных условиях посредством создания адаптивного гибридного алгоритма, комбинирующего нейросетевую детекцию [11] с уточнением классическими методами на основе анализа локального качества изображения. В статье рассмотрены вопросы формирования тестовых наборов данных, содержащих синтетические и реальные видеозаписи с маркерами [12], введена формализованная метрика для инвариантной к масштабу оценки точности детекции, проведена систематизация источников ошибок при обнаружении ключевых точек, а также обоснована необходимость и методика проведения валидации нейросетевого алгоритма применительно к задачам коррекции навигационной системы летательного аппарата.

1. Алгоритм анализа зашумленных видеоданных

Ранее в исследовании [11] авторами была продемонстрирована высокая работоспособность модифицированной сети YOLOv11 (LND-Net) при наличии сильных атмосферных помех. Однако анализ выявил, что данная помехоустойчивость достигается ценой снижения точности и появления систематического смещения в определении координат в идеальных условиях, где традиционные алгоритмы работают точнее, но теряют работоспособность при определенном уровне шума.

Очевидно, что ни один из подходов не является универсальным решением. Это подводит нас к необходимости разработки адаптивного гибридного алгоритма, который сочетал бы в себе сильные стороны обоих методов: высокую точность классических алгоритмов в благоприятных условиях и отказоустойчивость нейросетевой детекции в зашумленной среде. Идея состоит в том, чтобы делегировать принятие решения о выборе метода специализированному блоку оценки качества изображения. Однако глобальная оценка всего кадра малоэффективна, поскольку помехи могут быть локальными. Для принятия решения о переключении между нейросетевым и классическим режимом (уточнением) в реальном времени требуется быстрая и надежная метрика оценки локального качества изображения в окрестности ключевой точки. Сравнительный анализ метрик качества на валидационной выборке показал преимущество использования критерия бимодальности (анализ гистограммы яркости, надежность > 94 %) перед метриками резкости (лапласиан, ~ 85 %) и локального контраста (RMS, ~ 91 %), что и определило выбор метода. Предлагается проверка критерия бимодальности распределения в окрестности каждой потенциальной ключевой точки, детектированной нейронной сетью. Сеть, разработанная в [11], обладая высокой помехоустойчивостью, выступает в роли «постановщика задачи»: она предоставляет первоначальные, пусть и не всегда самые точные, координаты ключевых точек. Эти координаты затем используются как центры областей интереса для более детального анализа. Для оценки качества изображения в окрестностях ключевых точек предлагается использовать анализ формы гистограммы яркости. Функциональная схема разработанного гибридного метода, иллюстрирующая потоки данных и логику переключения между нейросетевым и классическим контурами обработки, представлена на рис. 1. Детальный алгоритм работы блока «Анализ гистограммы», основанный на проверке критериев бимодальности, подробно описан в разделе «Блок оценки качества изображения».

Рис. 1. Функциональная схема адаптивного гибридного алгоритма Fig. 1. Functional diagram of the adaptive hybrid algorithm

Блок оценки качества изображения

В качестве примера, иллюстрирующего логику работы блока оценки качества изображения, рассмотрим этап детекции ключевых точек навигационного маркера. Под ключевыми точками в данной задаче понимаются углы контрастного маркера. Сам маркер необходим как референсный объект с заранее известными размерами, что позволит через решение задачи PnP (Perspective-n-Point) однозначно восстановливать положение и ориентацию летательного аппарата в пространстве. На рис. 2 представлено исходное входное изображение высокого качества без помех, в центре которого расположен целевой навигационный маркер.

Рис. 2. Изображение без шумов

Fig. 2. Noise-free image

Для принятия решения о том, что изображение не имеет значительных помех и классические алгоритмы обеспечат более высокую точность, проводится анализ локальных областей вокруг ключевых точек (рис. 3), детектированных нейронной сетью. В качестве метрики используется анализ гистограммы яркости и текстуры в окрестности каждой точки.

Рис. 3. Изображение с навигационными точками, полученные через нейросеть Fig. 3. An image with navigation points obtained through a neural network

Вокруг координат, предсказанных нейросетью, формируется область интереса размером 10 x 10 пикселей, как проиллюстрировано на рис. 4 (верхние фрагменты). Данная размерность выбрана экспериментально как оптимум: выборка из 100 пикселей статистически достаточна для формирования репрезентативной гистограммы и идентификации бимодальности, но при этом минимизирует вероятность захвата посторонних объектов фона, характерную для окон большего размера. Оценка вычислительных затрат на целевой платформе NVIDIA Jetson Orin NX показала, что анализ гистограммы для выбранной области занимает менее 10 мкс (< 0,01 мс). Это значение на три порядка меньше времени обработки одного кадра используемой нейросети LND-Net, которое составляет ~ 18–22 мс. Столь низкие накладные расходы (менее 0,1 % от времени обработки кадра) гарантируют работу алгоритма в реальном времени без внесения ощутимых задержек в контур управления бортового вычислителя.

Рис. 4. Окрестности ключевых точек Fig. 4. The vicinity of key points

К а к ви дно из н ижн и х ф р а гме н тов , п ред с та в л е н н ы х н а ри с . 4, выделенные окрестности пред в арительн о к он в е рти ру ю тс я в п олутоновое представление для алгоритма о ц е н к и ги с тог ра мм ы яркости. Размер окна 10 х 1 0 также выполняет функцию неявного пространс тв е н н ого фи ль тра: ес ли в с л е д с тв и е рас фо к у с и ров к и , смаза движения или других шумов ширин а п е ре х од н о й зоны г ра д и е н т а с та н ов и тс я с о п ос та в и мой с ра зме ром ок н а , б ол е е 3 –5 пикселей, гистограмма теряет би м ода л ьн ос ть, выро жд аяс ь в у нимодальное распределение «серых» тонов. В э том с л учае с и с те ма к лас с ифи ц и рует обла сть к ак н е при год н у ю д ля к ла сс и че ск ого у точн е н и я и сохраняет нейросе теву ю оц е н к у , и з бе га я г ен е ра ц ии ложных координат на размытых границах. При ме р ги с то грам мы я ркос ти ок рес тн ос ти клю чевой точк и п о к а за н на ри с . 5.

Рис. 5. Гистограмма яркости окрестности ключевой точки Fig. 5. Histogram of the brightness of the key point neighborhood

Как показано на рис. 5, в б лагоприятных условиях гистограмма характер и зу е тс я в ыраже н н ой би м ода л ьн ос ть ю : д в а п ик а ( чё рная и светлая части маркера) четко разделены обл а с ть ю н и зк их значений – «долиной » . Д ля и с к л ючения шума квантования учитываются тольк о л ок альн ые мак 1

симумы, превышающие адаптивный порог (- от высоты гистограммы). Наличие глубокой доли- ны между пиками подтверждает высокую контрастность границы, необходимую для работы классических алгоритмов.

Анализ гистограммы проводится следующим образом. Пусть H(i) - количество пикселей с яркостью i. Для устранения шума квантования выполняется сглаживание гистограммы фильтром Гаусса (о = 3). Далее проверяется выполнение следующих критериев бимодальности:

• 1)    число локальных максимумов гистограммы H(i), выделенных после сглаживания, равно 2;

• 2)    IP i -Р 2¹ > T_dis tance , где P i ,P 2 — позиции пиков (значения интенсивности), а T_distance = = 30 % - диапазон интенсивностей. Этот критерий гарантирует, что пики не слиплись;

• 3)    min_Pi< i _{(H(i)) < 0,3 max (H(p1),H(p2)). Данный критерий формализует требование к «глубине долины», гарантируя, что долина между пиками достаточно выражена.}

При ухудшении условий съемки (размытие, туман) четкая граница размывается, вследствие чего бимодальное распределение гистограммы деградирует в унимодальное (одногорбое). Как показано на рис. 6, гистограмма имеет единственный, часто широкий, пик, обычно локализованный в области полутонов.

Рис. 6. Гистограмма яркости окрестности ключевой точки с зашумлением Fig. 6. Histogram of the brightness of a noisy keypoint neighborhood

Для изображений, гистограмма яркости которых была классифицирована как выраженно бимодальная (согласно критериям, описанным выше), применяется автоматизированный подход к выбору порогов для алгоритма Кенни [13]. Метод Otsu [14] минимизирует межклассовую дисперсию и оптимален именно для бимодальных распределений. В условиях унимодального распределения (зашумленные сцены) метод может выдавать нестабильные пороги. Поэтому применение Otsu активируется только при подтверждении бимодальности через описанные выше критерии.

Для бимодальных гистограмм адаптивные пороги вычисляются на основе глобального порога Otsu (T_otsu). Значение нижнего порога t i _ow = 0,5T_otsu выбрано экспериментально, показав максимальную F-меру (0,94).

Данная методология позволяет использовать статистические свойства самого изображения для определения границ и, соответственно, углов, где верхний порог идентифицирует достоверные «сильные» ребра, соответствующие границе между классами, а нижний порог обеспечивает трассировку и включение связанных с ними «слабых» ребер, повышая таким образом надежность и воспроизводимость детекции контуров.

Оценка погрешности поиска ключевых точек при различных параметрах зашумления

В ра мк ах да н н ого исследов а ния для расчета погрешности, не зависящей от ра зме ра объек та н а изобра ж е н и и , а в т ор а м и п ре д л о же н а ме три к а SIOKS i , которая имеет вид

SIOKSi = ^, 1 bi где i - индекс ключевой точки; ai - евклидово расстояние между предсказанной А{ и размеченной Bi ключевыми точками с индексом i; bi - евклидово расстояние между размеченной ключе вой точкой с индексом i и противоположной ей относительно центра размеченной ключевой точкой (рис. 7).

Для оц е нк и с та б и л ьн ос ти и н ад е жнос ти алгоритма недостаточно анализа единич ны х о ш и бок . Не о б ход и мо оце н ить с та ти с ти че ск и е х а р а к те рис ти к и п о греш н ости н а ре пре зе н та тив н ом н аб оре да н н ых. Д ля э той ц е ли в ычи с ляе тс я 95%-ный дов е ри те льный и н те рв а л д ля м а те м а ти чес к ог о ожи да н и я ( и с т и н н ого с ре д не го ) погрешности SIOKS.

Для установ л е н и я ба зовы х п ок а за т е ле й точн ост и и э к с п е ри м е н тальн ой п ров е р к и те зи с а о к омпроми сс е м еж д у п оме хоу с той чи в ос тью и точн ост ь ю б ыл п р ов е д е н а н а ли з раб оты а лг о р итмов в и д е альных у с л ов и ях и в у с лов и ях с о к к люз и е й к л ю чев ых т о че к марк ера ( с лу ча й ,

Рис. 7. Пример возможной работы нейронной сети

Fig. 7. An example of how a neural network might work

при котором классические методы не работают). Использовались эталонные изображения высо- кого качества, не содержащие синтетических или естественных шумов, на которых навигационные маркеры четко различимы.

На рис. 8 пред с та в л е н ы 95% -ные доверительные интервалы для относительной ошибки S IOK S , в ычи с л е н н ой д ля к ажд ой из четырех ключевых точек маркера в иде а льных у с лов и ях . С ра в н е н и е пров одил ос ь ме жд у классическим методом, реализованным в биб ли оте ке Ope nC V , и р а з раб от а н н ой а в тора ми н е й росе те в ой архитек ту рой LND-Net (модификацией YOLOv11) [11].

0.000

Ключевая точка 1        Ключевая точка 2 Ключевая точка 3 Ключевая точка 4

Рис. 8. Доверительные интервалы для ошибок детекции при идеальных условиях для нейросети и классических методов

Fig. 8. Confidence intervals for detection errors under ideal conditions for neural networks and classical methods

Рис. 8 демонстрирует явное преимущество классического метода в идеальных условиях: верхняя граница доверительного интервала ошибки не превышает ~ 0,013. Нейросетевой подход, напротив, показывает в 2,5–3 раза более широкие интервалы (до ~ 0,034), что свидетельствует о существенно меньшей точности и стабильности позиционирования при отсутствии помех.

После а на ли за и де а льны х у с лов и й рассмотрим еще один критически важный для практического применения сценарий – ча с ти чн ую ок к лю зию ма рк ера ( ри с. 9). В таких условиях классическ и е ме то д ы, ос н ов а н ные н а п о иске замкнутых контуров или анализе углов ( н а п ри ме р, Ope nCV ), мгн ов е н н о п е рес таю т работат ь. Они либо не обнаруживают маркер вовсе, ли бо, что хуж е , вы дают ош и бочн ые к оор д и н аты, та к к ак с тру к ту ра у гла , к отору ю он и ищут, нарушена. Нейросетевой ком п он е н т, на п роти в , демон с три ру е т к л ю че в ое пре и му щ е с тв о – помехоустойчивость. Нейросеть сохра н яе т фун к ц и он а ль н ость при окклюзии одной из четырех ключевых точек .

Рис. 9. Пример маркера с перекрытием ключевой точки Fig. 9. An example of a marker with a keypoint overlap

Однако анализ (рис. 1 0) п оказывает, что ошибка локализации для перек р ы той точк и в озра стает до 15 % (с S IOK S от 0, 034 до 0,039). При этом видимые точки показыв а ют рос т ош и бк и м енее чем на 5 % , что у к а з ыв а е т н а отн ос и т е льн у ю помехоустойчивость внутреннего представления маркера в сети.

Рис. 10. Доверительные интервалы для ошибок детекции в условиях перекрытия ключевой точки маркера для нейросети и классических методов Fig. 10. Confidence intervals for detection errors under conditions of overlapping marker keypoints for neural networks and classical methods

Эт о н е значительное с н иж е н и е точн ос ти (15 % для одной точки) является допустимой платой за сохранение полной р а ботос п о собности системы в сценарии, который являе тс я фа т а льн ым д л я кла сс и че ск и х п од хо д ов . Б оле е т о го, эта ошибка может быть эффективно ком п е н с и ров а н а н а с ле ду ю щ е м э та п е об раб отк и ( н а п ример, в расширенном фильтре Калмана) за с че т и с п оль з ов а н и я временной коге рен т н о с ти и д а н ных от трех других, точно локализованных, то чек .

На рис. 11 п редс та в ле ны 95%-ные доверительные интервалы для относительной ошибки SIOKS, в ычи с ле н н ой д ля к ажд ой из четырех ключевых точек маркера в и д е а льных у с лов и ях . С ра в н е н и е пров одил ос ь ме жд у классическим методом, реализованным в биб ли оте ке OpenCV, и г ибри д ным а л гори тм ом на основ е LND-Net.

Рис. 11. Доверительные интервалы для ошибок детекции при идеальных условиях для гибридного метода с использованием LND-Net и классических методов Fig. 11. Confidence intervals for detection errors under ideal conditions for a hybrid method using LND-Net and classical methods

Анализ рис. 11 п о к а зыв ает, что гибридный алгоритм в идеальных условиях д ос ти гае т точн о сти , б ли зкой к кла сс и че ск ому методу на основе OpenCV. Это закономерно, та к к ак архи те к ту р а г ибри д а п о д ра зу м евае т п рям ое и спользование классического алгоритма для у точнен ия к оорд и н ат клю ч е вых точек п ри и д еальн ых условиях. Незначительное расхождение дове ри те льн ы х и н те рв а л ов об ъяс н яе т с я н е к а честв ом с а мого вычисления, а редкими ошибками моду ля п ри н ят и я ре ш е н и й , к огда с и с т е ма ош ибочн о оставалась на базовой нейросетевой оценке ( LND -Net), не пере клю чи в ш и сь н а точн ый кла с с и чес к и й ме то д .

Р ез у льтаты а н али за ба зо в ых показателей точности наглядно демонстриру ю т, что ис п ольз о в ани е иск лючи те льн о н ей рос е те вого метода для всех режимов работы неце ле с оо б раз н о. Точность LND-Net в бла гоп р и ят н ы х услов и я х, ус тупающая классическим методам, может оказаться н ед ос та точн ой д ля за д а ч в ыс ок оточной навигации, где ошибки локализации н а п ряму ю тра н с ли р уют ся в ош и б к и н а в и гац и онн о го решения. Полученные данные подтвержд а ю т н е о б ход и м ос т ь испо л ь з о вани я р аз р або т анной г ибр идно й схемы: при выявлении «благоприятных» условий (на основе ан а ли за ги с тогра мм ы) а к ти в а ц и я мод у ля у то чн е н и я ме тод ом Canny позволяет компенсиро в ат ь п огре ш нос ть н е й ро се ти , обеспечивая точность, сопоставимую с класси че с к и ми а л гори тмами, без потери общей пом е хоу с т ойчивости системы.

Для валидации эффективности предложенного гибридного алгоритма был проведен эксперимент на синтетически зашумленных данных. В качестве основы использовался фрагмент видео длиной в 100 кадров, записанный во время испытаний демонстратора двигательной установки. На исходное видео последовательно накладывались три типа слабовыраженных помех: аддитивный гауссов шум с низкой дисперсией, незначительное размытие по Гауссу и имитация легкого тумана. Важно подчеркнуть, что интенсивность всех помех умышленно подбиралась такой, чтобы визуальное качество изображения оставалось высоким, создавая, таким образом, условия, в кото- рых стандартные алгоритмы компьютерного зрения демонстрируют максимальную точность и превосходят по этому показателю чисто нейросетевой подход из [1]. Это позволило проверить ключевое преимущество гибридной системы – способность корректно идентифицировать «благоприятную» среду и переключаться на более точный метод.

На рис. 12 (низкий уровень тумана) и рис. 13 (низкий уровень размытия) представлено прямое сравнение относительной ошибки SIOKS для двух методов: эталонного классического (OpenCV) и предлагаемого гибридного алгоритма.

< Классические алгоритмы(ОрепС\/)

—•—Гибридный алгоритм на основе LND-Net

Рис. 12. Значения ошибки при низком уровне тумана Fig. 12. Low fog level error values

Рис. 13. Значения ошибки при низком уровне размытия Fig. 13. Error values at low blur levels

Графики на рис. 12, 13 демонстрируют, что при слабых помехах гибридный алгоритм вплотную приближается по точности к классическому методу. Это подтверждает эффективность критерия бимодальности: система успешно идентифицирует пригодные кадры и активирует уточнение. Незначительное отставание объясняется редкими ошибками классификатора 1-го рода (False Negative), когда благоприятные кадры ошибочно обрабатываются без уточнения, используя только нейросетевую оценку.

Рис. 14 представляет результаты ключевого валидационного теста, проверяющего вторую, не менее важную, функцию гибридного алгоритма: способность избегать применения классических методов в условиях, где они заведомо неэффективны и могут привести к деградации решения.

Рис. 14. Значения ошибки при низком уровне шума Гаусса Fig. 14. Error values at low Gaussian noise levels

В условиях аддитивного гауссова шума, как показано на рис. 14, классические градиентные методы теряют работоспособность из-за множества ложных микроградиентов. Гибридный алгоритм, идентифицировав сцену как зашумленную (отсутствие бимодальности), корректно блокирует этап уточнения и полагается исключительно на нейросетевую оценку. Это обеспечивает существенно лучшую точность (SIOKS) и меньшую дисперсию ошибки по сравнению с классическим подходом, подтверждая способность системы избегать деградации решения в сложных условиях.

Заключение

В работе предложен и протестирован гибридный алгоритм для навигации автономных БПЛА, призванный разрешить фундаментальный компромисс между помехоустойчивостью нейросетевых методов и точностью классических алгоритмов компьютерного зрения в благоприятных условиях. Разработанный подход совмещает разработанный авторами нейросетевой детектор LND-Net, обеспечивающий работоспособность при сильных помехах, и адаптивный модуль принятия решений, управляющий активацией точных классических алгоритмов. В основе работы модуля принятия решений в режиме реального времени лежит проверка критерия бимодальности локальных гистограмм яркости, что позволяет автоматически активировать субпиксельное уточнение только при наличии четких границ и блокировать его при шумах.

Экспериментальная валидация на синтетических данных, имитирующих слабовыраженные помехи (гауссов шум, размытие, туман), подтвердила эффективность предложенного решения. В условиях, где чисто нейросетевой метод [11] начинает уступать в точности, гибридный алгоритм корректно переключался на стандартные алгоритмы и успешно идентифицировал высокое качество изображения, тем самым демонстрируя более высокую точность позиционирования. Это доказывает, что система достигла своей основной цели – обеспечения высокой помехоустойчивости в сложных условиях при сохранении субпиксельной точности в благоприятных средах.

Таким образом, представленный гибридный алгоритм предлагает гибкое и эффективное решение для навигации в изменчивой внешней среде, согласуясь с актуальными исследованиями, подтверждающими высокую алгоритмическую устойчивость глубоких нейросетевых моделей при анализе изображений сложной структуры [15]. Перспективы дальнейших исследований видятся в усовершенствовании модуля принятия решений за счет введения более сложных признаков и машинного обучения, а также в проведении натурных испытаний в реальных сценариях с динамически меняющимися погодными условиями.