Алгоритмы локализации объектов и адаптивного автономного управления робототехническими системами с использованием панорамного зрения для работы в недетерминированной технологической обстановке

Стремительное развитие автоматизации стимулирует рост промышленной робототехники; при этом локализация и распознавание объектов остаются ключевыми направлениями научных исследований [1]. Визуальные сенсоры являются базовой аппаратной основой для восприятия среды и точной локализации. Монокулярные камеры широко применяются благодаря низкой стоимости, однако не обеспечивают реконструкцию глубины [2]. Бинокулярные системы компенсируют данный недостаток, но характеризуются высокой стоимостью, ограниченным полем зрения (≤ 120°) и низкой адаптивностью к слабому освещению, что ограничивает их использование в задачах всенаправленного восприятия [3].

Активные системы зрения используют излучаемую энергию (например, структурированный свет), что позволяет уменьшить ограничения пассивных методов [4]. Всенаправленные камеры обеспечивают поле зрения 360° и повышают точность локализации, что обусловило их широкое применение [5]. Однако их моделирование затруднено из-за сильных оптических искажений, осложняющих извлечение признаков. Duan и соавт. [6] реализовали калибровку центральной катадиоптрической камеры через оценку сферического изображения и соответствующее отображение. В работе [7] авторами предложена усовершенствованная процедура калибровки за счет применения нелинейного метода наименьших квадратов, позволяющая сократить число этапов до трёх и повысить точность.

Несмотря на повышение точности калибровки всенаправленных камер за счёт рефракционных и статистических моделей, проблема устойчивого извлечения признаков при сильных искажениях остаётся нерешённой. Технология структурированного света [8] предложила новое направление решения данной задачи. В работе [9] авторами предложен алгоритм выделения структурированного света при фоновой освещённости, обеспечивающий автономную локализацию мобильного робота. В работе [10] авторами предложена модель

всенаправленного структурированного света и метод оценки позы в реальном времени для масштабной реконструкции глубины. В работе [11] авторы применили многолинейный структурированный свет и самокалибровку для коррекции искажённых профилей. Активная проекция структурированного света упрощает пиксельное сопоставление и обеспечивает точную реконструкцию глубины в компактных системах. Выделение структурированного света является ключевым фактором точности локализации. Традиционные методы извлечения центральной линии (экстремумов, центра тяжести, направленных шаблонов) [12] основаны на анализе яркости; они просты и быстры, однако отличаются низкой точностью и чувствительностью к помехам [13, 14]. Ранее исследования преимущественно использовали CCD-камеры в задачах сварки и вибрационного контроля. В работе [15] авторы предложили надежный метод извлечения центра полосы на основе анализа рассеяния и отражения. В работе [16] авторы предложили алгоритм на основе взвешенной яркости для быстрого и точного распознавания. Однако высокая общая яркость изображений всенаправленных систем затрудняет надёжное выделение лазерной полосы. При этом всенаправленные камеры фиксируют более сложную пространственную информацию по сравнению с традиционными системами.

В данной работе предлагается метод извлечения структурированного света и реконструкции глубины для монокулярных всенаправленных систем. Он использует многоуровневое пороговое объединение и улучшенную кластеризацию для точного извлечения и восстановления центральной линии в условиях помех. Метод преобразует информацию из снимка в координаты робота и использует нейронную сеть для сегментации, что улучшает распознавание и захват сложных объектов. Экспериментальная проверка на виртуальных и реальных платформах подтверждает высокую точность и помехоустойчивость метода, демонстрируя его практическую применимость.

Распознавание лазерной линии

В ал г оритме локализ а ц и и с и с тем а и сп ол ьз ует фишай-камеру для получения изображений структури рова н ног о свет а и вы числяет прост ранственную позу объекта по координатам пиксе лей лазерной поло с ы . Тр а дици о нны й подход о с н о ван на м о ди фи ци р ованно й RGB-пороговой фильтрации (рис. 1) и демонстрирует ог р ан и ч е н н ую у с т ойчи во сть к с лож н о му в н у тре н н е му освещен и ю . О д нак о из -за неравномерности и н е ста би л ь н ос т и л а зерной поло с ы м е тод п о две р жен п о мехам :

• 1 )    ни з кая отражате л ьная спос о б ность тёмных поверхностей снижает интенсивно с т ь сиг н ала;

• 2)    переэкспонировани е на высо коотражающих поверхностях вызывает его рассея ние ;

• 3 )    цветова я бл изост ь фон а к д ли не волны лазера приводит к ложным срабатыван и я м.

  

Рис. 1. Типы помех и результаты распознавания методом анализа цветового пространства RGB Fig. 1. Types of interference and the recognition effect of the RGB color space analysis method

Несмотря н а п р ос т о т у и вы чи сл ительную эффективность, традиционные методы обл а даю т о г ра н иче н н о й п о м ехоу ст о й чивост ь ю. Сн и жен ие экспозиции путём регулировки диафрагмы п о вышает контраст по лосы , о д н а к о ух у дшает к ачес т во и зображения и снижает точность распознавания и к ла с сифи к а ц ии объе к т о в. В связ и с эти м п ре длагаетс я метод многопороговой фильтрации лазерной поло с ы , о бе с п е чива ю щий высокую точност ь и з вле ч ения п ри с т анд а ртном внутреннем освещении с сохранением информативных признаков объекта.

В отличие от традиционных методов распознавания лазерных полос в RGB-формате, где сложно контролировать влияние яркости, предложенный метод анализирует изображения в HSV-формате. В HSV-модели изображение представлено тремя компонентами: оттенком (Hue), насыщенностью (Saturation) и яркостью (Value). После преобразования изображения лазерной полосы в HSV-пространство применяется цветовой порог для формирования маски redMask. Настройкой диапазонов H, S и V задается область лазерной полосы, а соответствующие пиксели сохраняются в redMask. Формула расчета представлена в уравнении redMask=(H∈[Hmin,Hmax])∧(S∈[Smin,Smax])∧(V∈[Vmin,Vmax]). (1)

Здесь redMask – маска л азерной пол ос ы; H , S , V – значения оттенка, насыщенности и яркости полосы; H min / H max , S min / S max , V min / V max – д и ап а з оны э ти х па р ам е тров.

Рис. 2 демо н стриру е т интерф ерометрическое изображение, преобразованное в формат HSV. На ис ходном и з ображен и и обла ст и со сл и шк ом низ к ой ил и высокой яркостью лазера и красные интерферен ци он н ы е об л аст и трудн о раз де лить с и сп ол ьзов а нием п ороговой фил ь трац и и в RGB-формате. Однако в формате HSV ла з ерная п ол оса явн о выделяется на фоне интерференционных облас т е й. Анализ и руя особенности лазерных полос при ра зн ых интерференционных условиях, мы выбрали соот в етст в у ющи е пороговые значения H , S и V дл я каж дой из них, как показано в таблице. Маски лазе рных п ол ос, п олуче н ны е п ри т рех типа х интерферен ц и и , обозначен ы ка к redMask1, redMask2 и redMask3, все в бинарном формате изображения.

Рис. 2. Интерферометрические изображения, захваченные в формате HSV Fig. 2. Captured interference images in HSV format

Выбор пороговых значений HSV при различных интерференционных условиях Selection of HSV image thresholds under various interferences

Код интерференции	H min	H max	S min	S max	V min	V max
1	0,9	1	0,9	1	0	1
2	0	0,3	0	0,1	0,9	1
3	0,92	1	0	1	0,92	1

Выделение осевой линии лазерной полосы

Поскольку лазерная полоса имеет конечную ширину, напрямую захваченное изображение не подходит для точного определения положения. В предыдущей процедуре извлечения лазерной полосы обработанное бинарное изображение эффективно сохраняет основные особенности световой полосы. Поэтому при выделении осевой линии применяются морфологическая эрозия и операция открытия, которые позволяют постепенно уменьшать форму целевой области, сохраняя геометрическую связность, и получать осевую линию. Эрозия последовательно удаляет пиксели переднего плана, а операция открытия устраняет шум и избыточные пиксели. Итоговая осевая линия получается как уточненное изображение, равное разности результатов эрозии и открытия, с вычислением по формуле от

S ( A ) = и [( A Q kB ) - (( A Q kB ) ° B )]. (2) k = 0

Здесь A – входное бинарное изображение; B – морфологический структурирующий элемент, обычно матрица 3×3 или 5×5, задающая масштаб и направление эрозии; Q - операция эрозии; ° - операция открытия.

При повторе указанных операций до невозможности дальнейшего уменьшения области переднего плана оставшиеся пиксели образуют осевую линию световой полосы.

зования лазерной плоскости; X , Y , Z – пространственные координаты проекции лазера. Многочлен f (ρ) может быть записан следующим образом в уравнении (4):

f ⁽ P ) = a о + a 2 P ² +•••+ a N P N ; (4)

P = 7^{( u - u} r ⁾² + ⁽ v ^- v r ⁾² ,                      ⁽⁵⁾

где a i – коэффициенты; N – степень; точки u c и v c – центр изображения.

После получения координат лазерной точки в системе координат камеры необходимо преобразовать их в систему координат робота для выполнения планирования траектории и захвата. В результате предварительной калибровки плоскость XY камеры была выровнена с рабочей плоскостью робота, то есть оси Z обеих систем координат параллельны. Поворот камеры вокруг оси Z не влияет на расчет расстояния от пикселей до оптического центра, но в процессе преобразования координат напрямую изменяет ориентацию целевой точки в пространстве, поэтому в итоговой матрице преобразования координат требуется лишь компенсировать угол поворота вокруг оси Z .

Рассчитав положение камеры «рыбий глаз» в системе координат робота и угол ее поворота вокруг оси Z , можно определить координаты лазерной точки в системе координат робота. Формула преобразования:

Расчет координат положениялазерной полосы

После получения изображения лазерной полосы с использованием координат пикселей и внешней матрицы параметров камеры «рыбий глаз» можно вычислить трёхмерные координаты цели в системе координат робота. Метод вычисления по-

x r ’		cos 0	sin 0	0	xr ■	■ X
yr	—	- sin 0	cos 0	0	У г	Y
zr	=	0	0	1	z r	- tL
1 _		1 0	0	0	1 _	_ 1

ложения лазерных точек в этом исследовании является модификацией подхода, предложенного в работе [8]. Расстояние между лазерной точкой и проекцией центра камеры «рыбий глаз» на лазерную плоскость задается формулой

u

v

. f ⁽ Р )

xl rir

cc r2c   r3c

r ₁ ^l

ll r2l r3l

X

Y

Z

= 0, (3)

где u , v – координаты пикселя на изображении;

ccc r1 , r2 , r3 – векторы матрицы вращения камеры;

параметры r ₁ ^l , r ₂ ^l , t ^l – векторы матрицы преобра-

Здесь X , Y – координаты лазерной точки в системе координат камеры; t L – расстояние между камерой «рыбий глаз» и лазерной плоскостью; θ – угол, на который система координат камеры поворачивается по часовой стрелке вокруг оси Z для согласования с системой координат робота; x_c , y_c , z_c – положение камеры «рыбий глаз» в системе координат робота; x_r , y_r , z_r – положение лазерной точки в системе координат робота.

Планирование траектории движения робота SCARA

В данном исследовании робот SCARA описывается с использованием параметров Денавита – Хартенберга (D–H). На основании целевой позиции и ориентации, полученной системой лазерного позиционирования с «рыбий глаз», движение

и вращение конечного эффектора в трехмерном пространстве описываются с помощью однородной матрицы преобразования T (см. уравнения (7), (8)). Далее с помощью алгоритма обратной кинематики вычисляются углы всех сочленений, что позволяет точно перемещать конечный эффектор робота к целевой точке.

Rp 01

xr p = Уг

zr

Здесь R – матрица вращения 3× 3 , описывающая ориентацию конечного эффектора; p – вектор трансляции 3×1, задающий положение к о нечного эффе ктора; T – однородная матрица 4×4; x_r , y_r , z_r – ко ор д инаты ц е л ево й точки, изме р енные системой лазер н ого позицио н ирования с к амерой.

В данн о й р або те для решения обратно й кин е матики робота испо л ьзуется числ ен ный итер а ц и о н ный ме т од. Основная и д ея метода заключается в лок а ль н ой линеариз а ц и и нел и нейных кинематиче ских ур а внений и итерационной корректи р овке п е ре м енн ы х в пространстве сочленений с исп о л ьз о ва ни е м обр ат ной свя з и по ошибке позиции и ориен тации конечного эффектора в дек а ртовом п р о ст ранс т ве. Для вычисления при р ащен и й у г л о в сочленений используется м ето д д емпфир о ванны х н аим ен ьших квадратов (Damped Least Squares ), фор м ула расче т а к о то р ого пр ед ставлена следующим о б разом:

- 1

Д q k = J T ( q _k ) ( J ( q k ) J T ( q k ) + X ² 1 ) e_k . (9)

Здесь J ( q_k ) – матрица Якоби на k -й итерации; λ – демпфирующий коэффициент для подавления сингулярностей; I – единичная матрица; e k = x target f ⁽ q k ^).

Углы сочленений обновляются итерационно по формуле qk+i = qk+Д qk. (10)

Итерации прекращаются, когда норма отклонения e_k становится меньше заданного порога сходимости € .

Для планирования траектории используется метод пятой степени многочлена, позволяющий задать параметры движения углов сочленений робота от начального положения к целевой точке. Формула вычисления приведена в уравнении, которое описывает изменение углов сочленений робота во времени:

q (t ) = @ o + a i t + a 2 1^ + аз^ + a 4 1^ + a 5 1^ . (11)

Экспериментальные исследования и анализ

Экспериментальная платформа включает линейный лазер 650 нм и промышленную фишай-камеру HF890. Вычислительная система оснащена процессором AMD Ryzen 5 5600U (2,30 ГГц, 6 ядер) и 16 ГБ ОЗУ. Использованы MATLAB R2022a, Unity3D 2022.1.9 и Arduino IDE.

Для оценки устойчивости к множественным помехам выполнено выделение лазерной полосы на объектах различных материалов и цветов (рис. 3а). Традиционные методы с фиксированным порогом не обеспечивают корректного распознавания тёмных (низкая отражательная способность)

а)

b)

Рис. 3. Сравнение выделения лазерной полосы при различных помехах (а) и результат извлечения её центральной линии (b)

Fig. 3. Comparison of laser strip extraction effects under various interferences (a) and extraction effect of the laser strip center line (b)

и светлых (высокая отражательная способность) объектов и чувствительны к псевдокрасным зонам; в восьми тестах достигнута лишь частичная детекция. Предложенный алгоритм использует маскирование с адаптивной антиинтерференционной пороговой обработкой и фильтрацию шума, обеспечивая полное выделение полосы во всех сценариях без влияния фона. Полученные результаты полностью согласуются с моделированием. Для проверки модифицированного алгоритма плотностной кластеризации проведено выделение центральной линии на трёх группах бинарных изображений (рис. 3b). Алгоритм корректно определяет принадлежность пикселей в многополосных сценах, выполняет классификацию сегментов и устойчиво извлекает центральную линию лазерной полосы.

Для проверки точности алгоритма глубинной реконструкции проведены эксперименты. Начальная система координат фишай-камеры совмещена с системой координат робота (взаимная ориентация – 180°). Объектом служил куб со стороной 2 см; координаты его центра вычислялись аналогично виртуальному эксперименту.

На рис. 4 приведено сравнение экспериментальных результатов двух алгоритмов. Из-за физических характеристик лазера и дистанции проекции ширина полосы превышала 4 мм, что существенно увеличивало погрешность глубинного расчёта традиционного метода. Переменное освещение вызывало ложную детекцию структурированного света и формирование некорректной глубинной информации.

Распределение невязок (рис. 5а) показывает высокую концентрацию точек около нуля, что свидетельствует о стабильности прогноза при изменении расстояния и наличии помех. Улучшенный RGB-метод характеризуется рассеянным распределением и появлением выбросов при интенсивной засветке. Количественный анализ (рис. 5b)

Рис. 4. Сравнение вычисленных координат центра целевого объекта

Fig. 4. Comparison of the calculated center point coordinates of the target object

40-

35 -

Предыдущий метод (без помех) Улучшенный метод (без помех) Предыдущий метод (с помехами) Улучшенный метод (с помехами)

Предыдущий метод метод (без помех)

Улучшенный метод (без помех)

Предыдущий метод метод (с помехами)

Улучшенный метод (с помехами)

а)

b)

Рис. 5. Сравнение экспериментальных ошибок вычисления координат: a – диаграммы рассеяния невязок по осям X и Y для двух алгоритмов; b – суммарная ошибка позиционирования

Fig. 5. Comparison of the calculated center point coordinates of the target object: a – scatter plots of the localization residuals along the X - and Y -axes for the two algorithms; b – total distance error computed for each method

Рис. 6. Валидация роботизированного захвата

Fig. 6. Validation of a robotic gripper

п о казал: без помех ср е дняя оши б ка со с тави л а 4,21 мм против 5,76 мм у традиционного метода (–26,9 %). При нали чи и помех ошиб к а традиционного подхода возросла до 18,08 мм, тогда ка к пре д лож е нный алгоритм сохранил уров е нь 5,57 мм. В экстремальных ус ловиях сни ж ение погрешнос т и достигло 69,18 %, что п одтверждает в ысокую т оч н о сть и помехоустойчиво с ть м етода .

На рис. 6 п ок азаны резуль т аты т е ста робот изированного захвата. Разработанна я сис т ема п ла н и рования траектории обеспечила ко р ректный расчёт движения к ц е л евой т оч ке и его загрузку в контроллер робо т а, что позволило успеш н о в ыполнить захват объекта.

Заключение

Предложен метод выделения структурированного света и позиционирования на основе все- направленной визуальной системы. Интеграция многопороговой фильтрации и усовершенствованного алгоритма извлечения центральной линии обеспечила высокоточное распознавание полосы при сложном освещении и различных типах поверхностей. Метод снижает чувствительность к внешнему освещению и уменьшает требования к предварительной обработке проекции. Эксперименты подтвердили значительное повышение точности позиционирования системы всенаправленной глубинной реконструкции по сравнению с традиционными подходами и её успешное применение в задаче роботизированного захвата. В дальнейших исследованиях планируется применение нейросетевых методов для повышения быстродействия и адаптации к сложным условиям, что позволит расширить интеллектуальные возможности системы.