Применение системы технического зрения, реконструирующей трехмерную форму объектов космической техники

Тенденции развития промышленности в области космических аппаратов (КА) ставят все более сложные задачи перед мехатронными системами. Ввиду усложнения процессов компоновки КТК и солнечных батарей, текущие методы раскрытия конструкций становятся менее надежными и актуальными. Помимо этого, развитие орбитальных станций приводит к возникновению целого спектра задач. Одним из перспективных подходов является использование мехатронных манипуляторов, однако, функциональность их применения сильно ограничена заранее определенными при разработке алгоритмами перемещения исполнительного органа и манипуляций над объектами. В связи с этим, возникает необходимость в проработке новых подходов к нахождению и определению формы целевого объекта, для дальнейшего просчета алгоритма его взаимодействия со схватом мехатронного манипулятора. В статье приводится метод реконструкции трехмерной формы объектов, основанный на применении системы технического зрения. Для получения пространственных характеристик сцены используется стереокамера. На основе полученных данных, сцена разбивается на несколько независимых геометрических поверхностей, с последующей поэтапной обработкой нейросетевыми алгоритмами. На каждом из этапов алгоритма происходит извлечение требуемых параметров целевых объектов. В качестве архитектуры нейронной сети используется YOLACT EDGE, осуществляющая семантическую сегментацию и классификацию объектов. Отдельной задачей можно вынести соотнесение пространственных характеристик целевых объектов и замещающей трехмерной модели. Для обеспечения этого соотнесения архитектура нейронной сети была дополнена ветвью «Маска опорных точек», обеспечивающей прогноз позиций опорных точек объектов, однозначно определяющих пространственные характеристики целевого объекта. В результате, полученная система способна обеспечить построение трехмерной карты зоны обметания в режиме реального времени. Кроме того, на основе полученной телеметрической информации возможен просчет траектории движения исполнительного органа манипулятора и его взаимодействия с объектами.