Интеллектуальное когнитивное управление роботизированными социотехническими системами: квантовые сквозные ИТ в объяснительном сильном ИИ для проекта «Индустрия 5.0»

Статья находится в открытом доступе и распространяется в соответствии с лицензией Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная (CC BY 4.0)

INTELLIGENT COGNITIVE CONTROL OF ROBOTIC SOCIOTECHNICAL SYSTEMS PT 3: QUANTUM END-TO-END IT IN STRONG XAI FOR THE PROJECT “INDUSTRY 5.0” APPLICATIONS

Kapkov Roman Yu.1, Tyatyushkina Olga Yu.2, Ulyanov Sergey V.3

1Teacher-researcher;

Dubna State University,

19 Universitetskaya Str., Dubna, Moscow region, 141980, Russia; e-mail: info@kapkov. pro.

2PhD in Engineering sciences, associate professor;

Dubna State University;

3Grand PhD in Physical and Mathematical Sciences, professor;

Dubna State University;

19 Universitetskaya Str., Dubna, Moscow region, 141980, Russia;

Chief Researcher;

Joint Institute for Nuclear Research;

Введение. Квантовые когнитивные вычисления в интеллектуальной робототехнике: Модели и алгоритмы

Развитие новых видов робототехники и возрастающие потребности в роботах в промышленных / непромышленных сферах (особенно для применения в катастрофических ситуациях типа техногенных аварий или коронавирус) предопределило новое направление - интеллектуальное когнитивное управление роботизированными социотехническими системами [1-7]. Одной из основных проблем стала необходимость исследования взаимодействия человека-оператора с роботом и перераспределения зон ответственности между роботами в коллективе (толпе — swarm) роботов, человеком — оператором и роботом, а также выявления предельных возможностей допустимой работоспособности (Affordance / Kansei / Kawaii Engineering) роботов в различных проблемно-ориентированных областях [4-7].

На рис. 1 приведена структура построения такого рода интеллектуальных когнитивных систем управления для различного рода роботов в «Индустрия 4.0 / 5.0».

Технологии интеллектуальных когнитивных вычислений находятся в стадии своего становления для создания требуемой платформы программно-алгоритмической и аппаратной поддержки таких социально и экономически ответственных роботизированных социотехнических систем и разработки соответствующих учебно-образовательных университетских программ для подготовки нового поколения ИТ-специалистов. Традиционный подход к построению робототехнических систем на основе проектирования кинематики и динамики с применением, например, уравнений Лагранжа 2-го рода с многочисленными ограничениями и оптимизация интеллектуальных регуляторов на основе методов оптимального управления является необходимым, но недостаточным условием для построения интеллектуальных когнитивных роботов. Для повышения мобильности, адаптивности и работоспособности необходимо вводить (дополнительно к уровню обучения) когнитивный уровень и уровень коммуникации с внешней средой [3-5]. Технологии интеллектуальных когнитивных вычислений находятся в стадии своего становления для создания требуемой платформы программно-алгоритмической и аппаратной поддержки таких социально и экономически ответственных роботизированных социотехнических систем и разработки соответствующих учебно-образовательных университетских программ для подготовки нового поколения ИТ-специалистов [1].

Одной из таких интеллектуальных ИТ является объяснительный искусственный интеллект ( Explainable Artificial Intelligence - XAI) [4,8-10], основные положения которого рассмотрим кратко ниже. Здесь отметим, что для оценки работоспособности и расширения возможностей применения робота необходимо применять технологию оценки предельных возможностей на основе affordance computing и Kansei / Affective Engineering .

Объяснительный искусственный интеллект (XAI) и технологии интеллектуальных вычислений в когнитивной робототехнике применяют также исчисление допустимой работоспособности (affordance computing) и когнитивные эмоциональные вычисления. Принципиальная идеология XAI [8, 9] и ее отличие от традиционной модели ИИ приведена на рис. 2.

Для того, чтобы придать такого рода системам элементы восприятия внешней среды, погрузить в поведенческие реакции и принятие решений интеллектуального когнитивного робота также элементы интуиции, сознания, инстинкта, эмоции, необходимо разработать соответствующие модели с корректной физической интерпретацией и программно-алгоритмический инструментарий для реализации в аппаратной части робота. Достаточно также привести пример трудностей при разработке объяснительной процедуры роботу логики пространственно-временных отношений, построения метрики пространства-времени, логики действий и т. п. В этом случае необходимо расширить пояснительный базис и разработать интерфейс пользователя с возможностью физической интерпретации полученного результата обработки данных.

Рис. 1. Принципиальная структура и концепция разработки интеллектуальных когнитивных систем управления автономными роботами

Когнитивный

уровень

Современность

*he~-bb гвисивь тИВ«С■Г „ ЕЕ^ИЯНР—► .«В-кУГ

ЧШ-ьМлИП спаивав

обучения

Обучающие выборки данных

Развитие

Ежвг^иэ гвагиве : HD U. I

тв-fcy’ WdfiDf БНёыШм!

Новая

модель обучения

обучающие выборки данных

^■B^tIS QDBBBBta ван «И.т V

■■■!*И»3 Tia«»3»eiri 1Г(^ш^в;сСкП

Уровень коммуникаций

Это кошка (P =-93) вероятность

Обучающие функции Результат нейронной сети

..     ..

mt nn Ж’it hi’I ■'t-

Модель объяснений

Новый

процесс обучения

Квантовые мягкие вычисления

пользователь I

Искусственный интеллект

• • Why did you do that?

• •    Why not something else?

• •    When do you succeed?

• • When do you fail?

• • When can I trust you?

• How do I correct an error?

XAI - объяснительный искусственный интеллект

Да, кошка: • усы, когти, ’ ярость;

I Интерфейс пояснений

Модель объяснений

пользователь

I understand why

I understand why not

I know when you'll succeed

I* I know when to trust you ld_knowwh£you erred_ _

Квантовые когнитивные вычисления

Интерфейс

пояснении

Рис. 2. Принципиальная идеология построения XAI и отличие от ИИ-систем

Роль взаимодействия человека-оператора и робототехнических систем на основе когнитивных нейроинтерфейсов отражена на рис. 3.

Рис. 3. Производственные когнитивные роботизированные линии на основе нейроинтерфейсов

Такие системы существенно повышают гибкость производственных линий и надежность производства, включая т. н. риск «человеческого фактора» [10-13].

Особое значение такие системы приобретают в задачах построения роботов сервисного обслуживания и помощи престарелым, контроля состояния детей-аутистов и др. (см. рис. 4).

Рис. 4. Система контроля и управления состоянием ребенка на основе когнитивного робота сервисного обслуживания

Используя зоны узлов коры головного мозга (см. левый рисунок на рис. 4), отвечающих за жизнедеятельность ребенка и применяя игровые ситуации (см. правый рисунок на рис. 4) когнитивный робот воздействует своим поведением на соответствующие узлы нейронной сети коры головного мозга ребенка, управляя его эмоциональным состоянием [4]. При этом особую роль играет фактор доверия ребенка действиям робота [14].

На рис. 5 показана основная идея управляющего воздействия на кору головного мозга пациента, используя принцип минимума свободной энергии эмоционального равновесного состояния (см. стр. 35, (П.1) и рис. П.8 [3]).

Рис. 5. Иллюстрация принципа минимума свободной энергии при достижении эмоционального равновесия при когнитивном взаимодействии человек-робот

Применение принципа свободной энергии [3] совместно с информационной оценкой термодинамической эффективности взаимодействия роботов в конфигурации с человеком-оператором вида

z ,  дH / дx

п ( x ) =        , где H - информационная энтропия Шеннона и I - мера информации Фишера [3]

У ’     11 dx дает возможно организовать равновесное [4] эмоциональное состояние и комфортное взаимодействие робота с ребенком.

Для оптимального планирования роботом своих действий (особенно в условиях неопределенности информации о целях и состояния внешней среды, в которой не обходимо выполнять технологические операции) разрабатывается подход к оценке роботом своих функциональных возможностей по измеряемой информации свойств окружающей среды и соответствия намерений производимых действий, необходимых для достижения поставленной цели управления. Отметим, что свойство объекта или среды, которое позволяет произвести с этим объектом или фрагментом среды те или иные действия, носят название аффорденс ( affordance ) — отображение готовности (пригодность) объекта совершить полезное действие. Например, роботу необходимо взять кружку с ручкой. Роботу удобнее это сделать, передав команду захватному устройству обнаружить ручку, выбрать позицию для захвата, приблизится на необходимое расстояние, манипулятору оценить возможности совершить действие с имеющимися степенями свободы и т. п. операции, прежде чем совершить технологическую операцию. Еще более сложный случай выбора и захвата предмета в беспорядочно сложенной группе.

На рис. 6 приведены примеры аффорденс вычислений для выбора предмета и его захвата с целью и намерением выбора предмета с учетом ограничений в беспорядочной группе. В общем случае действия робота совершаются в вероятностном представлении окружающей среды и возможностей совершения над объектом полезных действий. Формальную когнитивную модель робота, взаимодействующего с внешней средой и заданной моделью намерений действий, можно записать в следующем виде [4]:

K

P ((L, S, G, 0G| I, H, E, 0l , 0 s )=П P (L k\l, Hk, Ek, 0l )

X

k = 1 ⁴------------------V------------------'

семантический аффорданс

X P(Sk |Lk, Hk, Ek,0S) P(Gk 0) P(®G |Lk, Hk. Ek)

пространственный аффорданс

временной аффорданс

, где A = Ээффект, ( объект, поведение )^ , G ( A H , E, I ) = ^ , ^L , S, G^ определяет набор свойств возможностей работоспособности робота, ^L - метка семантического определения работоспособности над свойствами объекта, например текучий материал; ^S - пространственное распределение свойств работоспособности робота; ^G - траектория движения робота, например, 6 DoF (степеней свободы), локализация / ориентация во времени.

Таким образом, имеем G ( эффект, ( объект, поведение ) | Я , E , I ) = ^L , S, G^ - платформа определение возможной работоспособности робота, для которого определены агент H , который принимает во внимание возможности объекта, например, сидеть за маленьким столом большого робота; намерения I агента, которыми определяется какую работоспособность над объектом можно произвести, например, агент хочет сесть на стул, который находится в движении; область событий E , принимающая во внимание физические ограничения качество поведения, например, возможность агенту-роботу поднять предмет, если этому действию есть противодействие.

На рис. 6 выделен «пример», который иллюстрирует приведенную методологию применения аф-форденс исчисления в управлении роботом-манипулятором для оценки событий с помощью цифровой видеокамеры, выбор предмета в соответствии с намерением удобного захвата куклы из беспорядочного набора предметов, выбор позиции захвата и успешного совершения работоспособного действия [15].

Рис. 6. Примеры выбора и захвата объекта в беспорядочном наборе группы предметов

На рис. 7 схематично изображены взаимосвязи введенных понятий и обозначений.

Рис. 7. Взаимосвязи понятий намерение, агент, и внешние события для формирования основы аффорденс исчисления в среде функционирования робота L,S,G

В рассмотренном примере когнитивность проявляется в формировании у робота сценария интеллектуального поведения за счет формирования набора свойств возможностей работоспособности робота в оцениваемой агентом внешней среды функционирования и применения самоорганизации при формировании стратегии определения позиции искомого предмета с учетом обнаруженных ограничений на исходную позицию объекта с точки зрения удобства доступа (выбрана рука куклы).

Пример развития когнитивных способностей автономного робота с учетом приведенного аффор-денс исчисления приведен на рис. 8.

Рис. 8. Применение когнитивного силового управления одноколесным роботом с манипулятором для открытия двери с очувствленным захватным элементом

В случае структурной схемы управления одноколесным роботом со встроенным манипулятором (слева на рис. 8) в контур управления введены традиционный ПД-регулятор (позиционное управление одноколесным роботом) и когнитивный регулятор, вырабатывающий силу управления манипулятором совместно с информацией о позиции робота перед дверью. При этом силовое управление осуществляется по информации от внешнего источника (датчика контакта захватывающего устройства) с объектом захвата (ручкой двери), роль которого выполняет блок «Оценка импеданса». При этом автономный одноколесный робот представляет собой глобально динамически неустойчивый нелинейный объект с несущим на борту манипулятором [16-18].

Таким образом, гибридный когнитивный контроллер способен справиться со сложной задачей управления в динамически изменяющейся неизвестной среде за счет применения информации измерения динамического изменения параметров среды и принятия решения о координационном управлении положения робота и манипулятора при намерении выполнения операции «открыть дверь».

Из приведенных результатов видно, что с развитием программного обеспечения и возможностей аппаратных средств робототехники, появления отраслей больших данных и искусственного интеллекта (далее - ИИ), когнитивным вычислениям, а также более общему квантовому когнитивному исчислению, уделяется значительное внимание как в академических кругах, так и в промышленности.

Когнитивные вычисления в интеллектуальной робототехнике

В первую очередь, остановимся на особенностях технологии когнитивных вычислений.

Технологии интеллектуальных когнитивных вычислений для создания требуемой платформы программно-алгоритмической и аппаратной поддержки таких социально и экономически ответственных роботизированных социотехнических систем и разработки соответствующих учебно-образовательных университетских программ для подготовки нового поколения ИТ-специалистов находятся в стадии своего становления. Традиционный подход к построению робототехнических систем на основе проектирования кинематики и динамики с применением, например, уравнений Лагранжа 2-го рода с многочисленными ограничениями и оптимизация интеллектуальных регуляторов на основе методов оптимального управления является условием необходимым, но недостаточно для построения интеллектуальных когнитивных роботов. Для повышения мобильности, адаптивности и работоспособности необходимо вводить (дополнительно к уровню обучения) когнитивный уровень и уровень коммуникации с внешней средой.

Одной из таких интеллектуальных ИТ является объяснительный искусственный интеллект ( Explainable Artificial Intelligence - XAI) , основные положения которого рассмотрим кратко ниже. Для оценки работоспособности и расширения возможностей применения робота необходимо применять технологию оценки предельных возможностей на основе affordance computing и Kansei / Affective Engineering .

Объяснительный искусственный интеллект ( XAI ) и технологии интеллектуальных вычислений в когнитивной робототехнике: исчисление доступной / допустимой работоспособности ( affordance computing ) и когнитивные эмоциональные вычисления.

Принципиальная идеология XAI [8-10] и ее отличие от традиционной модели ИИ приведена на рис. 9.

Современность

"гагами

■e!iniS-> Процесс

SBI*Btl обучения

ПВ4ЦВ0П BBE1KSI -------

Обучающие выборки данных

Обучающие функции Результат нейронной сети

Квантовые Искусственный интеллект мягкие г^ТТ^Т--1—'1—X-- вычисления -W did you do that? | x—x । >Why not something else? । I 1' ‘When d° V°u succeed? \ ® /' 'When do you fail? \27 I ‘When can I trust you?

пользователь ' How jo korre(£an_er^

Развитие

Да, кошка:

• усы, когти, ярость;

мНВ^гМ геадимь шБ M - У

IWB’i^i

£i^£^^^

объяснений

XAI - объяснительный искусственный интеллект

• I understand why

Интерфейс пояснений

<^ • I understand why not

Iknow when У011’11 succeed ^ _ V? I I* I know when you’ll fail " I’I know when to trust you 7“

Idjcnowwh^you erred. _

Новый процесс обучения

Модель объяснений

пользователь

Квантовые когнитивные вычисления

Рис. 9. Принципиальная идеология построения XAI и отличие от ИИ-систем

Для того, чтобы придать такого рода системам элементы восприятия внешней среды, погрузить также элементы интуиции, сознания, инстинкта, эмоции, необходимо разработать соответствующие модели с корректной физической интерпретацией и программно-алгоритмический инструментарий для реализации в аппаратной части робота. Достаточно также привести пример трудностей при разработке объяснительной процедуры роботу логики пространственно-временных отношений, построения метрики пространства-времени, логики действий и т. п. В этом случае необходимо расширить пояснительный базис и разработать интерфейс пользователя с возможностью физической интерпретации полученного результата обработки данных.

Когнитивное управление робототехническими системами на основе нейроинтерфейсов типа «компьютер – мозг – исполнительное устройство»

Построение точных математических моделей робототехнических систем, адекватных плохо формализуемым и слабоструктурированным моделям сложных физических объектов, наталкивается, с одной стороны, на многочисленные трудности установления и описания физических закономерностей динамических взаимосвязей свойств (часть из которых скрыты от наблюдения или измерения), а потому имеют неточную формулировку соответствующего физического закона. С другой стороны, сложность математической модель в виде стохастических дифференциальных уравнений с существенно нелинейными перекрестными связями обобщенных координат не имеет аналитического решения в явном виде. Разработка алгоритмов и систем управления такими объектами вносит свои существенные трудности. В результате стали исследоваться возможности обойти и избежать указанные трудности, напри- мер с помощью глубокого машинного обучения, работая непосредственно с физической моделью объекта, обрабатывая информацию измерения (наблюдения) о его поведении и применяя полученную информацию для управления исполнительными устройствами, совершающими полезную работу.

Таким образом пришли к исследованию нейроинтерфейсов на основе глубокого квантового машинного обучения и применения такого рода устройств в практике управления роботами [4].

Примеры интеллектуальных когнитивных роботов в Индустрия 5.0

В качестве примера на рис. 10 приведен нейроинтерфейс управления роботом-манипулятором, в котором участвует человек-оператор, применяющий и подающий ментальные команды управления в виде электроэнцефалограмм (ЭЭГ) непосредственно на исполнительные устройства робота-манипулятора.

(a)

(б)

(в)

Рис. 10. Концепция и примеры применения нейроинтерфейса для (а) приготовления пищи; (б) управления кирпичной кладкой; (в)укладки кирпича и игры в шахматы с помощью когнитивного управления роботом-манипулятором

Разработать точные модели в соответствии с указанными определениями практически невозможно, а применение непосредственно данного типа нейроинтерфейса позволяет избежать преодоления упомянутых трудностей, что указывает на новые возможности управления сложными физическими объектами без определения его точной математической модели.

На рис. 11 приведены характерные примеры [4] эффективного применения подобного рода нейроинтерфейсов.

Рис. 11. Примеры применения нейроинтерфейсов управления роботами сервисного обслуживания людей с физическими недостатками и пожилых людей, склонных к деменции

Особое место занимает разработка нейроинтерфейсов и соответствующих роботов сервисного обслуживания для детей-аутистов и пожилых людей, склонных к деменции.

На рис. 12 приведены примеры разработок подобного рода устройств оказания помощи при указанных видах заболевания и проведения сложных хирургических операции в реанимационных отделениях.

Рис. 12. Примеры роботов сервисного обслуживания для детей-аутистов, ухода за тяжелобольными пациентами и проведения сложных хирургических операций

В отдельную область выделилось когнитивное управление подвижными автономными роботами типа автомобиль (рис. 13) и летательные беспилотные аппараты типа дроны (рис. 14) и т. п.

NVIDIA Jetson

OpenBCI

Cyton WiFi Shield n              Elastic EEG net,

LCD screen dry electrodes

Рис. 13. Когнитивное управление автономными подвижными роботами

Рис. 14. Примеры когнитивного управления подвижными летательными и наземными беспилотными аппаратами

Примеры вспомогательных роботов сервисного обслуживания с когнитивным управлением [19] показаны на рис. 15.

Рис. 15. Вспомогательные роботы сервисного обслуживания.

Приведенные (различные по своей физической природе) роботы имеют единый принцип и систему интеллектуального когнитивного управления. В основу построения структуры интеллектуальной системы управления положены принципы квантовой программной инженерии и робастного интеллектуального когнитивного управления.

На рис. 16 и 17 приведена концепция и пример встраиваемых процессоров в живой организм (мозг жука) [20] и обезьяны (рис. 18) [4] для навигации коллективов биоинспирированных роботов и улучшения захвата деформируемых предметов дроном или манипулятором с очувствлением захватывающего устройства через нейроинтефейс.

Рис. 16. Концепция и пример встраиваемых процессоров в живой организм (мозг жука).

Рис. 17. Беспроводная камера с механическим управлением, установленная на жука-чернога и небольшого робота (A); Камера с беспроводным управлением, прикрепленная к брюшку живого чернотелого жука. (B) Беспроводной автономный наземный робот с управляемой системой технического зрения. Камера может транслировать видео на смартфон, который также может давать команду роботу перемещать и панорамировать камеру влево или вправо. (C) Покомпонентное изображение, показывающее все компоненты системы управляемой камеры, включая чип Bluetooth, камеру и оптику, роботизированную голову, высоковольтную электронику и аккумулятор. (D) Схема, показывающая компоненты механизма, используемого для управления камерой. (E и F) Крупные планы, показывающие движение шарнира при панорамировании камеры вправо и влево.

Рис. 18. Встраиваемые биопроцессорные системы навигации и захвата деформируемых предметов обезьяной

Примеры встраиваемых биопроцессорных систем навигации и захвата деформируемых предметов дроном с авиа-манипулятором и роботом-манипулятором [21, 22] приведены на рис. 19.

Рис. 19. Встраиваемые биопроцессорные системы навигации и захвата деформируемых предметов дроном с авиа-манипулятором и роботом-манипулятором

Как следствие, сформировалось несколько производителей квадрокоптеров для исследований / экспериментов и гражданского использования. На рис. 20 показаны некоторые из самых популярных квадрокоптеров, производимых аэрокосмическими компаниями или университетами.

(a) Parrot AR. Drone               (b) DraganFlyer X4

(d) UPenn GRASP Lab.: Swarm of nano quadrotors

(e) MIT: Variable-pitch quadrolor

(с) ETH Zurich project: Quadrotors build a wall

О

()

(е)

Рис. 20. Некоторые популярные квадрокоптеры и исследовательские проекты (f) пролет квадрокоптера через 90-градусное окно; (е) квадрокоптер, стоящий на поверхности под углом 120 °

Несмотря на то, что такая информация, как масса и момент инерции захватываемого блока (см. рис. 20, с), не передается адаптивному контроллеру режима скольжения, в целом манипуляция проходит успешно благодаря надежности контроллера режима скольжения. На этапе захвата среднеквадратическая ошибка положения квадрокоптера составляет всего 2,08 см.

На рис. 21 показана последовательность изображений, сделанных в задаче захвата.

(а)

(б)

(в)

Рис. 21. Временная динамика фазы захвата: (a) квадрокоптер приближается к обозначенной позиции; (б) авиа-манипулятор робота захватывает блок; (в) блок поднимается, и квадрокоптер перемещается в следующую позицию

Навигация дрона с «агрессивными» углами, выбранные во время маневра полета, показана на рис. 22.

Рис. 22. Навигация квадрокоптера с «агрессивными» углами.

Это доказательство концепции демонстрирует удобство использования и потенциал тензорной декомпозиции основанные на подходах к вычислению стохастических глобально оптимальных регуляторов с обратной связью.

Основное отличие квадрокоптера от других обычных БПЛА вертикального взлета и посадки, например в том, что вертолеты используют винты с фиксированным шагом для управления квадрокоптером вместо винтов с переменным шагом, которые обычно используются в вертолетах. Как следует из названия, системы винт с фиксированным шагом не могут изменять угол шага винта, вместо этого проблема управления может решаться путем надлежащего изменения угловых скоростей каждого винта. С другой стороны, в винтах с переменным шагом управление транспортным средством может быть достигнуто за счет изменения угла шага винта. Системы винтов с изменяемым шагом, используемые в обычных вертолетах, требуют очень сложных механизмов перекоса или механической трансмиссии для правильного изменения угла наклона винтов. Однако системы с винтами фиксированного шага не требуют автомата перекоса или каких-либо других систем механической трансмиссии.

Следовательно, винтовые системы фиксированного шага более прочны и надежны с точки зрения конструкции и обслуживания благодаря механической простоте. Кроме того, стоимость производства и обслуживания гребных винтов с фиксированным шагом очень низкая по сравнению с гребными винтами с изменяемым шагом. Аэродинамическая сложность винтов фиксированного шага также относительно низка по сравнению с винтами переменного шага. Однако, хотя гребные винты с изменяемым шагом более сложны и хрупки, они могут более эффективно справляться с агрессивными маневрами с помощью увеличенного диапазона управления и эффективной реверсивной тяги. Ограничения управления винтами фиксированного шага могут ограничивать очень агрессивные маневры для квадрокоптера большого размера (более 2 кг). Однако, для квадрокоптера небольшого размера, такого как «Колибри As-cTech » (0,48 кг) полоса управления не ограничивает существенно агрессивные маневры. Для небольших квадрокоптеров, таких как AscTech Hummingbird , винты с фиксированным шагом могут обеспечить достаточное количество управляющих сигналов при простой динамике и низкой стоимости конструкции. и обслуживания, даже для относительно агрессивных маневров.

Большие БПЛА в основном используются в тактических и военных целях. На основе конфигураций управления БПЛА можно разделить [23] в соответствии с рис. 23.

(А)

(Б)

Рис. 23. Различные типы БПЛА в зависимости от конфигурации управления (А): (а) мультиротор (гексакоптер), (б) самолет с неподвижным крылом, (в) орнитоптер с машущим крылом (Robo Raven), (г) энтомоптер с машущим крылом (DelFly Micro); (Б) позиционное управление моделью сочленённого коптера.

Сцепленный робот, состоящий из пары квадроторов, прикрепленных к двум концам троса, показан на рис. 24. Контролируя нижнюю точку, размах и ориентацию кривой, цепной робот может использоваться для взаимодействия и перемещения объектов, в данном случае зонта. Системы координат цепного робота.

Рис. 24. Сцепленный робот.

Контролируя нижнюю точку, размах и ориентацию кривой, цепной робот может использоваться для взаимодействия и перемещения объектов, в данном случае зонта.

Гексакоптер для 3 D -печати представлен на рис. 25. Основные компоненты для 3 D -печати обозначены. Гексакоптер для 3 D -печати только что завершил печать квадратного контура поверх серого прямоугольника.

Рис. 25. Вид спереди на гексакоптер для 3D-печати.

Мультикоптеры в целом относятся к категории транспортных средств с вертикальным взлетом и посадкой (СВВП) с возможностью зависания на месте. Напротив, БПЛА с неподвижным крылом – это аппараты с горизонтальным взлетом и посадкой ( HTOL ), и они не могут зависать в определенном положении из-за неголономных ограничений. Вместо этого им приходится перемещаться по интересующим их областям. Однако БПЛА с неподвижным крылом имеют такие преимущества, как продолжительный срок службы (т. е. время полета) и более высокие достижимые скорости по сравнению с мультикоптерами. Гибридные БПЛА сочетают в себе обе конфигурации фиксированных крыльев и несколько несущих винтов, используя преимущества обоих, такие как вертикальный взлет и посадка, зависание и длительные полеты. Однако эти аппараты все еще находятся в стадии разработки, и необходимы дополнительные исследования для надежного управления, особенно при переключении между режимами полета.

Концептуальная схема наведения БПЛА через набор точек навигации приведена на рис. 26.

Рис. 26. Навигация по набору конечных точек траекторий между начальной и конечной конфигурациями БПЛА

При заданной траектории положения БПЛА с течением времени при ограниченном приводе с фиксированным направлением тяги, генерируется требуемая траектория положения так, что отслеживается траектория его положения.

На рис. 27 приведены снимки для автономного зависания, на которых БПЛА сначала зависает на высоте 1,5 м, а затем летит из точки висения (0,0,1,5) в точку (1,1,1).

Рис. 27. Снимки автономного зависания на высоте 1,5 м и полета от (0 0 1,5) до (1 1 1)

На рис. 28 показаны снимки полета по круговой траектории того же БПЛА через узел ROS.

Рис. 28. Автономный полет БПЛА по круговой траектории радиусом 1,5 м, начиная с (0 1,5 1,5)

Есть также несколько ограничений и важных проблем с аппаратным обеспечением для представленной экспериментальной платформы, которые всегда следует учитывать для текущих и будущих экспериментальных платформ. В экспериментах в реальном времени очень важно установить стабильную связь, поэтому для поддержания агрессивного маневра требуется высокая скорость обновления.

В этом сценарии БПЛА взлетает в точке (0,0,0) и зависает в точке (0,0,1,5). Затем летит в точку (0,1,5,1,5), чтобы начать движение по круговой траектории радиусом 1,5м. В обоих тестах БПЛА приземляется автономно и останавливается (двигатели перестают вращаться) при выполнении заданной задачи. Модуль управления полетом работает на частоте 30 Гц, задержек не ожидается, если только не произойдет сбой связи. Таким образом, благодаря свойствам надежности и стабильности предлагаемого контроллера характеристики отслеживания положения и отношения показывают удовлетворительные результаты.

Взаимодействие с наземными транспортными средствами

Полностью автономный режим работы MAGMaS предназначен для случаев, когда система развивается в хорошо структурированной полностью известной среде. Он опирается на два ключевых компонента: планировщик траектории и конечный автомат (FSM); которые вместе составляют планировщик задач. Tele-MAGMaS состоит из трех основных роботизированных частей: i ) руки LBR-iiwa, ii ) воздушного манипулятора OTHex и iii ) тактильного интерфейса Omega .6, которым управляет централизованный контроллер, и взаимодействует с симулятором/визуализатором. Высокоуровневое управление всей системой реализовано в Matlab-Simulink , связанном с оборудованием через компоненты GenoM 3 ( OTHex , Joypad , MoCap , LBR - iiwa ) или драйверы S -функции Matlab ( Haptic device , V-REP ), которые являются функцией C ++, изначально взаимодействующей с Matlab .

Первые эксперименты Tele-MAGMaS были представлены на Ганноверской ярмарке 2017 года в рамках финала премии KUKA 2017 Innovation Award , см. рис. 28.

Рис. 28. Моментальный снимок состояния совместной манипуляции Tele-MAGMaS с использованием подхода двустороннего дистанционного управления, выполненного во время премии KUKA 2017 Innovation Award на Ганноверской ярмарке

На демонстрации были представлены основные возможности системы Теле-МАГМаС и экспериментальное приложение. В течение выставочной недели демонстрация проходила каждый час (или чаще), демонстрируя тем самым высокую надежность предлагаемой системы и архитектуры управления. Последовательность эксперимента изображена на рис. 29 и состоит в следующем: сначала OTHex подлетает вручную для захвата стержня с одного его конца, а наземный робот самостоятельно захватывает другой конец.

Рис. 29. Замедленная съемка задачи совместной манипуляции MAGMaS.

Оба робота в исходном положении (1), подход к перекладине (2), захват перекладины (3), совместный подъем (4), совместный боковой ход (5), совместный подъем до 30° (6-7- 8) и освобождение штанги (9). После того, как оба манипулятора прикреплены к стержню, совместная манипуляция становится полностью автономной: они поднимают стержень с опор, дважды перемещают его по линии в горизонтальной плоскости (синяя часть), а затем синхронно поднимают стержень до 30° (зеленый цвет). часть). Затем они возвращают штангу в исходное положение.

Эта новая категория систем использует преимущества как мобильных наземных манипуляторов, так и воздушных манипуляторов для выполнения задач, которые были бы невозможны для однородных систем. Сценарий манипулирования объектами (отслеживание позы) вне условий работы, которых может достичь один робот, реализуется посредством дистанционного управления MAGMaS . Оригинальность подхода MAGMaS заключается в том, чтобы рассмотреть гетерогенную систему из нескольких роботов, состоящую из наземных и воздушных манипуляторов (см. рис. 30), чтобы использовать их индивидуальные недостатки.

Рис. 30. Возможные варианты использования МАГМАС различного состава. Слева (а) в сценарии поисково-спасательных работ с мобильной базой и не активированным роботом, совместно зачищающим здания. Справа (b) в сценарии вывода из эксплуатации с фиксированным наземным роботом и аэроробота с разнонаправленной тягой, совместно манипулирующими трубой

Небольшая полезная нагрузка аэроробота компенсируется силой наземного манипулятора, а ограниченное рабочее пространство и малый крутящий момент наземного манипулятора уравновешиваются практически неограниченным рабочим пространством и благоприятным рычагом, обеспечиваемым аэророботом. Благодаря своему большому рабочему пространству аэроробот может прикладывать силу к грузу, чтобы уменьшить крутящий момент, создаваемый в наземном манипуляторе весом груза. При таком объединении аэроробота может выступать в качестве летающих компонент, помогая наземному манипулятору нести длинные грузы, захватывая их за другой конец и уменьшая крутящий момент на наземном манипуляторе, когда он несет объект, что позволяет манипулировать грузом совместно.

В зоне бедствия, например, в месте утечки радиоактивных веществ или пожара, необходимо создать робота, который может собирать информацию внутри места, обеспечивая при этом безопасность оператора. В качестве примера были предложены колесные роботы, которыми можно управлять вручную и которые могут перемещаться внутри атомной электростанции Фукусима. Робот колесного типа имеет высокую полезную нагрузку и является предпочтительным для многих исследовательских робо- тов. Однако на месте катастрофы окружающая среда представляет собой множество препятствий, которые разбросаны повсюду, даже посередине лестницы. Из-за этого роботу колесного типа стало труднее передвигать. Чтобы преодолеть это условие, использование робота летающего типа имеет много преимуществ, одно из которых - открывать путь при столкновении с заблокированным путем и предложен новый метод открытия двери с помощью воздушного робота. Предлагаемый летающий манипулятор использует четыре ротора в качестве основного привода для летающего и легкого манипулятора, использующего пневматический привод. Сообщалось об открытии двери путем приседания к двери, толкания двери с помощью силы, создаваемой вращающимся пропеллером, и поворота дверной ручки с помощью легкого отсоединенного приводного рычага для операций доступа (ADD-Arm).

На рис. 31 показана общая структура воздушного манипулятора.

Рис. 31. Общая конструкция авиа - манипулятора

Общий вес составляет 1700 г с ADD-Arm , установленным с правой стороны, и двумя микронасосами с противоположной стороны в качестве противовеса для балансировки. Он использовал Ardupilot 2.6 в качестве основного контроллера, стандартный приемопередатчик 2,4 ГГц и аккумулятор емкостью 2200 мАч со временем полета около 5 минут. Два микронасоса использовались для целей адсорбции и для приведения в действие мощности.

Процесс открывания двери показан на рис. 32.

(а)

(b)

Рис. 32. Демонстрация открытия двери (а) задача робота; (b) Осуществление операции по открытию дверей

Сначала робот приближается к двери и определяет положение дверной ручки. Во-вторых, он прижимается к двери, прикрепляя переднюю присоску, и выполняет функцию изменения положения до тех пор, пока робот не станет параллельным плоскости двери. В-третьих, робот переводит манипулятор в положение ручки и поворачивает ее. Последний шаг, затем он толкает дверь, используя силу, создаваемую пропеллером. Демонстрационная картина открывания двери показана на рис. 46, б.

Есть много примеров био-инспирированных конструкций, от управляемого силой прыгающего робота с ловкостью и силой, близкой к таковой у галаго (животное с самой высокой способностью вертикального прыжка), до биомиметической роботизированной платформы для изучения специализации полета летучей мыши и биороботизированный липкий диск для подводных автостопщиков, вдохновленный Sucker Remoras .

Пример: Беспилотный подводный летательный аппарат

Беспилотные летательные аппараты (БПЛА) могут значительно улучшить удаленный доступ к подводной среде. В частности, БПЛА с неподвижным крылом предлагают перспективные средства обеспечения эффективного передвижения как в воздухе, так и в воде за счет использования подъемной поверхности. Был представлен проект БПЛА с треугольным крылом и продемонстрировано, что при правильных значениях параметров может быть достигнут успешный выход из воды при заданной максимальной тяге, доступной в воде и воздухе. Однако, в отличие от других подходов, которые полагаются на новые двигательные механизмы для достижения выхода из воды, конструкция основана на наличии управления с обратной связью для обеспечения многомодового передвижения. Программное решение для выхода из воды могло значительно снизить стоимость и механическую сложность гибридных воздушно-водных транспортных средств. Применен подход управления с обратной связью для включения перехода в среду «вода-воздух».

Полностью оборудованную систему можно увидеть на рис. 33.

Рис. 33. Фотография прототипа БПЛА с приборами. [На рисунке показан блок основной электроники, датчик скорости двигателя, IMU и датчик давления]

Рис. 34. Структура замкнутой системы управления, используемой для выполнения ма невра выхода из воды

Примечание . На рис. 33 показан блок формирования допустимой многомодовой траектории выхода из воды, а на рис. 34 представлена гибридная система управления, и средство оценки состояния для контроля непрерывного состояния системы и режима пилотирования дрона.

Чтобы сделать электронику водонепроницаемой, была сконструирована водонепроницаемая капсула с помощью вакуума, образующего тонкую пластиковую оболочку над электроникой. Общий вес автомобиля с з приборами составил 375 граммов. Для приборов автопилота применен датчик оборотов

HobbyWing вместе с IMU Bosch BNO 055 и датчиком давления TE MS 5837-30 BA . Индивидуальная плата автопилота, состоящая из ATMEGA 32 U 4 для обнаружения и срабатывания и Gumstix Overo Cortex-A 8 для выполнения всего управления и оценки состояния на борту. Дизайн полагается на доступность управления с обратной связью с обратной связью, чтобы обеспечить многомодовую навигацию.

На рис. 35 показан успешный выход из воды, когда аппарат перешел в режим полета, где он успешно отрегулировал положение.

Рис. 35. Успешный выход из воды с 45-градусным зависанием. [Временной шаг между подводными кадрами составляет 1,67 с, а временной шаг между воздушными кадрами - 0,25 с].

Программное решение для выхода из воды могло значительно снизить стоимость и механическую сложность гибридных воздушно-водных транспортных средств. Подход к управлению с обратной связью разработан для обеспечения перехода от воды в воздушное пространство.

Пример: Изучение гибких роботизированных нелинейных форм движения на основе имитации моделей движения животных

Животные могут перемещаться в сложных условиях с удивительной ловкостью, применяя широкий набор ловких и акробатических навыков. Воспроизведение такого гибкого поведения было давней проблемой в робототехнике, и большой объем работы был посвящен разработке стратегий управления различными навыками передвижения. Однако, разработка стратегий управления часто включает в себя длительный процесс разработки и требует значительных знаний как базовой системы, так и желаемых навыков. Несмотря на многочисленные успехи в этой области, возможности, достигнутые этими системами, все еще далеки от плавных и грациозных движений, наблюдаемых в животном мире.

Роботизированную систему обучения оценивают, имитируя различные навыки динамической нелинейной формы движения с помощью робота Laikago , четвероногого робота с 18 степенями свободы, с тремя приведенными в действие степенями свободы на ногу и шесть «скрытых» степеней свободы (для туловища). Формы движения приведены на рис. 36.

(а)

(б)

Рис. 36. Робот Laikago демонстрирует навыки передвижения, полученные путем имитации данных движения, записанных с реальной собаки; (а) Вверху: данные захвата движения, записанные с собаки. В центре: смоделированный робот Laikago, имитирующий эталонные движения. Внизу: настоящий робот Laikago, имитирующий эталонные движения; (б) Робот Laikago демонстрирует навыки, полученные путем имитации эталонных движений. Вверху: эталонное движение. Посередине: имитация робота. Внизу: настоящий робот [26]

Метод адаптации может эффективно перенести стратегии обучения из результатов моделирования, в реальный мир с небольшим количеством испытаний на физической системе. Далее изучают эффекты упорядочения кодирования скрытой динамики с помощью информационного показателя эффективности обучения, что это обеспечивает механизм компромисса между надежностью и адаптируемостью изученных стратегий (рис. 37).

(a)

(б)

(в)

Рис. 37. Демонстрация эффективности RMA в сложных условиях

Робот успешно может ходить по песку, грязи, пешеходным тропам, высокой траве и куче грязи без единого сбоя во всех испытаниях (рис. 37, а). Робот успешно прошел 70% испытаний при спуске по лестнице по пешеходной тропе и преуспел в 80% испытаний при ходьбе по цементной куче и куче гальки. Робот достигает такого высокого уровня успеха несмотря на то, что во время обучения он никогда не видел неустойчивой или проседающей земли, мешающей растительности или лестницы. Все результаты развертывания соответствуют одной и той же стратегии управления без какой-либо калибровки моделирования или тонкой настройки в реальной окружающей среде.

Алгоритм быстрой адаптации опорно-двигательного механизма ( RMA ) состоит из двух подсистем – базовой стратегии и модуля адаптации (рис. 37, б).

Вверху : RMA проходит обучение в два этапа. На первом этапе базовая стратегия π принимает в качестве входных данных текущее состояние x , предыдущее действие a и привилегированные факторы среды e , которые закодированы в вектор скрытых внешних факторов z с помощью кодировщика факторов среды µ . Базовая стратегия обучения формирует процесс моделирования на основе глубокого обучения с подкреплением без моделей. На втором этапе модуль адаптации φ обучается прогнозировать внешние параметры z ˆ на основе истории состояний и действий посредством контролируемого обучения с данными о стратегии обучения.

Внизу : при развертывании модуль адаптации генерирует внешние параметры z ˆ на частоте 10 Гц, а базовая политика генерирует желаемые положения суставов на частоте 100 Гц, которые преобразуются в крутящие моменты с помощью ПД-контроллера. Поскольку модуль адаптации работает с более низкой частотой, базовая стратегия использует для прогнозирования самый последний вектор внешних данных z ˆ , предсказанный модулем адаптации a . Этот асинхронный дизайн имел решающее значение для беспрепятственного развертывания на недорогих роботах, с ограниченными встроенными вычислительными ресурсами. Робот ходит по промасленному пластиковому листу с дополнительным пластиковым покрытием на ногах (рис. 37, в). После адаптации восстановленный период времени походки аналогичен исходному, величины крутящего момента увеличились, а z ˆ продолжает отражать тот факт, что поверхность все еще скользкая. Метод RMA был успешным в 90% случаев на масляном пятне.

Разработано несколько мобильных роботов, способных справиться с такой задачей, в виде двуногих роботов предлагают решение. Однако, поскольку двуногие роботы обладают нелинейной и гибридной динамикой, планирование траектории при одновременном обеспечении динамической осуществимости и безопасности этих роботов является сложной задачей [27].

Была предложена сквозная автономная навигационная структура с визуальным сопровождением, которая использует три уровня планировщиков и контроллер переменной высоты ходьбы, чтобы позволить двуногим роботам безопасно исследовать среду с ограниченной высотой. Представлена модель подпружиненного перевернутого маятника ( vSLIP ) с вертикальным приводом, чтобы зафиксировать совместную динамику робота при плоской ходьбе и высоте вертикальной ходьбы. Модель уменьшенного порядка используется для оптимизации долгосрочных и краткосрочных планов безопасной траектории. Контроллер переменной высоты ходьбы используется для того, чтобы двуногий робот мог поддерживать стабильную периодическую походку, следуя запланированной траектории. Вся структура тестируется и экспериментально проверяется с использованием двуногого робота Кэсси. Это демонстрирует надежную автономность управления роботом для безопасного обхода препятствий при движении к месту назначения в различных видах загроможденных сред с ограниченной высотой.

Динамичный двуногий робот – «ходок» Кэсси применен для исследования и навигации в перегруженных и неизвестных средах, как показано на рис. 38.

Рис. 38. Двуногий робот Cassie автономно перемещается в перегруженных условиях с ограниченной высотой, сохраняя при этом стабильность походки и безопасность без столкновений (а) и Робот Кэсси в реальном мире с обобщенными плавающими координатами (слева) и определением длины виртуальной ноги робота (справа). Робот оснащен камерой слежения и камерой RGB-Depth наверху

Автономная навигационная система с визуальным контролем позволяет крупномасштабному двуногому роботу не только обходить препятствия, но и приседать, чтобы проходить под препятствиями, ограниченными по высоте.

Чтобы позволить двуногим роботам, таким как Кэсси, автономно перемещаться в пространстве с ограниченной высотой без предварительного знания окружающей среды, необходимо решить три основные проблемы. Во-первых, необходимо найти и быстро обновить путь без столкновений от текущего положения до местоположения цели, исследуя неизвестное пространство с различными допустимыми высотами. Затем требуется локальная траектория для двуногого робота с учетом уклонения от препятствий и физических ограничений робота. Кроме того, планировщики также должны обеспечить стабильность походки двуногого робота, то есть планировщики должны предотвратить падение робота и причинение вреда находящимся поблизости людям и самому роботу. Наконец, чтобы робот мог надежно следовать запланированным движениям, необходим контроллер ходьбы, который может изменять конфигурацию робота, например высоту ходьбы, сохраняя при этом стабильную походку с различной скоростью. Несмотря на сложность проблем, сквозную навигацию для двуногих роботов для автономного и безопасного путешествия в неизвестном направлении в среде с препятствиями ограниченной высоты обеспечивает система управления, представленная на рис. 39.

Рис. 39. Автономная навигационная структура [28]

Препятствия воспринимаются камерой «RGB-Depth» и регистрируются на карте как непроходимые области или области с ограничениями по высоте. После установки местоположения цели глобальный планировщик находит на карте путь без столкновений и передает локальную цель локальному планировщику. Этот локальный планировщик генерирует плавную траекторию, чтобы вести робота к локальной цели, избегая при этом препятствий. Затем реактивный планировщик отслеживает запланированную локальную траекторию и дает команды управления в реальном времени контроллеру переменной высоты ходьбы, чтобы следовать локальному плану. Выходные данные локального планировщика и реактивного планировщика также учитывают динамику упрощенной модели vSLIP, чтобы обеспечить динамическую осуществимость и стабильность походки робота. Одометрия робота для планировщиков оценивается бортовой камерой слежения, а контроллер использует оценщик состояния, основанный на кинематической модели робота, совместных энкодерах и инструментария систем измерений, сбора и обработки данных (IMU).

Разновидность представленного робота показана на рис. 40.

(b) ETH ‘Ascento’ (2018) Standing height: «60 cm

(a) BD ‘Handle’ (2017) Standing height: «198 cm

(d) SUSTech ‘NeZha’ (2020) Standing height: «89 cm

(c) HIT ‘SR600’ (2019) standing height: «80 cm

Рис. 40. Различные платформы колесно-двуногих роботов, показанные в хронологическом порядке.

Выводы

Перед образованием РФ стоят задачи «идти в ногу» с широким внедрением интеллектуальных роботов и цифровых технологий в промышленность и повседневную жизнь. Решение этих проблем требует новых подходов к обучению на всех уровнях образования и извлечения активных знаний о возможностях интеллектуальных робототехнических систем.

Требуется программа повышения квалификации для ИТ-специалистов «Интеллектуальная робототехника и интеллектуальные промышленные системы управления», которая реализует подход к обучению понятиям и навыкам разработки и применения роботов, совместного мониторинга роботизированных социотехнических систем и искусственного интеллекта посредством практики с системами, состоящими из нескольких взаимодействующих роботов.

Следует отметить насущную необходимость внедрения концепций и технологий Индустрии 4.0 в образование. Цель состоит в том, чтобы разработать методологические и практические подходы, облегчающие приобретение таких профессиональных навыков.

При разработке и реализации подхода достижения поставленной цели необходимо совместно решать технические, педагогические, организационные и исследовательские задачи.