Коллективное проектирование и прототипирование робототехнических систем на основе нейрокогнитивного подхода

Интеллектуальное прототипирование (ИП) в проектировании робототехнических систем объединяет методы и технологии, основанные на искусственном интеллекте (ИИ). ИП позволяет создавать комплексные решения, которые учитывают разнообразные аспекты пользовательского опыта и функциональности продукта [1]. Совместная работа человекомашинного коллектива является одним из элементов парадигмы Industry 5.0 [2]. Одним из основных методов ИП является использование генеративного проектирования [3], что позволяет находить инновационные решения [4].

Облачные платформы для совместной работы в реальном времени позволяют нескольким участникам команды одновременно работать над прототипами, делиться результатами и быстро вносить изменения. Это полезно для распределённых команд, так как существенно сокращает время на обратную связь и корректировки.

Важным аспектом является тестирование прототипов с использованием виртуальной или дополненной реальности [5]. Например, в [6] представлена платформа для совместного про- ектирования городской среды, где для упрощения взаимодействия пользователя и платформы используются виртуальная и дополненная реальности.

В [7] представлен метод проектирования, ориентированный на пользователя и включающий набор инструментов и методов для проектирования, прототипирования и валидации решений. ИП применяется для автоматической адаптации таких решений к предпочтениям и потребностям пользователей.

В [8] рассмотрены три парадигмы ИП: цифровое прототипирование, которое фокусируется на проектировании на основе данных; физическое и цифровое прототипирование, включающее проектирование и сборку с использованием смешанной реальности; коллективное прототипирование, объединяющее интеллект человека и машины. Методы ИП используются в различных областях [9-11], позволяют быстро оценить и доработать проект, получить обратную связь в режиме реального времени.

Целью исследования является разработка системы коллективного проектирования и прототипирования изделий и устройств для робототехники на основе нейрокогнитивного муль-тиагентного подхода.

• 1    Концепция системы

В проектировании изделий робототехники принимают участие различные специалисты, использующие специализированное программное обеспечение (ПО), которое позволяет проводить свою часть проектирования и моделирования разрабатываемого устройства. В данной работе, по аналогии с технологией BIM ( Building Information Model) [12, 13], рассматривается концепция единой модели устройства робототехники и ПО для работы с подобной моделью.

ПО должно позволять моделировать различные физико-химические свойства изделия: механические и электротехнические; взаимодействие с внешней средой; производственные процессы и др. Для этого необходимы интерфейсы редактирования создаваемого устройства, которые должны работать с единой моделью устройства. Функционал коллективной системы прототипирования устройств робототехники показан на рисунке 1.

Рисунок 1 - Функционал коллективной системы прототипирования устройств (узлов) робототехники

Система проектирования и прототипирования изделий и устройств робототехники может быть реализована в виде клиент-серверного приложения. Схема взаимодействия между клиентами и сервером показана на рисунке 2. Клиентами системы могут быть «живые» пользователи и интеллектуальные агенты (ИА) в виде отдельных программ. Пользователи отвечают за управление проектом, постановку задач для ИА и редактирование устройств. Все измене- ния отправляются на сервер, где хранится база данных с проектами и типовыми устройствами, и передаются пользователям. На сервере хранятся обобщённые модели создаваемого устройства и информация о всех его элементах, а также моделируется поведение устройства в различных условиях. Редактирование и моделирование производится на нескольких уровнях, а на сервере создаётся вся сопроводительная документация.

пользователи

ш---;

• •    постановка задачи

• •    изменение узлов

• •    совместное

редактирование узлов

• •    выбор условий моделирования

• •    отправка сообщений пользователям

Ш *---

• •    просмотр узла

• •    просмотр результатов моделирования

• •    загрузка проектной документации

  сервер

  

  • схема редактируемого узла

  • информация о внутренних системах узла

  • моделирование поведения узла визуализация

  • генерация проектной документации автоматизация правок в документации

  
  

  ИИ агенты

  

  • загрузка задачи

  • загрузка

  редактируемого узла

  • просмотр результатов моделирования

  
  
  
  
  

  • •    отправка сгенерированного узла

  • •    совместное

  редактирования узла

  • •    отправка сообщений пользователям

  
  

Рисунок 2 - Структура коллективной системы прототипирования устройств (узлов) робототехники

ИА и пользователи могут загружать модель редактируемого устройства и просматривать результаты моделирования. ИА наравне с пользователями могут вносить изменения в модель устройства и обмениваться сообщениями с другими участниками человеко-машинного коллектива. Программная реализация системы коллективного проектирования и прототипирования устройств робототехники состоит из серверной части и нескольких клиентов. Схема взаимодействия между элементами подобной программы показана на рисунке 3.

Клиентами являются: программы для редактирования модели устройств; ИА; панель редактирования, которая используется для общего управления проектами и ролями пользователей и ИА. Здесь же проводится сбор статистики и выгрузка отчётов по работе сервера. Редактор представляет собой программу для визуализации и редактирования модели разрабатываемого устройства [14]. Эта программа позволяет вносить изменения в модель устройства, отправлять изменения на сервер, получать результаты моделирования поведения устройства и выводить их в виде трёхмерной модели (рисунок 3).

Редактором осуществляется создание и редактирование сопроводительной документации, а также обмен сообщениями между пользователями (включая ИА). ИА включает интеллектуальную систему (например, обученную модель, предназначенную для генерации конструкции, подбора рекомендаций для пользователя, генерации кода или документов) и модуль взаимодействия с сервером, через который происходит передача результатов работы за счёт изменений в проекте или сообщений для пользователей. ИА содержит информацию о проектируемом устройстве или его элементе, которую он передаёт в виде сообщений другим агентам или пользователю. ИА обладают собственными целевыми функциями (максимизация энергии). Протокол взаимодействия между агентами осуществляется на основе мультиа-гентного алгоритма (см., например, [15, 16]). При его выполнении агенты заключают дого- ворные обязательства, в соответствии с которыми они взаимодействуют друг с другом посредством сообщений. Зависимость, возникающую, когда агенты заключают друг с другом договорные обязательства на условиях взаимовыгодного обмена энергии на знания, названа мультиагентным контрактом.

панель администратора управление ИИ агентами интерфейс управления проектами

ИИ агент

обученная модель

сервер

выгрузка отчетов

обмен данными

генерация и доработка проекта (для одного или нескольких аспектов)

обмен данными между пользователями и ИИ

редактор интерфейсы редактирования (для разных аспектов)

движок трехмерной визуализации редактор проектной документации

база данных

системы контроля версий (для разных аспектов)

снегем ы мод ел и ров ан и и (для разных аспектов)

генератор проектной документации

обмен данными между пользователями и ИИ

Рисунок 3 – Схема взаимодействия между сервером и клиентами коллективной системы проектирования и прототипирования устройств (узлов) для робототехники

На сервере осуществляются: обмен данными между клиентами; хранение информации в базе данных; контроль версий и системы моделирования разрабатываемого устройства; разграничение доступа пользователей и целостность модели устройства.

• 2    Архитектура интеллектуального агента

ИА в коллективной системе могут выполнять ряд задач, характерных для участников проектирования. ИА представляет собой программное решение, состоящее из интерфейса взаимодействия с сервером, обеспечивающего обмен сообщениями через открытый протокол, конвертирование сообщений сервера в подходящий формат и передачу сообщений в модуль обработки. В работе рассматривается возможность использования мультиагентных нейро-когнитивных архитектур для моделирования процессов рассуждения и принятия решений [17]. Архитектура ИА приведена на рисунке 4. Муль-тиагентная нейрокогнитивная архитектура состоит из набора агентов,

Рисунок 4 – Архитектура интеллектуального агента

моделирующих отдельные нейроны или группы нейронов головного мозга, разделённые на функциональные группы [18]. Взаимодействие между агентами аналогично механизмам в нейронных сетях мозга человека. Каждый агент, будучи автономным компонентом, решает конкретно поставленную ему задачу в процессе прототипирования, обеспечивая параллельную обработку данных и повышая эффективность совместной работы. Первый слой подобных агентов отвечает за сбор данных из внешней (по отношению к ИА) среды. В частности, агент, работающий в коллективной системе проектирования, имеет две группы сенсоров, предназначенных для: получения сообщений от других пользователей системы; получения информации о модели разрабатываемого устройства (структура, трёхмерная модель, результаты моделирования и т.д.).

После сбора информации агенты анализируют и интерпретируют данные в соответствии с заданными алгоритмами и моделями, а также могут осуществлять классификацию, прогнозирование и генерацию новых знаний. Например, агент, отвечающий за 3D-моделирование, может использовать данные о предыдущих версиях проекта, чтобы предложить его улучшение и оптимизацию. Каждый агент может отправлять сообщения своему окружению, что позволяет другим агентам в реальном времени учитывать изменения и принимать решения на основе актуализированных данных. После обработки и обмена информацией агенты вырабатывают совместный результат, который формируется в виде набора сигналов с агентов-эффекторов, которые так же, как и сенсоры, разделены на две группы. Полученная информация собирается программным интерфейсом и отправляется на сервер.

Важным свойством мультиагентной нейрокогнитивной архитектуры является устойчивость к сбоям. Если один из агентов выходит из строя, другие могут продолжать свою работу, обмениваясь информацией и принимая решения на основе оставшихся ресурсов. Это позволяет системе оставаться в рабочем состоянии и адаптироваться к изменяющимся условиям прототипирования. Пример мультиагентной нейрокогнитивной архитектуры, обеспечивающей получение и анализ данных о трёхмерной модели устройства от сервера системы проектирования, приведён на рисунке 5.

Модель робототехнического устройства описывается набором сообщений от сервера, где представлены данные по определённому аспекту моделирования. В частности, для трёхмерной модели устройства - это информация об элементах устройства, каждый из которых состоит из набора плоскостей, включающих набор точек. Точки определяются набором координат x, y, z . Каждое сообщение от сервера представляет собой набор сообщений для конкретных агентов в мультиагентной нейрокогнитивной архитектуре, в частности для агнейро-нов-сенсоров, отвечающих за получение сигнала из внешнего мира. В мультиагентной архитектуре созданы следующие агенты-сенсоры: сенсор устройств, сенсор поверхностей, сенсор координат ( x, y, z ), сенсор углов, сенсор материалов и т.д. Архитектура содержит агентов сенсорного типа (расположены в верхней части рисунка и обозначены треугольниками), абстрактного типа (обозначены кругами), агентов действий (шестиугольники) и агентов событий (обозначены фигурой в виде клевера).

Данные, поступающие в систему, запускают работу базы знаний сенсоров, которые пересылают сообщения другим агентам. Например, при появлении нового устройства сенсор отправляет сообщение с названием устройства агенту абстрактного типа «устройство» и аген-ту-действие «состоит». Одновременно приходит информация о наличии поверхности на данном устройстве, что вызывает срабатывание сенсора поверхностей. Этот сенсор передаёт информацию агенту абстрактного типа «поверхность», в результате группе агентов событийного типа передаются три сообщения: «устройство», «состоит», «поверхность». Если на момент подобной передачи среди агентов событий нет подходящего, то он создаётся фабрикой событийных агентов. Вновь созданный агент отвечает за мультиагентное представление факта о том, что «устройство состоит из поверхности» и автоматически заключает контракты с агентами, на чьи запросы он был создан. Если агент уже существовал, то он ответит на полученные запросы и отправит своё сообщение далее на следующие слои мультиагентной архитектуры.

Рисунок 5 – Мультиагентная нейрокогнитивная архитектура получения информации о трёхмерной модели проектируемого устройства (узла)

После формирования мультиагентного факта распознавания поверхности в мультиагент-ной архитектуре формируются факты, связанные с конкретными координатами точек на поверхности. Для этого на сенсоры координат отправляются трёхмерные координаты точек поверхности. Сенсоры координат x, y, z отправляют сообщение абстрактному агенту «точка» и выполняют рассылку со своими входными сигналами агентам числительного типа. В результате активируются агенты числительные с именами, совпадающими с координатами. Если подобного агента нет, то фабрика числительных создаст его автоматически (на рисунке 5 это «20»). В результате числительное отправит своё имя событийным агентам. Вместе с координатой событийным агентам отправляются сообщения от агентов «точка», «координата x » и действие «равно», созданные в результате работы сенсора координат. Этот набор сообщений формирует событие «Точка имеет координату Х равную 20». Так же формируются факты для координат y и z . Эта информация позволяет записывать расположение точек на модели.

Срабатывание сенсоров координат вызывает передачу сообщений абстрактному агенту «поверхность» и агенту-действие «содержит», в результате чего формируется событие «Поверхность включает точку», описывающее принадлежность новой точки к конкретной поверхности устройства. Кроме набора поверхностей и точек система получения данных о модели формирует мультиагентные факты, описывающие расстояния между точками и углы между линиями на поверхности. Похожим образом передается информация о свойствах поверхности и материала каждого устройства.

В качестве примера проектируемого устройства рассмотрен модуль опрыскивателя для автономного робота по защите растений (рисунок 6).

электромс форсунка

форсунка

форсунка

а)

Рисунок 6 – Схема (а), внешний вид (б) и чертежи (в, г) манипулятора опрыскивателя

в)

б)

Модуль представляет собой манипулятор, способный перемещаться по горизонтали и смешаться вниз. На транспортной платформе устанавливается несколько таких модулей, каждый из которых оснащён собственной системой управления, двумя двигателями, насосом и набором управляемых форсунок для внесения активных веществ в почву или на поверхность растений. Структурная схема манипулятора показана на рисунке 6а, а на рисунке 6б показан автономный робот с подобным манипулятором во время проведения испытаний. В процессе проектирования разработаны конструкция устройства (рисунок 6в) и схематические решения (рисунок 6г).

В процессе работы в системе коллективного проектирования созданы: модуль трёхмерного проектирования изделия, модуль моделирования схемотехнических решений, текстовый редактор исходного кода для микроконтроллеров; сформирована онтология разрабатываемого устройства. Фрагмент онтологии приведён на рисунке 7. Сначала заполняется список основных элементов устройства (на примере - это модуль управления, система перемещения и два опрыскивателя). Каждый элемент состоит из отдельных устройств. Для разных устройств заполняется информация о расположении, материале, размерах (например, для корпуса основания) или схемы, напряжения питания и выполняемом алгоритме (для сетевого модуля).

модуль опрыскивания

состоит из

Рисунок 7 - Фрагмент формируемой онтологии при разработке манипулятора опрыскивателя

Подобное решение позволяет обеспечить создание онтологии, описывающей структуру проектируемого и используемых устройств, что упрощает проектирование новых устройств для робототехники, дальнейшую обработку данных и интеллектуальное сопровождение процесса проектирования.

Заключение

Представлена коллективная система проектирования и прототипирования устройств для робототехники, которая обеспечивает: управление проектами; возможность создания, редактирования и удаления проектов; постановку цели проектирования; подключение пользователей и программных агентов, а также обмен данными между ними.

Архитектура коллективной системы выполнена в виде клиент-серверного приложения. В качестве клиентов системы могут быть «живые» пользователи и ИА в виде отдельных программ, в т.ч. системы принятия решений на основе мультиагентных нейрокогнитивных архитектур. Сервер осуществляет хранение обобщённой модели создаваемого устройства и информации о его элементах, а также моделирование поведения устройства в различных усло- виях. Разработанная схема взаимодействия между сервером и клиентами коллективной системы прототипирования позволяет построить онтологию, описывающую структуру проектируемого устройства, упростить дальнейшую обработку данных и интеллектуальное сопровождение процесса проектирования.