Разработка когнитивного нейроинтерфейса для управления роботизированной рукой - протезом

Рассматривается развитие роботизированных протезов конечностей человека и производство человекоподобных электромеханических устройств – антропоморфных роботов. Источниками технологических и прорывных инноваций в этих областях являются: новые технологии создания интеллектуальных материалов; технологии создания интеллектуального программного продукта; новые человеко – машинные интерфейсы. Так, первое направление в современном мире позволяет человеку более полно восстанавливать (а в перспективе и превосходить) свои повреждённые в результате каких-либо травм конечности, за счет создания более совершенных сплавов, материалов, нано - покрытий. Второе инновационное направления связанно с созданием программного обеспечения, способного обучатся и адаптироваться под индивидуальные физиологические и психологические качества человека - оператора. Программному обеспечению такого уровня должен соответствовать и определенный вычислительный базис в виде технологий интеллектуальных когнитивных вычислений. Развитие третьего направления опирается на новые источники новых человеко-машинных интерфейсов, способных эффективно дополнять и расширять информационные возможности человека. К таким интерфейсам относятся инфракрасные – спектрометры, электроэнцефалограф, шлемы и экипировка виртуальной реальности, инвазивные и неинвазивные сенсоры и маячки. Известны эксперименты, где люди повседневно используют такие устройства дома, для решения бытовых задач и управления различными устройствами [1, 2]. Интерфейсы активно применяются для реабилитационных и диагностических процедур и помогают более близко взаимодействовать с окружающей средой человека, в том числе и робототехническими устройствами.

В данной работе рассматривается возможность управлять протезом руки с помощью электроэнцефалографа.

Даная работа выполнена в рамках научно – исследовательской работы университета «Дубна» для формирования образовательного базиса и методологического обеспечения лаборатории интеллектуальных систем управления. Опирается работа на концепцию интеллектуального тренажера. Выполнения такого рода работы стало возможным с предоставлением одного 3 D -принтера (1 кг пластика). Работа является продолжением [4].

На рис. 1 представлена структура когнитивного интерфейса.

Процесс реального времени

Данные

Управляющий сигнал

АнализИзвлечение

Оборудование

Распознавание

Регулятор

Результаты

Рис. 1. Структура интерфейса мозг – компьютер

Существует множество исследований по протезированию и созданию новых конечностей, естественно в таких проектах имеются свои преимущества и недостатки. Многие протезы не имеют обратной связи с пользователем, т.е. не позволяют передавать ему ощущения или быть полной заменой утраченной конечности. Некоторые протезы являются дорогостоящими и их эксплуатация и внедрение весьма затратные. Они включают в себя инвазивные интерфейсы и обладают более широкими возможностями, однако, это сказывается и на их стоимости. Из всего изобилия представленных протезов можно выделить три класса:

• 1.    Косметические (не несут в себе никакого функционала, создаются просто для красоты).

• 2.  Механические (используются для движения силу рычагов и тяг, что создает некоторое

• 3.  Биоэлектрические (большой функционал, но очень дорогие и требуют постоянного заряда

неудобство в способе их использования).

аккумуляторов).

Возможность использование 3D печати существенно облегчает создание протеза. Существует множество открытых ресурсов, которые предоставляют чертежи, эскизы и технологии сборки различных деталей и механизмов, в том числе антропоморфных деталей. Однако, что касается интерфейса управления, то тут возникают сложности, связанные со сложностью исполнения и дороговизной подобных изделий. За основу для создания протеза с когнитивной системой управления был принят проект Thingiverse [3]. В качестве интерфейса управления было принято решение использовать когнитивный шлем Epoc [6].

Создание скелета протеза

Первым этапом стало изготовление деталей протеза на 3 D -принтере. Для этой цели использовался пластик и принтер лаборатории интеллектуальных систем управления института системного анализа и управления (ИСАУ) государственного университета «Дубна». На рис. 2 представленны эскизы отдельных деталей проекта.

Рис. 2. Эскизы протеза

Далее реализуется создание механических «сухожилий», которые передавали бы усилие от моторов «мышц» к конечностям чертежи которого представлены на рис. 2. С этой целью использовалась капроновая нить диаметром 2 мм.

В качестве моторов используются сервомоторы, они позволяют выстроить определённый уровень поворота и передать это усилие с помощью «сухожилий» к конечностям. Типовая структура сервопривода представлена на рис. 3.

Рис. 3. Механизм сервопривода

Результаты этого этапа работы представлены на рис. 4.

Рис. 4. Протез в сборе

Для контроля над сервомоторами и управления соответственно самим протезом был использован контроллер Arduino на базе платы Arduino UNO , для управления сервомоторами к плате Arduino был присоединён шилд расширения Arduino . Принципиальная схема подключения сервомоторов представлена на рис. 5.

Рис. 5. Схема подключения сервоприводов

Снятие и обработка ЭЭГ Epoc+

Общая концепция использования когнитивного тренажера достаточно полно описана в работе [1].

Известным маркером когнитивных процессов являются перестройки ритмов мозга, проявляющиеся в поверхностно регистрируемой электроэнцефалограмме (ЭЭГ) человека.

Для снятия сигнала о мозговой активности использовался когнитивный шлем Emotiv EPOC + (см. рис. 6).

Рис. 6. Когнитивный шлем Emotiv EPOC+

EPOC имеет 14 электродов, которые являются пассивными сенсорами, позволяющими регистрировать электромагнитные сигналы. Датчики крепятся на поверхности кожи (не погружной, неинвазивный интерфейс) .

На рис. 7 представлена структура Emotiv EPOC +, состоящего из каналов AF3, F 7, F 3, FC 5, T 7, P 7, O 1, O 2, P 8, T 8, FC 6, F 4, F 8, AF 4 (плюс CMS / DRL и P 3/P 4 ).

Рис. 7. Схема расположения электродов когнитивного шлема Emotiv EPOC+

Поставляемое программное обеспечение позволяет получать, распознавать и регистрировать ЭЭГ сигнал со шлема.

Для анализа полученного сигнала выделяются так называемые частотные ритмы ЭЭГ. Под понятием частотный ритм подразумевается определенный тип электрической активности, соответствующий некоторому состоянию мозга, для которого определены границы диапазона частот. В процессе когнитивной деятельности появляются характерные ритмы бета-, альфа-, тета- и дельтадиапазонов (см. рис. 8).

Рис. 8. Частотные ритмы ЭЭГ

Совокупность одновременно присутствующих ритмов образует специфический пространственно-частотный паттерн ЭЭГ.

Паттерны характерны для разных типов когнитивной деятельности и высоко индивидуально -специфичны. Способность индивида к установлению ритмических паттернов ЭЭГ при выполнении определенных когнитивных заданий составляет «энцефалографический» портрет его личности.

Примечание. Одной из основных компонент технологии когнитивного нейроинтерфейса являются игровые тренажеры. Важно отметить, что в случаи тренировки, в качестве объекта управления выступает модель системы на экране монитора, это, в свою очередь позволяет не только тренировать мозг на генерацию ментальных команд, но и настраивать систему управления самого объекта управления подстраивая ее под оператора, для повышения эффективности работы в системе «мозг - компьютер». Такого рода особенность обусловлена тем, что как человек учится работы со шлемом, так и сама программа должна подстраивается под особенности человека, настраивая систему управления. Качество распознавания команд разработчики такого оборудования обычно связывают с уровнем подготовки оператора генерировать различные ментальные команды. В комплекте программного обеспечения поставляются специализированные игры – тренажеры, в которых проходит процесс обучения и тренировки. Обычно, для этого используют компьютерные игры, где оператор должен провести действие, которое будет ассоциироваться у системы с некой командой, используемой для управления объектом. Играя, оператор развивает свой навык работы со шлемом, что в дальнейшем дает возможность управлять и реальными техническими устройствами (манипуляторами, инвалидными креслами и др. устройствами).

Тренировки могут быть как активными – с внешними раздражителями, например, свет определенной частоты, видео- и аудио- мате- риал, картинки и т.д., и пассивными, если в процессе генерации ментальной команды оператор представляет ее без внешнего воздействия. Срок тренировок и интенсивность занятий влияет на качество и количество распознавания ментальных команд. Если с первого раза человек может научиться формировать сигналы в мозге для одной команды, то для хорошего распознавания двух и более команд необходимо несколько тренировок. Соответственно на систему управления и достижение цели управления будет влиять как психофизиологические особенности состояния человека (в том числе и его положение в пространстве), так и его уровень подготовки. Обычно (по информации от производителя) для хорошей работы системы с использованием четырех команд, необходимо проводить регулярные тренировки 2–3 недели, причем после тренировки оператор испытывает усталость, соответственно требуется время для восстановления сил.

Более подробнее процесс обучения был описан в [5]. Для управления сервомоторами протеза нашей командой была написана программа, основанная на SDK когнитивного шлема Epoc . Интерфейс программы представлен на рис. 9.

Рис. 9. Интерфейс программы управления

Программа написана на языке программирования С # с использованием графического интерфейса Windows Forms .

Алгоритм использования программы

• 1.    Подключить шлем к программе (отметить « connect »).

• 2.   Обучить программу когнитивным действиям:

  • 2.1.  Выбрать действие из выпадающего списка.

  • 2.2.  Нажать кнопку « train ».

  • 2.3.    Дождаться окончания обучения.

  • 2.4.    Во всплывающем окне согласиться с принятием результатов.

• 3.    Выбрать COM -порт. Если нужного порта нет в списке, то подключить протез к компьютеру и нажать на кнопку « refresh ».

• 4.    Установить границы для активации у протеза действия «сжать руку».

• 5.    Отметить галку для начала управления протезом (« Rc active »).

При нажатии на кнопку « train » шлему посылается информация о выбранной в данный момент мысленной команде для обучения, после чего некоторое время происходит запись показателей активности головного мозга человека. Когда шлем зафиксирует схожие параметры мысленной деятельности, ключ текущей команды сменится с нейтральной на связанную с параметрами. Алгоритм представлен на рис. 10.

private void Train_Click(object sender, EventArgs e)

{                        "

btnLearn. Enabled = false;

engine.CognitivSetTrainingAction(0, Actions[comboBoxl.Selectedlndex]);

engine.CognitivSetTrainingControl(0, EdkDll.EE_CognitivTrainingControl_t.COG_START);

Рис. 10. Алгоритм начала обучения

Помимо подключения непосредственно к шлему и протезу, предусмотрена возможность тестирования программы при помощи сторонней программы Emotiv Xavier Composer , имитирующей работу когнитивного шлема и позволяющую посылать виртуальные мысленные команды приложению. В коде программы это реализовано в виде вызова методов RemoteConnect или Connect , которые показаны на рис. 11.

Если пользователь отправит программе мысленную команду, будет произведена оценка приложенного усилия, и, после процесса масштабирования полученного сигнала относительно установленных минимума и максимума, соответствующий сигнал будет отправлен на COM -порт.

Следующее событие происходит при обновлении таймера, запускаемого для управления протезом в ходе подключения когнитивного шлема которое показано на рис. 12.

private void ConnectCB_CheckedChanged(object sender, EventArgs e)

if (ConnectCB.Checked)

try { if (RemoteCB.Checked)

engine.RemoteConnect("127.0.0.1", 1726);

else engine.Connect();

engine.CognitivSetActivationLevel(0, 2);

engine.SetHardwarePlayerDisplay(0, 1);

engine.CognitivSetActiveActions(0, (UInt32)EdkDll.EE_CognitivActiont.COG_PUSH);

catch (Exception ex) {

}                                                                                                                            "

}

Рис. 11. Симуляция подключения к шлему private void rc_Tick(object sender, EventArgs e) {                "

float score = power;

float тара = map(score, min, max, 0, 180);

float a = (тара < 0) ? 0 : (тара > 180) ? 180 : тара;

if (RCAct.Checked) try delSerialPortWrite delFoo = new delSerialPortWrite(serialPortWrite); ZAsyncResult tag = delFoo.BeginInvoke(sc, null., null);

}                                  "                       "

catch (Exception ex)

} } private float map(float x, float injein, float in max, float out_min, float out_max) <                                         -                -                 -                 - return (x - in_min) * (out_max - outmin) / (inmax - in_min) + out_min;

Рис. 12. Масштабирование сигнала

Переменная « power » - мощность мысленного усилия.

Так как протез имеет физические ограничения при работе (нельзя послать сервомоторам угол поворота, выходящий за пределы отрезка [0,180]), переменная « a » урезается в возможных значениях до границ этого интервала.

При этом для краткости была использована конструкция ( bool ) ? 1 : 2, возвращающая значение 1 в случае, если bool = true , и 2 в противоположном. В коде программы второе возможное значение представляет собой еще одну такую конструкцию.

Таким образом, реализуется бинарное дерево.

После произведенных операций на COM -порт посылается строка вида « a А », где « А » - угол от 0 до 180, на который будет произведен поворот всех пяти сервомоторов с учетом ранее установленных в программе Arduino физических ограничений для каждого в частности.

Подобными методами предотвращаются возможные поломки протеза при неправильной интерпретации исходящих от шлема команд.

На рис. 13 и 14 показан процесс проводимого эксперимента. Так, оператор при помощи мысленных команд, которые считываются когнитивных интерфейс EPOC +, управляет процессом сжимания разжимания кисти протеза.

Рис. 13. Проведение эксперимента (выполнение команды «сжатие»)

Рис. 14. Проведение эксперимента (выполнение команды «Расжатие»)

Данный эксперимент наглядно демонстрирует возможности совместного использования электромеханических, антропоморфных устройств и современного класса компьютерных нейроинтерфейсов.

Выводы

В работе представлено развитие нескольких наукоемких направления робототехники, которые имеют высокий практический интерес, как в отдельных, так и в совместных проектах. С одной стороны, это конечные продукты, которые при должной доработки можно представить на рынок, с другой, технологии использования новых видов человеко-машинных интерфейсов и разработки современного программного обеспечения.

Важно отметить, что данная работа вписывается в концепцию интеллектуального тренажера [5] и по своей сути, отражает полноту этого образовательного подхода в робототехнике.

Выполненная работа, является началом инициативного проекта создания антропоморфного лабораторного робота и развитием разработки интеллектуального когнитивного интерфейса в государственном университете «Дубна».