Интеллектуальные самоорганизующиеся когнитивные регуляторы. Ч. 2: модели когнитивных интерфейсов "мозг - устройство"

В теории и процессах проектирования интеллектуальных систем управления (ИСУ), как систем управления основанных на знаниях (в виде соответствующих баз знаний (БЗ)), до настоящего момента проектирование самих БЗ осуществлялось экспертом или на основе интеллектуальных вычислений типа мягких вычислений с применением генетических алгоритмов или нечетких нейронных сетей. Роль самого человека-оператора в контуре управления не учитывалась в явном виде, либо описывалось передаточными функциями упрощенного типа. Само включение человека-оператора в контур управления часто рассматривалось как источник возникновения нештатных ситуаций или возрастания информационного риска от принятия решения. Поэтому часто исключался из контура управления в технических системах.

При этом установлено, что в больших многоконтурных системах управления до 75% имеющейся информации является избыточной, не использующейся в контуре управления или мешающей принятию решения [1]. Поэтому одной из центральных проблем разработки ИСУ является поиск конструктивного решения задачи проектирования ИСУ для технических и социо-технических систем, и соответствующей БЗ в заданной проблемно-ориентированной области применения [2].

В течение последних 20 лет усилия многих исследователей были сосредоточены на поиске решений, которые бы связывали непосредственно мозговую активность человека, представленную в виде электрических сигналов, произведенных самосознанием человеческого мозга через нервную систему, с электронными устройствами для эффективного применения на практике.

Кроме сенсорно-моторных рефлексов можно использовать когнитивные способности человека-оператора (включая такие как интуиция, инстинкт и эмоции) для принятия решения в сложных ситуациях, т. к. они являются дополнительным информационным ресурсом, позволяющий учитывать влияние человеческого фактора в контуре управления и, тем самым, повысить эффективность разработки и применения ИСУ. Экспериментальные исследования коры головного мозга и поведенческих реакций человека-оператора подтвердили гипотезу о взаимосвязи электрического возбуждения отдельных участков коры головного мозга (нейронов или группы нейронов) с формированием и прогнозом поведенческих реакций человека-оператора [3-12].

В 1973 г. Дж. Видал поставил вопрос о том, можно ли использовать «электрические сигналы мозга» для того, чтобы их «заставить работать в качестве носителей информации в интерфейсе «мозг – компьютер» или с целью управления такими внешними устройствами, как протезы ...?». Система BMI – Brain Machine Interface (интерфейс «мозг – устройство») была первоначально развита как коммуникационный инструмент для пациентов с серьезными моторными ограниченными возможностями, такими как амиотрофические боковые склерозы, тяжелый церебральный паралич и мышечная дистрофия. В последние годы данный подход расширен на класс пользователей с ограниченными возможностями, благодаря реальным приложениям использования: коммуникации, передачи мысли, управление протезами, и оценки эмоции. Следовательно, данная область имеет высокий потенциал развития и сфер дальнейшего использования в различных областях жизни человека.

В данной статье рассмотрено проектирование BCI - Brain - Computer Interface (интерфейс «мозг - компьютер»): принципы и этапы построения, модели BCI, извлечение знаний, возможности применения. Также рассмотрены основные типы управляющих сигналов с коры головного мозга, методы регистрации и возможность их обработки на основе оптимизатора баз знаний на мягких вычислениях для формирования соответствующих баз знаний когнитивных регуляторов.

Непосредственное применение извлеченных знаний в виде информации о намерениях субъекта, содержащихся, например, в информативных признаках, регистрируемых электроэнцефалограммой из различных зон коры головного мозга, для выполнения действий исполнительным устройством на основе интерфейсов «мозг - устройство» позволяет повысить эффективность разработки и применения ИСУ за счет расширения БЗ интеллектуальных когнитивных регуляторов. Это позволит управлять, например, инвалидными колясками, записывающими устройствами для инвалидов, контролировать роботизированные руки, а также контролировать курсор на экране, чтобы открыть электронную почту или управлять телевидением, создавать когнитивные регуляторы для управления сложными слабоструктурированными системами.

Физиология головного мозга

Исследования в медицинской сфере о применении человеко-машинного когнитивного интерфейса дало обнадеживающие результаты. Известно, что приблизительно два миллиона человек каждый год страдают повреждениями в центральной нервной системе, такими как повреждение позвоночника, амиотрофический односторонний склероз или мозговой паралич. В этих случаях команды мозга не достигают поврежденных участков, но, однако, мозг может произвести сигналы нервной системы, чтобы управлять искусственным устройством типа протез.

С другой стороны, существует необходимость применения управляющих сигналов когнитивных процессов головного мозга человека-оператора в контуре управления системы в виде дружелюбного человеко-машинного когнитивного интерфейса с целью повышения эффективности интеллектуального управления для гарантированного достижении цели управления в условиях неопределенности, нештатных ситуаций и возрастающего информационного риска.

Мозг имеет специализированные компоненты и механизмы для ввода-вывода информации из кратковременной памяти, долговременной памяти и формирования реакции на сигналы возбуждения. Функционирование этих важных подсистем далеко неполно изучено и понятно, но может быть охарактеризовано в общих чертах.

Структура человеческого мозга

Человеческий мозг состоит из четырех основных частей: головной мозг, мозжечок, кора головного мозга и ствол головного мозга. На рис. 1 схематично приведены зоны коры головного мозга, отвечающие за различные поведенческие реакции человека.

Рис. 1. Кора головного мозга человека с разделенными зонами поведенческих реакций

На каждом полушарии головного мозга имеются четыре доли: лобная, теменная, височная долей и затылочная. Ствол мозга имеет два подразделения: варолиев мост и продолговатый мозг. Каждый из этих отделов отвечает за определенные функции:

• 1.    лобная доля отвечает за многие функции, такие как мышление, планирование и решения проблем. Также основные движения контролируются лобной доли. Она также отвечает за эмоциональные ситуации. Она несет ответственность за сознание, деятельность, связанную с окружающей средой и личностями;

• 2.    теменная доля реагирует на информацию, полученную от прикосновения, давления, температуры и боли. Она несет ответственность за визуальное внимание и добровольное перемещение;

• 3.    височная доля отвечает за распознавание запахов, слух и классификацию объектов;

• 4.    затылочная доля отвечает за зрение, определение цвета и движение объекта;

• 5.    продолговатый мозг управляет наиболее важными жизненными функциями: например, частота сердечных сокращений и дыхания;

• 6.    варолиев мост отвечает за движение глаз и фантазию человека;

• 7.    мозжечок отвечает за баланс, позу и равновесие тела.

На рис. 2 (а, б) показана структура коры головного мозга человека с разделенными зонами поведенческих реакций.

(а)

Рис. 2а. Схема головного мозга, показывающая его условное деление: передний мозг, нижняя часть мозга

(б)

Рис. 2б. Организация моторной функции коры головного мозга в соответствии с движениями конечностей (большая часть поверхности коры отражает мимику лица и движение руки)

Обработка информации в коре головного мозга в свою очередь зависит от биологических единиц, называемых нейронами, схематически представленные на рис. 3, которые проводят электрические сигналы, называемые потенциалами действия, через структуру нейрона и передачу сигналов другим нейронам через синапсы.

Одна из наиболее важных функций деятельности нижнего мозга это рефлекторный механизм, который координирует сенсорную информацию с моторной деятельностью человека.

На рис. 4 показаны основные сенсорно-моторные рефлексы.

Сенсорная информация напрямую передается эфферентными (двигательными) нейронами, отвечающие за скорость реакции. Так, эксперименты с кошками, у которых отсутствует передний мозг, показали, что функционирование спинного мозга им достаточно для реализации двигательной функции, а для преодоления препятствий без посторонней помощи им довольно сенсорной информации, поступающей от лап.

Рис. 3. Строение нейрона

Рис. 4. Основные сенсорно-моторные рефлексы

Научные исследования

Динамика информационных потоков в мозгу зависит от многих факторов, но в первую очередь, от архитектуры нейронных цепей и характера нейронных связей между различными мозговыми центрами. Так, тормозящие связи, поддерживаемые интернейронами, ответственны за нестационарную пространственно-временную активность, в то время как возбуждающие связи направляют информационные потоки в нужное время и в нужное место. Можно предположить, что крупномасштабные когнитивные паттерны (мода или представления, наблюдаемые в экспериментах) в рабочем режиме мозга должны подавлять друг друга, что, естественно, должно происходить последовательно во времени. Таким образом, работающий мозг демонстрирует когнитивную и эмоциональную активность в виде цепочки сменяющих друг друга во времени комбинаций функциональных мод, а сами эти комбинации определяются родом ментальной активности.

Динамическое моделирование эмоций, мыслительной деятельности и их взаимодействия требует выбора множества независимых переменных – функций времени, которые в соответствии с динамическими принципами связаны дифференциальными уравнениями. Эти переменные образуют пространство состояний (фазовое пространство) искомой модели. Подобный подход опирается на успешный опыт динамического моделирования разнообразных явлений природы. Он включает в себя набор элементарных моделей, доказательств и развитой техники анализа для понимания поведения системы «в целом». Большую роль в таком описании играет геометрическое представление эволюции исследуемой системы в малоразмерных проекциях фазового пространства. Поведение системы при этом описывается в терминах аттракторов, переходных состояний, устойчивости, бифуркаций, хаоса и т. д. [13].

На протяжении последних лет ведутся активные исследования в данной области с целью выявления областей головного мозга, отвечающих за эмоциональные и когнитивные способности, определения взаимосвязей между разными отделами головного мозга и поисками возможностей использования полученных знаний для разработки BCI.

Так, например, был проведен эксперимент, в котором группе из 20 матерей (г. Лондон) необходимо было ответить на вопросы о своем эмоциональном отношении к предложенным фотографиям: 1) их собственных детей (возраст детей: от 9 месяцев до 6 лет); 2) других детей того же возраста, с которыми они были знакомы; 3) фотографии лучших подруг (средний возраст женщин: 36 лет; с которыми они знакомы в течение 13 лет); 4) других женщин и мужчин, с которыми они были знакомы (возраст: 30÷40 лет, знакомы в течение 5 лет).

Во время проведения эксперимента субъекты были просканированы. В результате была получена модель головного мозга, в которой отображались зоны расположения паттернов «романтической любви» и «материнской любви». В частности, паттерн «романтическая любовь» возбуждает правое полушарие мозга сильнее и фокусируется в средней предфронтальной области, теменно-затылочном переходе / верхней височной борозды, средней предфронтальной / парасингулярной области и на временных полюсах (подробнее на рис. 5).

Расшифровка визуализации активности областей «материнской» и «романтической любви» наглядно показана на рис. 6.

Рис. 5. Деактивация областей «материнская» и «романтическая любовь»

Результаты эксперимента на рис. 6 показали, что существует четкое различие между областями активации в коре головного мозга паттернами «материнской» и «романтической любви».

Рис. 6. Различия между областями активации «материнской» и «романтической любви»

В другом эксперименте было выявлено, что основные очаги возбуждения происходят в ростральной поясной извилины. Зоны, где происходят очаги возбуждения, представлены на рис. 7.

Рис. 7. Зоны ростральной поясной извилины, в которых находятся очаги возбуждения

Так, область ACC отвечает в основном за эмоции, сбор и обработку информации; связана со многими областями головного мозга. МСС – область, отвечающая за когнитивный контроль и выполнение действий. В результате эксперимента были выявлены очаги чувств.

В таблице 1 приведены основные виды чувств и их очаги проявления.

Таблица 1. Основные зоны чувств и карта очагов проявления эмоций

Чувство

Области проявления

Злость

aMCC pgACC sgACC pMCC

Карта очагов

aMCC pgACC

Страх

sgACC pMCC

Негативные эмоции

aMCC pgACC sgACC pMCC

aMCC

Ошибки в контроле

aMCC

Выбор решения

aMCC

Отвращение	pgACC
	sgACC
	pMCC

Грусть

aMCC pgACC sgACC pMCC

aMCC

Заторможенность

	aMCC/pMCC
Боль	pgACC

Типы сигналов, снимаемых с коры головного мозга

Сигналы, которые могут быть использованы для мониторинга активности мозга, имеют электрофизиологическую, магнитную и метаболическую природу.

Однако основным способом извлечения данных является электрофизиологическая активность нейронов мозга. На рис. 8 показана возможность снятия и регистрации электрофизиологических сигналов двумя методами: неинвазивным и инвазивным. Неинвазивный метод заключается в закреплении электродов на поверхности головы человека (электроэнцефалография – ЭЭГ). В инвазивном методе электроды вживляются в поверхность коры головного мозга (электрокортикография – ECoG ) или имплантируются в кору головного мозга для регистрации «потенциалов локального поля» ( LFP ) или «потенциалов нейронной активности» ( spikes ).

Скальп

Мягкие ткани

Череп

Подкорковый слой

Кора

----E£G

Легко и безопасно

Ограниченное разрешение Ограниченный диапазон частот

Г- ECoG

• • Высокое разрешение

: Возможный риск

:    Неизвестно

" **   долгосрочная

‘ "*    стабильность

'- - Spikes and LFPs

Возможный риск

Высокое разрешение

Неизвестно долгосрочная стабильность

Рис. 8. Два основных метода снятия сигналов с коры головного мозга и применение зарегистрированных сигналов в управлении устройствами

Рассмотрим методы исследования электрофизиологической активности мозга, их характеристики и особенности.

Методы снятия электрофизиологических сигналов

Неинвазивные методы

• A.    Электроэнцефалография ( ЭЭГ) – неинвазивный метод исследования функционального состояния головного мозга путем регистрации его биоэлектрической активности в коре головного мозга после того, когда будет произведен внешний стимул. Для снятия сигнала на поверхности головы прикрепляют электроды (наиболее распространенные мостиковые, чашечковые и игольчатые.) [см. рис. 9 (a)].

(а) (б) (в) (г)

Рис. 9. Виды неинвазивных методов

ЭЭГ имеет полосу пропускания 0 – 50 Гц. Эта технология используется для регистрации электрической активности мозга на внешний раздражитель, связанный с десинхронизацией, и вызванными потенциалами, а также для измерения потенциалов коры головного мозга.

Снятия сигнала ЭЭГ и его регистрация является простым и надежным методом. Сам сигнал четкий и имеет хорошую пространственную разрешимость, но более чувствителен к интерференции, например, к сигналу электромиограммы (ЭМГ) от мускулов лица или движением глаз. Сигнал имеет очень высокое временное разрешение, которое делает его удобным, чтобы использовать в режиме реального времени. Кроме того, его стоимость очень низка, по сравнению с другими методами, и он имеет хорошую мобильность.

Б. Функциональная магнитно-резонансная томография ( fMRI ) – получает изменения в магнитных полях кровотока, которые возникают в следствие кислородонасыщения и деоксигенация гемоглобина. Эти изменения связаны с мозговой деятельностью нейронов, когда там присутствует стимул. Другое преимущество fMRI состоит в том, что эта техника не подвергает пациента радиации. Кроме того, это может измерить нервную деятельность всех областей в мозге, даже внутренних областей, и не только коры, как это происходит с ЭЭГ и MEG .

Недостаток fMRI состоит в том, что эта техника не может использоваться в BMI на повседневную жизнь из-за дорогих затрат системы, нехватки мобильности, и временной задержки, которую система получает за время снятия сигнала. Кроме того, человек не может перемещаться или говорить во время записи нервной деятельности. Однако fMRI имеет пространственное разрешение: от 1 до 3 мм. Также fMRI был применен для регистрации деятельности медленных потенциалов коры головного мозга ( SCP ). На рис. 9 (б) изображена картина fMRI системы.

• В.    Магнитоэнцефалография (MEG) – данная техника делает запись магнитных полей, произведенных постсинаптической деятельностью нейронов. Пространственное разрешение сигналов, зарегистрированных этой техникой, достаточно хорошее, но не такое у fMRI . Однако, его временное разрешение лучше. Главное преимущество системы состоит в том, что нервные сигналы не зависят от мягкой мозговой оболочки и черепа. MEG используется, для записи десинхронизации. Его временное разрешение выше, чем у fMRI . Для MEG требуется, чтобы пациент не двигался. На рис. 9 (в) показано устройство MEG .

Г. Спектроскопия в ближней инфракрасной области ( NIRS ) - спектроскопия в ближней инфракрасной области ( NIRS ) является оптическим методом, который измеряет изменения в кислородона-сыщении и дезоксигенирование гемоглобина в области почти инфракрасного спектра (от 800 до 1000 нм). В этой области, с длинами волн между 650 и 950 нм, фотоны могут проникнуть достаточно глубоко в ткань, чтобы осветить некоторые части коры головного мозга. Эти изменения связаны с нервной деятельностью. Преимущество этого метода состоит в том, что он может быть применен с новорожденными, младенцами и детьми, тогда как fMRI производит сильные магнитные поля, которые в ряде случаев могут причинить вред их здоровью. Кроме того, NIRS более портативен, чем fMRI . Тем не менее, он может только измерить нейронную активность в области коры головного мозга. Затраты системы NIRS меньше, чем fMRI . NIRS не требует длинных периодов подготовки объекта измерений. Методы NIRS могут сделать запись медленных корковых сигналов, порядка 5-8 сек, связанных с гемодинамической реакцией мозга, составляющей порядка миллисекунд. Этот сигнал имеет высокий потенциал, который может использоваться в BMI . На рис. 9 (г) изображена схема NIRS .

Д. Другие неинвазивные методы. Методы, объясненные ранее, наиболее часто используются в интерфейсах «мозг – компьютер»; ЭЭГ является самым популярным, но вводятся другие методы.

Позитронная эмиссионная томография ( PET ) является техникой отображения ядерной медицины, которая обнаруживает эмиссию гамма-лучей от тела после того, когда в объект вводится радиоактивный изотоп. Эта техника может восстановить 3 D изображение мозга путем измерения, в области, концентрации молекул, в которых изотоп был введен.

Однофотонная эмиссионная компьютерная томография ( SPECT) , поскольку томография эмиссии позитрона измеряет гамма-лучи после инъекции радиоактивного изотопа. Система использует вращательную камеру, которая захватывает изображения от любой части мозга. Оба метода требуют, чтобы пациент не двигался. SPECT имеет заметно лучшее пространственное разрешение чем PET .

Компьютерная осевая томография ( CAT ), также известная как компьютерная томография, является рентгеновской медицинской техникой отображения. Изображения являются серией 2 D изображений поперечных сечений мозга, с последующей компьютерной обработкой, чтобы построить 3 D интерпретацию органа. С этой техникой мозг получает больше радиации, чем от позитронной эмиссионной томографии или SPECT . У классических методов вычисленная осевая томография имеет хорошее пространственное разрешение.

Инвазивные методы

Инвазивные методы используются для непосредственной записи нервной активности мозга. Эти методы обеспечивают хорошее отношение сигнал-шум ( SNR ), потому что расстояние между электродом и нейронами является сравнительно малым: электроды непосредственно помещаются в мозг, а череп и скальп не мешают запись. В некоторых случаях электроды помещаются на поверхность мозга и не вторгаются в кору, как дополнительные - корковые электроды, в такой методе как, например, электрокортикографии ( ECoG ) (см. рис. 10 (а)). В других случаях электроды проникают в мозг (см. рис. 10 (б)): внутричерепные (внутрикорковые) электроды.

Рис. 10. Иллюстрация расположение электродов в разных инвазивных методах

Главное неудобство этих методов заключается в применении операции для закрепления электродов. Но они могут измерить нервную деятельность с пространственным разрешением на клеточном уровне. С ними всплеск нейронной деятельности может быть записан очень качественно.

Происхождение инвазивного интерфейса «мозг - компьютер» возникает при связи между частотой возбуждения нейронов и исполнения произвольного движения. Это было обнаружено в 1966 году, на экспериментах над животными: у грызунов и у приматов. В 80-х засвидетельствовано, что нервная деятельность от нейронов в двигательной зоне коры головного мозга могла произвести сигналы, которые смогли управлять искусственным протезом.

С этого момента инвазивные методы были развиты на экспериментах с животными. В конце 90-х были применены внедрения на людях, которые вырабатывали управляющие сигналы, позволяющие переместить курсор на экране.

A. Электрокортикография (ECoG) - эта техника также известна как внутричерепная электроэнцефалография из-за ее подобия с неинвазивной ЭЭГ. ECoG состоит в размещении сетки с электродами по поверхности коры головного мозга, то есть электроды не проникают через кору головного мозга. Нервная деятельность, зарегистрированная ECoG, состоит из потенциалов локального поля (LFP), вызванных многочисленными группами нейронов. Преимущество ECoG над ЭЭГ в пространственном и временном разрешении. Кроме того, его пропускная способность 0 - 500 Гц, значительно выше, чем ширина полосы ЭЭГ (0 – 50 Гц), и он способен получать сигналы с амплитудой до 50 – 100, в то время как ЭЭГ только в состоянии получить до 10 - 20 pV.

Б. Внедрение микроэлектродов – этот метод нуждается в операции для размещения электродов, которые вживляют в кору головного мозга. Есть два главных типа электродов: те, которые только проникают через поверхность коры и те, которые размещаются во внутренних областях мозга, и называются внутрикорковые электроды. Главное преимущество этой техники состоит в том, что временные и пространственные разрешения очень высоки: сигналы могут быть зарегистрированы в клеточном масштабе.

Главное преимущество этой техники относительно ECoG состоит в том, что нервная деятельность одного нейрона или тысяч нейронов может быть зарегистрирована в очень высоком пространственном разрешении. Однако, чтобы извлечь сигналы высокого уровня из мозга для управления, например, искусственным протезом, необходимо определенное число нейронов для записи, чтобы не потерять точность в расшифровке сигналов. Минимальное число зарегистрированных нейронов, требуемых для управлять BMI с определенной точностью, было оценено приблизительно в 15-30 нейронов. Ниже приводится классификация регистрируемых сигналов, полученных указанными методами снятия сигналов.

Классификация сигналов применяемых в BCI

Классификация зарегистрированных сигналов неинвазивным методом

Нервная деятельность связана с определенными психическими и душевными состояниями. Сигналы, зарегистрированные неинвазивными методами, наиболее используются для управления искусственным устройством и являются связанными во времени со стимулом. Есть два типа сигналов:

• 1.    Вызванные мозговые ответы (ERs): они также известны как вызванные потенциалы ( EP ). Они производятся или вызываются после того, как появляется непрерывный, определенный, сенсорный стимул, такой как, например, яркий, звуковой или тактильный сигнал. Зарегистрированный сигнал является связанным со стимулом посредством фазы сигнала.

• 2.    Индуцируемые ответы (IRs): они производятся после появления дискретного стимула. В этом случае отношение между стимулом и ответом является синхронизированным изменением амплитуды сигнала или мощности, вместо фазы как в предыдущем случае.

Запись этих двух типов сигналов очень сложна и требует сложных методов обработки сигнала, так как амплитуды сигналов изменяются между 2 и 10 мкВ с фоновым шумом приблизительно 100 мкВ.

• 1.    Вызванные мозговые ответы

• 2.    Индуцируемые ответы

Визуальный Вызванный Потенциал: визуальный вызванный потенциал ( VEP ) производится в зрительной зоне коры головного мозга, когда есть яркий стимул. Потенциал VEP измеряется в той же самой частоте, в которой мерцает стимул, например картинка. Однако чтобы самостоятельно управлять устойчивом при помощи потенциала VEP , требуется длинный период подготовки пациента.

• 1)    Потенциал связанный с событиями ( ERP ): появляется как ответ на заранее определенное событие. Используются два вида ERP в BMI : P 300 и медленные корковые потенциалы ( SCP ). P300: форма волны с положительным профилем импульса, произведенным в следствии процесса возникновения случайного стимула, в котором вовлечена память. P300 обычно появляется между 300 и 450 мс после возникновения стимула, хотя он может быть зарегистрированным после 450 мс, но не после 1 с. Использование этого вида сигнала для управления искусственным устройством требует высокого уровня концентрации. Однако он не требует длительных периодов обучения. Этот сигнал обычно обнаруживается в передних областях париетальной коры, но ее источником является гиппокамп, который связан с памятью.

Сигналы SCP представляют изменения в ритмах, производимых в коре головного мозга. Они имеют длительность между 0.5 и 10 с. Человек может обучиться управлять ритмами SCP посред- ством визуальной или слуховой биологической обратной связи. Отрицательные изменения в амплитуде сигнала обычно связаны с движениями или выполнением определенной задачи, тогда как положительные изменения связаны с расслаблением. Чтобы самостоятельно управлять медленными корковыми потенциалами, человеку требуется длительный период обучения, примерно по 5-20 попыток, продолжительностью не менее часа. Но чтобы иметь приблизительно 75% точности в самостоятельном контроле этих сигналов, зарегистрированных в центральной и лобной долях, может потребоваться несколько месяцев обучения. Но существуют экспериментальные доказательства, что сигналами SCP от задней париетальной коры и затылочной доли невозможно управлять даже с длительными периодами подготовки.

• 2)    Потенциал, связанный с событием синхронизация / десинхронизации ( ERD ): является следствием мозговой деятельности, произведенной многочисленными группами нейронов. Эта деятельность связана с определенными познавательными процессами, которыми можно управлять врожденными способностями, например, шевелением пальцев. Однако ERDs трудно обнаружить и зарегистрировать. С помощью сигналов ERD могут быть определены некоторые психологические состояния. Сигналы, характеризующие каждое состояние могут быть извлечены из различных частотных диапазонах.

Классификация сигналов зарегистрированных инвазивными методами

• A.    Электрокорковая деятельность является результатом нервной деятельности, зарегистрированной ECoG , измеряемой с поверхности коры головного мозга. Воспроизводится многочисленным скоплением синхронизированных нейронов, Сигнал может быть обнаружен как ERDs , но без затухания, произведенных черепом и скальпом. Электрокорковая деятельность используется для управления 1 D курсором с помощью γ -ритмов от двигательной зоны коры головного мозга. В других исследованиях эти сигналы были зарегистрированы у людей, чтобы расшифровать 2 D траектории. Также считается, что эти сигналы могут быть более достоверными и длительными, чем зарегистрированные микроэлектродами, так как запись выполняется на поверхности коры головного мозга.

Б. Потенциалы локального поля ( LFP ) является мозговой деятельностью, также произведенной многочисленной группой синхронизированных нейронов. Сигналы LFP измеряются по объему ткани. Деятельность регистрируется как потенциалы действия, произведенные нейронами, и считается, что они производятся вследствие синоптической деятельности, древовидного взаимодействия, клеточной мембраны нейронов и единичных потенциалов действия нейронов. Однако, полный источник этого типа деятельности все еще неизвестен. Эти сигналы обычно фильтруются в диапазоне 300 и 5000 Гц, хотя они могут быть обнаружены и в более низкой частоте как ERDs . Главное достоинство применение LFT в BMI : они являются достоверными и непрерывными во времени.

• В.    Мульти деятельность регистрируется внутричерепными электродами. Она состоит из наложенной деятельности небольших групп нейронов друг на друга. Сигнал производится внеклеточными потенциалами действия, произведенными активацией нейронов и поэтому очень связан с единичной деятельностью.

Г. Единичная деятельность производится нейронами, когда они генерируют потенциал действия. Она регистрируется внутричерепными электродами. Поскольку у наконечника электрода размер составляет 3-10 µ m , то деятельность самого близкого нейрона к наконечнику обнаруживается с более высокой амплитудой или мощностью.Этот тип сигнала не очень устойчив во времени, по сравнению с сигналами LFP . Однако, сигналы предоставляют точную информацию душевного состояния, которое кодируется единственным нейроном потенциала действия. Например, нервная деятельность 21-46 нейронов была зарегистрирована у крыс, чтобы переместить роботизированную руку; между 10 и 32 единственными нейронами были зарегистрированы у приматов, чтобы переместить курсор экрана, и, деятельность 18 единственных нейронов была зарегистрирована, чтобы переместить 3 D курсор экрана.

Анализ сигналов ЭЭГ человека

Одним из основных и широко применяемых методов определения функционального состояния человека является метод мониторинга и анализа электрической активности головного мозга – ЭЭГ, в котором присутствуют ритмы – периодические колебания определённой частоты и амплитуды. Наличие одного из ритмов является признаком специфического функционального состояния человека: бодрствование, сон, умственная деятельность и др. Рассмотрим более подробно сигналы, которые снимаются при помощи ЭЭГ

ЭЭГ ритмы

Ритмичная активность ЭЭГ сигнала делятся на диапазоны по частоте (см. рис. 11).

(4Гц-8Гц)         (12Гц20Гц)     (20Гц-30Гц)                  (ЗОГц-5ОГц)

Альфа Дельта (8Гц-12Гц) (ГГц 4Гц)

Рис. 11. ЭЭГ ритмы и соответствующие частотные области

На рис. 12-15 приведено более подробное описание свойств сигналов биоритмов [5, 6].

Рис. 12. Альфа и Бета активные волны, воспроизводимые при регистрации ЭЭГ

Рис. 13. Сета волны во время регистрации ЭЭГ

Рис. 14. Дельта волны во время регистрации ЭЭГ

Рис. 15. Гамма и Мю волны во время регистрации ЭЭГ

В таблице 2 представлены диапазоны частот, которые кодируют различные душевные состояния субъекта. Пределы группы являются приближенными и зависят от каждого индивидуума.

Таблица 2. Виды ритмов регистрируемых ЭЭГ

Тип	Частоты	Уровень сигнала	Расположение	Использование
Дельта ( δ )	<4 Гц	Высокий уровень сигнала (70–100 µv/9-14мм) с переменной морфологией	везде	происходят во время сна, указывает на наличие патологических состояний нервной системы (кома)
Тета ( θ )	4-8 Гц	Высокий уровень сигнала (50 µv/7мм)	височной и париетальная	коррелирует с эмоциональным стрессом (расстройства и разочарования). Отвечают за память. Характеризует состояние глубокого и нормального сна в детском возрасте (10 лет)
Альфа ( α )	8-12 Гц	Низкий уровень сигнала (30–60 µv/3-4мм) с переменной морфологией	затылочной и париетальная	уменьшение амплитуду с сенсорной стимуляции или ментальных образований (во время отдыха)
мю	9-11 Гц	Низкий уровень сигнала (30–60 µv/3-4мм)	фронтальная (моторная кора)	уменьшается с движением или намерением движения. Визуально не наблюдаем до стимулирования
Бета ( β )	12-36 Гц	Низкий уровень сигнала (10–15 µv/1-1.5мм) с переменной морфологией	париетальная и лобной	увеличение амплитуды во время напряженной умственной деятельности. Моторная деятельность
Лямбда ( γ )	22-40 ГЦ		затылочный	зрительное внимания и зрительные образы
Вершина	более высокая частота у пациентов с эпилепсией или энцефалопатии

Исследования ЭЭГ ритмов

С ритмами связан широкий спектр разных информационных процессов в мозге. Была выявлена возможность распознавания принципиальных типов мышления по пространственно-частотным характеристикам ритмов ЭЭГ с помощью искусственной нейронной сети. Предстояло выяснить, существуют ли в ЭЭГ человека индивидуальные устойчивые характерные признаки базовых типов мышления (вербально-логического и пространственно-образного) при выполнении заданий, требующих вовлечения этих типов мышления. Была экспериментально доказана возможность распознавания принципиальных типов мышления, осуществляемого человеком, на основе анализа единичных реализаций ЭЭГ с помощью искусственной нейронной сети.

Обнаружено, что в ходе выполнения человеком когнитивных заданий характерные ритмы ЭЭГ появляются несколько раз на короткое время (порядка нескольких сотен миллисекунд), т. е., демонстрируют физическую фазовую природу. Так в Лаборатории высшей нервной деятельности человека ИВНД и НФ РАН в 2007 году были проведены 4 предварительных исследования на 2-х испытуемых (для отладки методики), а в течение 2008 – 2009 гг. – 38 исследований на 19 здоровых испытуемых в возрасте от 20 до 32 лет (средний возраст испытуемых 25 лет). В исследованиях приняли участие 9 испытуемых женского пола и 10 испытуемых мужского пола, из которых трое были леворукими, остальные праворукими. В большинстве случаев лица, участвовавшие в исследованиях, были студентами московских высших учебных заведений, либо молодыми специалистами.

Во время исследований испытуемым предъявлялись на экране монитора 8 видов различных заданий, которые относились к двум типам мыслительной деятельности – пространственно-образному и вербально-логическому, по 4 вида каждого типа. В каждом исследовании предъявлялось 240 заданий, по 30 заданий каждого вида. Каждый испытуемый принимал участие в двух исследованиях, длительностью около 1.5 часов, которые проводились в разные дни. Такая схема проведения исследований была необходима для того, чтобы испытуемый не утомлялся в ходе чрезмерно длительного эксперимента. Условия проведения исследований в разные дни были одинаковыми.

В исследованиях предъявлялись пространственно-образные задания следующих видов: 1) «Вращение фигур»; 2) «Сложная фигура»; 3) «Дорожная развязка»; 4) «Сечение куба». Вербальнологические задания были следующих видов: 1) «Петя и Вася»; 2) «Рита и Таня»; 3) «Анаграмма»;

• 4) «Сложное слово».

Значительный вклад в формирование ритмических паттернов вносит мю-ритм, а именно подготовка или планирование движения проявляется появлением мю-ритма на спектрах. Действительно, мысленное вращение и перемещение фигур, которые испытуемый производит во время решения пространственных задач, представляют собой скрытый моторный акт. Эти действия сходны с воображаемыми движениями, когда планирование движений в моторной коре осуществляется, но команды на их исполнение тормозятся другими отделами коры. Таким образом, при мысленном или реальном выполнении движения наблюдается десинхронизация мю-ритма, однако при планировании движения наблюдается синхронизация этого ритма.

Также вклад мю-ритма в общий спектр Фурье может наблюдаться, когда испытуемый мысленно проговаривает ход рассуждений про себя. При этом активируется зона Брока, примыкающая к моторной коре, что тоже может вызывать изменение параметров мю-ритма.

Эмоциональные процессы играют, по-видимому, одну из ключевых ролей в формировании характерных ритмических паттернов и представляют существенный интерес для Kansei-инженерии. Согласно проведенному опросу испытуемых, разные типы заданий получали у них разную эмоциональную окраску. Задания одного типа мышления некоторым испытуемым решать было интересно, а другие задания – скучно; другим же испытуемым – наоборот. По результатам психологических тестов проявляется индивидуальная эмоциональная окраска тех или иных заданий.

Таким образом, возможно, что при выполнении определенных заданий конкретными испытуемыми, у них проявлялся вполне определенный эмоциональный фон, что отражалось в спектрах ЭЭГ: имеются определенные электроэнцефалографические признаки вербально-логического и пространственного типов мышления, инвариантные относительно конкретного вида когнитивных заданий. Эти признаки высоко индивидуальны и сохраняются на протяжении длительного времени (как минимум, нескольких месяцев).

Принципиально разные типы мышления можно различать с достаточно высоким процентом правильного распознавания по ритмическому рисунку ЭЭГ, используя короткие (длительностью в несколько секунд) единичные реализации сигнала.

Конкретные виды заданий внутри одного типа мышления можно различать по ЭЭГ с меньшей надежностью, но в некоторых случаях выше порога достоверно неслучайной классификации.

Характерные ритмы ЭЭГ, отражающие тип мышления, имеют физическую (не тоническую) природу, т. е. появляются в ходе выполнения когнитивного задания несколько раз в коротких интервалах.

Паттерны ритмов ЭЭГ и типы когнитивной деятельности

Различным типам когнитивной деятельности человека (пространственно-образному и вербальнологическому) соответствуют принципиально различные индивидуальные пространственно-частотные паттерны ритмов ЭЭГ.

Паттерны, соответствующие различным конкретным видам когнитивных заданий, принадлежащим одному типу когнитивной деятельности, различаются между собой в деталях. Различия между такими паттернами существенно меньше, чем между паттернами, принадлежащими различным типам когнитивной деятельности.

Исследования активности нервной системы и деятельности мозга обычно базируются на предположении, что восприятие, эмоции и когнитивные функции могут быть поняты на основании анализа установившихся нейронных процессов и статических томографических «портретов». Недавние работы по визуализации (томографии) работающего мозга позволили выявить многие важные характеристики его активности, в частности, обнаружить функциональные связи, которые выявляют мозговые центры «одновременно» (с точностью до усреднения) активизирующиеся при выполнении тех или иных эмоциональных или когнитивных функций. Перспективы применения динамического подхода для моделирования эмоций и интеллектуальной деятельности мозга опираются на предположение, что мозг представляет собой сложно организованную сеть нейронных центров, каждый из которых, в свою очередь, также сложно организованная структура. Эти мозговые центры работают скоординировано в некотором интервале времени, распадаясь затем и формируя новые образования за счёт появляющихся и исчезающих функциональных связей (рис. 16).

Рис. 16. Мозговые центры и их функциональные связи

Понимание динамики таких структур и построение на этой основе динамических моделей эмоций и когнитивных функций может дать новые методы диагностики и лечения заболеваний мозга. Каждая подсистема мозга, например, амигдала (миндалевидное тело – corpus amygdalioideum), участвующая в формировании «эмоциональных мод», сама представляет собой сложную динамическую систему со своими временными масштабами. Такие системы подвержены воздействию огромного числа нейронных возбуждений со стороны самых разных областей мозга. Поэтому пространственновременные паттерны активности мозга, представляющие изменение эмоционального состояния, чрез- вычайно чувствительны по отношению к внешним и внутренним стимулам. Так, амигдала получает сигналы и со стороны коры головного мозга, и со стороны подкорковых структур. Они включают в себя уже обработанную информацию от визуального, слухового, вкусового, обонятельного и осязательного отделов коры, т. е. амигдала напрямую получает информацию обо всех пяти наших чувствах. Амигдала получает также сигналы и от ассоциативной коры, от таламуса (передающего ещё не обработанную сенсорную информацию), гиппокампа (обработанная информация о взаимоотношениях объекта с окружающей средой), а также от всех структур, которые информируют о состоянии и физиологических потребностях организма.

Имеющиеся сейчас экспериментальные данные говорят о том, что метастабильность и устойчивые переходы – это ключевые динамические объекты, которые способны перевести моделирование нейронных процессов мозга на новый уровень понимания и предсказания. Разрешение фундаментального противоречия между устойчивостью переходной динамики мозга и её чувствительностью к информационным сигналам за счёт информационного выбора метастабильных состояний (т. е. информационной реорганизации гетероклинического канала) – это конкретный пример взаимодействия динамических и информационных процессов в неравновесных диссипативных системах.

Эксперименты с обонятельной системой саранчи и «зебровой» рыбы (demo-verio) показали, что переходная динамика переключений оказывается специфичной не только для разных типов запахов, но и для различных их концентраций. В пространстве состояний нейронной системы разным концентрациям одного и того же запаха отвечают разные траектории на одном многообразии. Разным же запахам отвечают разные многообразия (рис. 17).

Рис. 17. Пространственно-временное представление сенсорной информации обонятельной системой саранчи: (а) экваториальный разрез центра первичной обработки, (б) отклик 110 нейронов на представленный запах (длительность стимула 1,5 с); (в) проекция активности нейронов в трёхмерное пространство (чёрная траектория – результат усреднения по десяти разным наблюдаемым); (г) многообразие гетероклинических цепочек в ансамбле из семи нейронных групп

Предположим, что когнитивная составляющая – это переходный процесс, который после выполнения работы должен завершиться устойчивым равновесием. Представим когнитивный процесс пятью модами, поведение – тремя и эмоциональную память двумя модами, описывающими положительные и отрицательные воспоминания соответственно. Пусть в начале процесса отличны от нуля: одна когнитивная мода, одна из мод, описывающих плохое настроение, и обе моды эмоциональной памяти; причём мода, ответственная за представление положительных воспоминаний, несколько преобладает над той, что представляет отрицательные.

Фазовый портрет системы представлен на рис. 18(а), а развитие процесса во времени на рис. 18 (б).

(а) (б)

Рис. 18. Фазовый портрет (а) и временная динамика (б) эмоций, когнитивной активности и эмоциональной памяти

Можно видеть, что на первой стадии положительные воспоминания подавляют отрицательные эмоции (настроение) и поддерживают когнитивную деятельность. Затем отрицательные воспоминания вытесняют положительные, настроение ухудшается и когнитивная активность падает, однако сознание продолжает частично контролировать эмоции и память и, наконец, отрицательные воспоминания подавляются расширяющимися положительными. В результате когнитивные моды завершают заданную работу.

Естественно, что для личности с другим психологическим профилем динамика взаимодействия настроения и мышления может оказаться иной: воспоминания будут хаотически сменять друг друга, соответственно будет скакать настроение, не давая довести до конца задуманную мыслительную работу. В некоторой области «психиатрических параметров» отрицательные воспоминания вызывают длительную фазу плохого настроения, которое из переходного режима может перейти в стационарное состояние (устойчивая депрессия).

Применение квантовой искусственной нейронной сети ¹ в качестве обучаемого классификатора позволяет различать как принципиальные типы, так и конкретные виды (внутри одного типа) когнитивной деятельности по коротким (несколько секунд) единичным реализациям ЭЭГ. Надежность различения первых много выше, чем надежность различения вторых.

Два конкретных вида заданий, принадлежащие разным типам когнитивной деятельности, распознаются по ритмам единичных реализаций ЭЭГ с наибольшей надежностью (85% в среднем по испытуемым). Принципиальные типы когнитивной деятельности (пространственно-образный и вербальнологический) распознаются инвариантно конкретного вида заданий со средней надежностью 74%. Конкретные виды заданий, принадлежащие одному типу когнитивной деятельности, распознаются на пороге достоверно неслучайной классификации (69% и 68% в среднем по испытуемым для вербально-логического и пространственно-образного типов когнитивной деятельности, соответственно). На протяжении выполнения когнитивного задания характерные ритмы ЭЭГ проявляются несколько раз в коротких интервалах времени (порядка нескольких сотен миллисекунд), демонстрируя фазовую, а не тоническую, природу. Временная динамика ритмического рисунка может соответствовать этапам выполнения когнитивного задания.

Интерфейс «мозг – устройство» (BMI)

Интерфейс «мозг – компьютер» ( Brain – Computer Interface – BCI ), также известный как интерфейс «мозг – устройство» ( Brain – Machine Interface – BMI ), является аппаратным и программным обеспечением системы связи. Это позволяет взаимодействовать с окружающей средой, без участия периферии нервной системы и мышц, с помощью сигналов управления, генерируемых ЭЭГ сигналом. BCI создает новый, не мышечной канал, для ретрансляции намерения и усилий сознания субъекта к внешним устройствам, таким как компьютеры, синтезаторы речи, вспомогательные приборы и нейронные протезы. Это особенно важно, например, для помощи людям с тяжелыми нарушениями двигательных функций.

Основная цель BMI – это распознавать намерения человека на основе анализа активности работы различных областей его мозга, которые преобразуются в информационный ресурс и передаются как управляющие команды, с помощью которых выполняется замысел (желание) человека, смысловое общение и управление внешней средой и цель управления может быть достигнута, несмотря на повреждения нейромускулярной системы. Для корректной работы BMI необходимо быстро и точно снимать сигналы, которые могут быть использованы для мониторинга активности мозга, имеющие электрофизиологическую, магнитную и метаболическую природу. Виды сигналов рассмотрены были ранее и метод снятия ЭЭГ делает возможным включение человека в контур управления.

В теории и процессах проектирования интеллектуальных систем управления (ИСУ) роль человека-оператора не учитывался в контуре управления или был в виде источника возникновения нештатных ситуаций. С появлением BMI появилась возможность добавить возможности человека-оператора с его когнитивными способностями (включая такие как интуиция, инстинкт и эмоции) посредством снятия сигнала ЭЭГ и последующей быстрой и точной ее обработкой и получения дополнительного информационного ресурса на основе оптимизатора баз знаний (ОБЗ).

Этапы BCI

BCI является системой искусственного интеллекта, которая может распознать определенный набор шаблонов в сигналах мозга, в виде следующих шести последовательных этапов (рис. 19.).

Рис. 19. Этапы обработки сигналов с помощью BCI

Рассмотрим этапы:

• 1.    Измерение активности головного мозга: этап состоит в использовании методов регистрации сигналов рассмотренных выше.

• 2.    Предварительная обработка: направлен на повышение отношения сигнал-шум входных сигналов, с целью повышения качества извлечения нужных данных или восстановления искаженного сигнала. Для того чтобы выполнить эту предварительную обработку, используются различные пространственно-спектро-временные фильтры. Они могут быть простыми частотными или более сложными, такими как анализ независимой компоненты или общих пространственных структур.

• 3.    Выделение признаков: определяют важные свойства сигналов мозга, называемыми «особенностями». Например, для сигналов ЭЭГ в различных частотных диапазонах. Их как правила объединяют в вектор, известный как «вектор признаков». Для этого применяют 3 группы методов: 1) методы, использующие временную информацию, встроенную в сигнал; 2) методы, которые используют частотную информацию и 3) гибридные методы, основанные на частотно-временных представлениях, которые используют как временную, так и частотную информации. Этот этап необходим, чтобы обеспечить качественную базу данных для дальнейшей классификации сигналов.

• 4.    Классификация: выявления нейрофизиологических сигналов с учетом векторных признаков и их классификация. Классификация достигается с помощью алгоритмов, известных как «классификаторы». Они имеют возможность обучаться, как определить класс вектора характеристик, благодаря обучающим наборам. Эти наборы состоят из векторов признаков, помеченных своею принадлежностью к классу. Классификаторы могут быть разделены на пять основных категорий, которыми являются: линейные классификаторы, нейронные сети, нелинейные байесовские классификаторы, классификаторы самого ближнего и комбинационные классификатора.

• 5.    Перевод в команды: после того, как класс сигналов был определен, система в состоянии связать определенную команду с определенным психическим состоянием, и отправьте эту команду в приложение или на устройство, например, робота, инвалидный протез, приложения виртуальной реальности.

• 6.    Обратная связь: организация обратной связи с целью узнать, правильно ли выполняются психические задачи, которые позволяют научиться контролировать мозговую деятельность. Научиться управлять системой [ WBM + 02]. В большинстве BCI приложениях ею является визуальная обратная связь, слуховая обратная связь или тактильная обратная связь

Последнее время в области BCI используется все шире пространственные фильтры, так как они очень себя зарекомендовали. Например, к ним относиться фильтр под названием «Анализ независимых компонент», с помощью которого становится возможным поддерживать только те компоненты, соответствующие сигналы, представляющие интерес, и / или для удаления компонентов, которые, весьма вероятно, представляют шум и / или артефакты. Затем сигналы ЭЭГ могут быть восстановлены, используя только выбранные компоненты.

Проектирование BCI считается сложным процессом из-за ограниченного разрешения обрабатываемых сигналов и низкой надежности получаемой информации. Кроме того, BCI системы требуют обработку сигнала в режиме реального времени [6-13] и многих знаний в компьютерах, обработки сигналов, неврологии, психологии.

Системы электродов для съема сигналов ЭЭГ

Как отмечалось неоднократно выше, ЭЭГ регистрируется системой электродов. Электроды размещаются на коже черепа головы, как правило, на основе Международной системы 10/20, которая была стандартизирована Американским обществом электроэнцефалографии. Система 10/20 использует две исходные точки, на голове, чтобы определить местоположение электрода. Одина из этих опорных точек является антропометрическая точка (место пересечения носолобного шва с передней срединной линией – «Насьон») , расположенной в верхней части носа на том же уровне, что и глаза. Другой точкой отсчета является сочетание, которое находится в костном комке в основании черепа (затылок – краниометрическая точка, соответствующая наиболее выступающей части наружного затылочного выступа – «Инион»). Поперечные и средние плоскости разделяют череп через эти две точки.

Количество электродов и положения, зависит от конкретного сигнала, который необходимо проанализировать. Колебание сенсомоторной коры головного мозга динамически изменяется при выполнении движения.

Места электродов определяются маркировкой эти плоскости с интервалом в 10% и 20% (рис. 20).

Рис. 20. Размещение электродов по черепной части головы

Символы в каждом месте рис. 20 представляют соответствующие конкретные области коры головного мозга: А – мочку уха, С – центральную область, P g – носоглотки, P – теменной, F – лобные, F p – лобные полярную и O – затылочной области.

Сбор данных через электроды

Активность мозга исследуемого субъекты регистрируется в виде экспериментальной парадигмы, и ее содержание зависит от конкретного подхода BCI .

Так как регистрируемые сигналы находятся в диапазоне измерений амплитуд в микровольтах, то необходимы усилители для многократного усиления многоканальных сигналов. Эти сигналы будут затем классифицированы как паттерны при подходящей частоте (типичная частота дискретизации в 256 Гц), с использованием аналого-цифрового преобразователя (в настоящее время с точностью 16– 24 бит на канал). В настоящее время существует электроды, которые делают усиление первой ступени в самом электроде (что сводит к минимуму время на регистрацию и обработку сигнала). В общем, портативный блок сбора ЭЭГ сигнала способен усиливать, осуществлять отбор проб, и передачи данных в компьютер. На рис. 21 показан пример регистрации сигнала с исследуемого субъекта с помощью устройства ЭЭГ.

Рис. 21. Пример съема сигнала с объекта с использованием BCI устройства

Новые типы электродов для регистрации сигнала ЭЭГ

Развитие электродов для регистрации сигналов ЭЭГ, которые измеряют сигналы активности мозга с низким уровнем шума, является наиболее важной задачей. Практически обнаружение сигнала осуществляется частью беспроводных систем BCI и содержит только схемы сбора сигнала на основе микропроцессора, встроенного в систему для передачи измеренных сигналов ЭЭГ. Например, хорошо известная нейронная сеть на поверхности коры головного мозга типа Emotiv EPOC для регистрации, формирования и передачи сигнала состоит из 14 каналов электродов и небольшой интегрированной встроенной системы с питанием от бортовой батареи.

В части беспроводных BCI систем, анализ полученных сигналов осуществляется в режиме реального времени или в автономном режиме на компьютере или мобильном устройстве, которые оснащены высокопроизводительными процессорами. Для обеспечения четкого обнаружения сигнала ЭЭГ на границе «электрод - кожа» необходимо развивать методы установки электродов. В обычных проводных системах BCI , пассивные электроды широко используются для измерения сигналов ЭЭГ. Как правило, это электронные диски или в форме кольца и изготовлены из Ag / AgCl сплава. Из-за их простой конструкции, их легко сделать миниатюрными. Тем не менее, они имеют много недостатков. Дополнительные процедуры необходимы для надежной записи сигналов ЭЭГ, потому что потенциалы на коже головы порядка нескольких микровольт и очень чувствительных к шуму. Требуются дополнительные, в том числе в стадии подготовки и использования, проводящие гели или клей для улучшения сцепления и более высокой проводимости. Эти препараты вызывают дискомфорт и нуждаются в длительном времени на подготовку. Проводящие гели легко пересыхают и теряют сцепление. Эти проблемы вызывают ухудшений контакта и сопротивления «электрод - волосяной покров», вызывая значительное снижение отношения «сигнал - шум». Кроме того, качество регистрируемых сигналов снижается при наличии кабельной вибрации. По этим причинам, долгосрочный мониторинг сигналов ЭЭГ, использующих пассивные электроды, не представляется возможным.

В последнее время для преодоления недостатков пассивных электродов, многие исследователи создали новые типы электродов (см. рис. 22).

Рис. 22. Различные типы ЭЭГ электродов. (а) миниатюрный пассивный кольцевой электрод;

(б) подпружиненный сухой электрод; (в) сухой электрод типа щетина; (г) биосенсор типа гибридного Quasar датчика для регистрации ЭЭГ; (д) бесконтактный типа сухой активный датчик ЭЭГ; (е) схема микроэлектрода с пирамидальной формой микро-наконечника

Например, сухие электроды, используются активно в последнее время. Как правило, для установки сухих электродов не требуется использование проводящих гелей или клеев. Таким образом, может удобно прикрепить электроды к коже головы. Чтобы сделать сухой контакт на границе раздела «электрод - кожа», используют специальные материалы или формы в конструкции сухих электродов. Обширные исследования произвели большое разнообразие электродных материалов и конструкций, в том числе токопроводящую резину, проводящие углеродные нанотрубки, структуры микро- наконечников, микромеханические структуры, бесконтактные виды датчиков, пружинные пальцы, структуры щетины, и проводящие пены. Наиболее широко используется конструкции сухих электродов в виде набора контактных пальцеобразных датчиков. Эта конструкция имеет преимущество в увеличении плотности контакта. В последнее время некоторые исследовательские группы изменили эту конструкцию по производству электродов, таких как подпружиненных пальцев или щетинных электродов. Эти конструкции обеспечивают гибкость и геометрическую адаптацию между датчиком и неровной поверхностью кожи головы, чтобы получить низкое сопротивление. Для достижения низкого контактного сопротивления и получения надежной связи, некоторые исследовательские группы, используют многослойные массивы углеродных нанотрубо и микро-наконечники, которые способны проникать в наружный слой кожи (которая является 5–10 мкм толщиной, и образуют роговой слой). Значительно сокращается время установки сухих электродов, однако контактное сопротивление между кожей головы и электродами выше, чем с гелем на основе пассивных электродов (из-за отсутствия проводящих гелей). Таким образом, качество сигнала сухих электродов будет не лучше, чем у геля на основе пассивных электродов. Чтобы преодолеть этот недостаток, многие исследовательские группы были заинтересованы в активных электродах.

Активные электроды содержат усилитель или буферные схемы, интегрированные в сами электроды. Этот усилитель или буферные схемы расположены между электродами и внешним интерфейсом накопления сигнала. Они направлены на ослабление полного сопротивления и обеспечение высокого входного импеданса на границе «электрод – усилитель», уменьшение искажений измеряемых сигналов активных схем. Это требуется для сухих электродов, которые не используют проводящие жидкости. Кроме того, низкое выходное сопротивление усилителя устраняет помехи, вызванные изменениями позы.

Последние беспроводные BCI системы оснащены активными сухими электродами, объединяющими преимущества активных и сухих электродов, таких как удобство установки и высокий уровень достоверности регистрации сигнала. Поскольку эти электроды обеспечивают надежный и стабильный качественный сигнал в среде, они подходят для беспроводных систем BCI. Исследователи, работающие над совершенствованием электродов, представили поверхностный электрод, оборудованный усилителем биопотенциалов с использованием двух операционных усилителей. Мэттьюз и др. разработал беспроводную систему ЭЭГ с использованием Quasar гибридных биосенсоров. В этом типе датчиков, они используют специальный контур, который использует технологию повторителя общего режима ( CMF ). Эта технология обеспечивает ультравысокое входное сопротивление, чтобы обеспечить низкий уровень искажений сигналов биопотенциалов. Chi и др. спроектировали и построили сухие и бесконтактные электроды. В сухих электродах буфер с единичным коэффициентом усиления используется для уменьшения влияния кабельных воздействий и внешнего вмешательства. В бесконтактные электроды также интегрированы дискретные схемы для достижения высокого входного полного сопротивления. Для дальнейшей оптимизации габаритов и энергопотребления таких электродов, некоторые исследователи использовали индивидуальный ASIC дизайн для усилителей. Сюй и др. создали маломощную 8-канальную систему активных электродов. В этой системе, для уменьшения энергопотребления буферов напряжения в сухом электроде, разработан активный электрод, в том числе на интегральных схемах на основе прерывателя измерительных усилителей [14, 15].

Рассмотрим структуру когнитивного интерфейса системы «мозг – компьютер». Он построен с целью повышения эффективности интеллектуального управления для гарантированного достижении цели управления в условиях неопределенности, нештатных ситуаций и возрастающего информационного риска.

Структуры моделей BCI

Модели BMI содержат четыре элемента: получение сигнала, извлечение необходимых характеристик, преобразование характеристик и выходной сигнал устройства.

На рис. 23 и 24 приведены принципиальные структуры моделей BMI / BCI . С помощью BCI возможно пациентам с/без моторных нарушений обучаться контролировать и управлять амплитудой мю или бета-ритмов и использовать данное обучение для передвижения курсора в одно- или двумерном пространстве для достижения цели на экране монитора компьютера.

Рис. 23. Принципиальная структура BMI

BQ инпиопр СМП№*ПЙ шкркгашфлкщрй nporpiwtil hBCQDCC

ЭПКЛСПТ№К1Ир «ркр и Стицш ииСлоденш

Рис. 24. Принципиальная структура BCI

На рис. 25 приведен пример базового феномена модуляций мю/бета ритмов [5].

Рис. 25. Феномен модуляции мю/бета ритмов

На рис. 26 приведены примеры сигналов мю/бета ритмов.

Рис. 26. Примеры сигналов мю/бета ритмов: А, В – топографическое распределение реально измеренного (А) и желаемого (В) сигналов сигнала движения направо и отдыха для частоты 3 Гц на полосе 12 Гц

На рис. 27 придены результаты анализа возможности применения желаемых действий для управления системой.

Рис. 27. Управление вертикальным движением курсора с применением желания двигать курсор вверх в виде команд голосом и отдыхать при движении курсора вниз по вертикале

Примеры локализации входного сигнала для BCI

Пример 1: Визуализация изменения сигналов мозга в реальном времени . На рис. 28 приведены результаты визуализации сигналов мозга, когда пациент выражает желание двигать рукой или плечом, или просто желает отдыхать [5].

Рис. 28. Визуализация сигналов работы мозга в реальном времени (А) – быстрая идентификация локализации изменений, связанных с положением плеча и руки; (В) – идентификация без усреднения сигналов

Пример 2: Локализация функций движения лица / языка . На рис. 29 приведен результат анализа регистрированных активизации сигналов мозга при соответствующих стимулах зон мозга ( А ) и спектр идентификации зоны сигнала ( В ).

Рис. 29. Определение положения языка и лица с помощью электрических стимулов электродов

Пример 3: Локализация моторных функций . На рис. 30 приведены результаты сравнения ритмов для идентификации зон в коре головного мозга для различных органов тела.

Из рис. 30 видно, что мю/бета-ритм более чувствителен для идентификации зон коры головного мозга, но менее специфичен, чем гамма-ритм. Для планирования выполнения желаемых действий с помощью BCI применяется метод десинхронизации относительных событий ( ERD – event-related desynchronization ) и метод синхронизации относительных событий ( ERS – event-related synchronization ), которые используются в альфа-ритме (10–12 Гц) и бета-ритме (12–14 Гц). ERD отвечает за желание пациента осуществить движение левой рукой, а ERS – за желание совершить действие правой рукой, соответственно.

Рис. 30. Определение зон коры головного мозга без электрических стимулов

На рис. 31 показано соотношение ERD / ERS .

Рис. 31. Соотношение ERD / ERS

На рис. 32 приведены результаты реализации измерений для определения зоны выполнения указанных желаний.

Рис. 32. Определение зон выполнения желаний движения руками

Интеграция многих аспектов исследований приводит к объединению нервно-био-психофизиологических, аналитических данных и эргономичной модели управления BCI (рис. 33).

Рис. 33. Модель функционального управления BCI

BCI имеет ввод сигнала от коры головного мозга, (повторение этапов) регистрируя его электрическую активность, записанного в виде электроэнцефалограммы (ЭЭГ), который затем фильтруют, классифицируют и преобразуют в выходной сигнал. Этот выходной сигнал характеризует реакцию головного мозга BCI пользователя и передает соответствующее намерение пользователя. Важно отметить, что пользователь получает обратную связь от своего действия и, таким образом, BCI образует замкнутый контур управления между системой и пользователем.

Выходной сигнал может быть использован для управления приложениями – в идеале, один выход, который отвечает на требование пользователя. Выделяют следующие аспекты, способствующие управлению BCI : (1) индивидуальные характеристики BCI пользователя (м. б. индивидуальные настройки пользователя для управления BCI ), (2) характеристики BCI , (3) тип обратной связи и обучения, и (4) BCI-контролируемое приложение Индивидуальными характеристиками пользователя являются психологические, физиологические и неврологические факторы. Например, координация зрительно-моторной деятельности и мотивация поведенческих реакций могут быть определены для предсказания производительности действий пациента с BC I под контролем сенсомоторных ритмов и событий, связанных с регистрируемыми потенциалами. Лучшим является ингибиторный контроль, т. е. способность концентрировать внимание и игнорировать отвлекающие раздражители, измеренный как вариабельность сердечного ритма.

Примеры использования

Подобная организация – оптимизация поведения – является основой работы для переднего мозга, так как набор сложных примитивов может быть использован как часть программного языка для моделирования более сложного комплексного поведения.

На рис. 34 показана структура применения базового BMI .

Кинематические и динамические параметры движения верхних или нижних конечностей определяются в режиме реального времени от ансамбля возбужденных нейронов, активность которых регистрируется с помощью имплантатов (микро-электродов) в коре головного мозга. В этом контексте, термин предсказание относится к использованию комбинации ансамбля электрических сигналов нервной деятельности мозга для оценки изменяющихся во времени кинематических и динамических параметров движения в несколько сотен миллисекунд (обычно 100-1000 мс).

Рис. 34. Структурная схема для управления движениями шагающего робота на основе BMI

На рис. 35(а) представлена схема BMI для достижения позиции и захвата предмета. Моторные (исполнительские) команды извлекаются из сенсомоторных зон коры с использованием мультиэлек-тродных имплантатов, которые регистрируют разряды от нервных окончаний больших ансамблей корковых клеток.

(а) (б)

Рис. 35. Принципы (а) и структура (б) построения интерфейса «мозг-устройство» [4, 12]

Алгоритмы обработки осуществляют преобразование нейронных сигналов в команды для робота – манипулятора. Беспроводная телеметрия использована для соединения с манипулятора. Субъект получает визуальную информацию и сигнал соматосенсорной реакции от привода, например, через микростимуляции корковых сенсорных областей; на рис. 35 (а), позиция (б), видно, что увеличение числа нейронов увеличивает точность прогнозирования движений рук у макак-резусов, рассчитанных для ансамблей, записанных в разных областях коры: спинной предмоторной коры ( PMD ), первичной моторной коры ( М 1), основной соматосенсорной коры ( S 1), дополнительной двигательной зоне ( SMA ) и в области задней теменной коры ( PP ).

Нейронные кривые описывают точность (R2) исполнения захвата цели как функции от размера нейронной ансамбля, используемого для генерации предсказания, лучшие прогнозы были получены с помощью первичной моторной коры M1. Точность прогнозирования улучшена с увеличением разме- ра нейронов ансамбля (рис. 35 (а), позиция c). Точность определения силы захватного устройства, определяется активностью одних и тех же областей коры головного мозга как в пункте а.

На рис. 35 (б) показана структура интерфейса BMI с несколькими петлями обратной связи, разработанного в Duke University ( Center for Neuroengineering ). Резус-макака имитирует желаемую работу искусственного роботизированного манипулятора, который должен достигнуть позиции и захватить различные объекты. Манипулятор оснащен сенсором оценки расстояния и датчиками положения. Сигналы от датчиков передаются на управляющий компьютер (справа), который обрабатывает их и преобразует в микро стимулирующие импульсы в сенсорных областях мозга обезьяны, осуществляет обеспечение информации обратной связи (красный контур). Серия микро стимулирующих импульсов показана на вставке слева. Нейронная активность регистрируется в нескольких областях мозга, а затем осуществляется перевод команды на исполнительный механизм с помощью управляющего компьютера и алгоритмов декодирования (синий контур). Положение руки контролируется с использованием оптической системы слежения, которая отслеживает положение нескольких маркеров, смонтированных на рычаге (зеленый контур). Работа этого интерфейса приводит к включению внешнего привода исполнительного устройства.

Несколько вычислительных моделей используется для одновременного извлечения различных параметров исполнительного устройства (например, положение рычага и скорости, или усилие захвата рукой) в режиме реального времени с внеклеточной активности лобной и теменной областей корковых нейронов. Обучение осуществляется путем определения параметров исполнительного устройства с применением сигналов модуляции нейронного ансамбля животного, выполняющего задание движения своими конечностями. В результате этого обучения модели создается "функция преобразования" для определения активности нейронных паттернов в конкретных моделях движения. Далее, режим работы переключается на «контроль работы мозга», в котором нестационарные выходы вычислительных моделей управляют движением искусственного устройства (например, курсора компьютера или манипулятора), для воспроизведения моторных усилий субъекта.

Другой подход для обучения модели реализован в инвазивных методах функционирования BMIs у обезьян и неинвазивных BMIs у людей, который базируется на супервизорном адаптивном алгоритме и не требует постоянного контроля выполнения движений конечностями, а адаптирует параметры модели так, что выходные параметры модели аппроксимируются в идеальные параметры задаваемых траекторий движения манипулятора с максимальной точностью.

Беспроводные устройства BCI и структура системы

В процессе обработки сигналов ЭЭГ, передаваемых на основе беспроводных BCI систем, приходится вводить дополнительную обработку сигнала для повышения точности передачи зарегистрированных нейрофизиологических сигналов. В зарегистрированных сигналах присутствует шум различной природы такой как, например, физиологические помехи и линии передачи. Физиологические помехи накладываются на другие биопотенциальные сигналы, такие как электромиограмма (ЭМГ), электрокардиограмма (ЭКГ), и электроокулограмма ( EOG ). Они имеют относительно малую амплитуду до 20-30 mV , в то время как амплитуда сигналов ЭЭГ значительно меньше по масштабам примерно 10 ~ 100 uV .

Таким образом, сигнал ЭЭГ легко маскируется этими физиологическими сигналами. В случае, когда BCI система подключена к компьютеру, связанного с каналом подачи электроэнергии, то необходимо рассмотреть влияние шума линии электропередачи. Шум линии электропередачи загрязняет снимаемый сигнал ЭЭГ в диапазоне от 50 или 60 Гц. Кроме того, пользователи портативных беспроводных BCI систем могут быть в активном состоянии, совершая свободные движения и меняя позиции. Поэтому измерения сигнала ЭЭГ в беспроводных BCI систем также подвержены сильным шумам от движений и вибраций.

На рис. 36 приведен вид общей блок-схемы типовой системы беспроводной BCI ² (представлена блок схема, в которой существуют две основные части, а именно аналоговая передняя часть цепи и цифровая система).

Рис. 36. Блок-схема типичной беспроводной системы BCI

На этапе предварительной аналоговой обработки, включаются усилитель и ограничитель пропускной способности схемы, чтобы более надежно и достоверно выделить сигналы ЭЭГ. Поскольку амплитуда сигнала ЭЭГ небольшая, то предварительное усиление измеренных сигналов ЭЭГ в аналоговой форме является чрезвычайно важным. Многие развитые беспроводные BCI системы используют операционные усилители. Эти усилители обычно обеспечивают усиление в диапазоне от нескольких тысяч до сотен тысяч раз. Усиление с высоким коэффициентом обеспечивает большую устойчивость к различным источникам шума. Тем не менее, необходимо определить подходящее усиление с максимальным разрешением сигнала в аналоговый цифровой преобразователь (АЦП), потому что АЦП имеет динамический диапазон ограниченного входного сигнала. Поэтому усиление аналогового входного конца варьируется в зависимости от компонентов в цифровой системе.

Поэтому приходится фильтровать частоты и устранять различные шумовые компоненты. Сигналы ЭЭГ занимают узкую полосу частот: как правило, от 0,1 Гц до 50 Гц. Таким образом, фильтрация является полезной для извлечения сигналов из желаемой полосы частот. Чтобы отфильтровать сигналы от ненужных полос частот, аналоговые системы используют как низкочастотный фильтр, так и фильтр высоких частот. Для фильтрации шума линии электропередачи, используется режекторный фильтр, который устраняет специфические частотные компоненты сигнала. Эти процессы фильтрации выполняются с использованием пассивных или действующих фильтраций цепей.

На этапе цифровой обработки система включают четыре интегральные схемы: мультиплексор, АЦП, микропроцессор, и блок беспроводной передачи. Как правило, большинство ЭЭГ на основе беспроводных BCI системы поддерживают многоканальную запись. Для измерения многоканального сигнала одновременно нужен мультиплексор, который необходим для доступа ко всем каналам, а измеренный аналоговый сигнал ЭЭГ на АЦП должен быть подан на цифровые схемы для последующей обработки записанных данных ЭЭГ. Интегральная схема преобразует аналоговые сигналы ЭЭГ в дискретные оцифрованные данные с определенной частотой дискретизации. Частота дискретизации определяется скоростью микропроцессора и беспроводной передачи при преобразовании частотных диапазонов ЭЭГ. Формально, исследователи и разработчики системы выбрали частоту дискретизации от 100 Гц и 1000 Гц. Микропроцессор имеет пакеты данных из скорректированных данных ЭЭГ и передает их по беспроводному блоку передачи. Микропроцессор также управляет компонентами всей системы.

Некоторые беспроводные системы BCI загружают алгоритмы обработки сигналов ЭЭГ для извлечения искомых характеристик сигнала на микропроцессор, так как регистрируются многоканальные данные ЭЭГ, а затем передаются от портативного устройства предварительного приема сигналов ЭЭГ в основную систему. Что касается протокола беспроводной передачи, то используются различные коммуникационные модули для передачи измеренных сигналов от блока накопления сигнала такие как Bluetooth и IEEE 802.15.4 Zigbee. Bluetooth имеет много преимуществ такие как: достаточная скорость передачи и широкий доступ. Таким образом, многие беспроводные BCI системы используют этот модуль передачи. Поскольку аналоговые фронтальные и цифровые части системы должны быть загружены в портативные и переносимые части беспроводных BCI систем, то длительное время работы и малый размер являются необходимыми техническими характеристиками системы.

Таким образом, разработчики системы должны выбрать компоненты с низким энергопотреблением. В последнее время многие производители выпустили маломощные микропроцессоры и интегральный аналоговый интерфейс цепи для измерения биопотенциала. Например, Texas Instruments выпустила серию комплексных решений схемы ADS 129 x для обработки аналогового сигнала ЭКГ / ЭЭГ. Эта серия обеспечивает 8-канальные АЦП с высоким разрешением и встроенным программируемым усилителем ( PGA ), с низким уровнем шума и малым потребления энергии. В микропроцессорной области, различные ультра процессоры малой мощности были выпущены на рынке портативных устройств. Наиболее широко используются микропроцессоры серии PIC 24 Микроконтроллер, цифровой сигнал серии DSPIC контроллер (производства Microchip Technology ) и серии MSP 430 Микроконтроллер (производства Texas Instruments ). В частности, процессор серии DSPIC применяется в качестве блока обработки системы Emotiv EPOC .

Что касается подхода к проектированию внешнего вида системы, разнообразие конструкций принимаются в зависимости от цели применения и целевых пользователей. Широко используются стили и средства беспроводных BCI систем включающие гарнитуры, головную ленту, бейсболки, а также военные шлемы. Различные конструкции беспроволочных BCI систем показаны на рис. 37.

Рис. 37. Различные конструкции беспроводных BCI систем: (a) переносной BCI для снятия сигнала ЭЭГ; (б) 8канальный ЭЭГ-мониторинг, (в) бейсболка- устройство на основе получения ЭЭГ, (г) беспроводная система ЭЭГ для SSVEP, и (д) кевларовый шлем на основе амбулаторной беспроводной системы ЭЭГ солдата в режиме реального времени для классификации нагрузки.

При разработке внешнего вида беспроводных BCI систем, необходимо учитывать несколько факторов, таких как износостойкость, устойчивость и удобство монтажа, Для обеспечения долгосрочной возможности мониторинга, переносимые части беспроводных BCI систем должен быть легкими и обладать комфортной установкой. Кроме того, удобная установка необходима, чтобы сэкономить время в процесс настройки. Соответствующие сжатие также необходимо для поддержания стабильного расположения электродов и низких характеристик полного сопротивления на границах датчика и кожи. Кроме того, для обеспечения разнообразия размеров головы пользователей, материалы, используемые в беспроводных BCI системах должны быть гибкими, или должны быть с регулятором размера.

В части применения BCI систем имеет очень разнообразные перспективные приложения реабилитации, связанные с уже разработанными ЭЭГ на основе проводных BCI систем. BCI системы измерения и анализа нейрофизиологических сигналов обеспечивают практическую помощь для диагностики, лечения и реабилитации пациентов. Например, с помощью BCI системы, долгосрочный мониторинг сигналов ЭЭГ помогает диагностировать эпилепсию и прогнозировать эпилептические припадки. Для людей с тяжелыми двигательными нарушениями, P 300 нужны для улучшения правописания и управления инвалидной коляской. Эти приложения предоставляют практическую помощь в повседневной жизни, предоставляя без усилий не мышечные двигательные функции.

Несмотря на эти полезные приложения, распространение BC I систем ограничено из-за недостатков проводных BCI систем. Проводные BCI системы, как правило, громоздки, сложны и дороги. Кроме того, пользователи проводных BCI систем приурочены к ограниченному пространству без свободы поз и движений. Чтобы преодолеть эти ограничения, проводные BCI системы постепенно вытесняются беспроводными BCI системами.

В последнее время с развитием беспроводных BCI системах, исследователи сосредоточили свое внимание от приложений для людей с ограниченными возможностями на приложения, представляющих интерес для широкой публики в развлечениях, смарт среде обитания и познавательной сфере нейронауки. В развлекательной зоне, Ляо и др. разработали интерфейс игровой ЭЭГ на основе реального времени с фокусировкой алгоритма обнаружения с беспроводным устройством сбора ЭЭГ.

Для смарт среды обитания, Лин и др. разработали системы экологического автоматического управления на основе физиологических состояний человека, таких как сонливость и бдительность. Аналогичным образом, Гуге и др. разработали интеллектуальную систему управления умным домом, основанного на интерфейсе Р 300. Для мобильных приложений, Ван и др. разработали набор номера сотового телефона. В когнитивной области мониторинга, Д'Арси и др. разработали диагностический прибор, который обеспечивает оценку осознания индивидуума на основе различных компонентов ERP.

В этом исследовании, они обнаружили, что ощущение, восприятие, внимание, память и язык должным образом связанны с P1, негативности рассогласования ( MMN ), P 300 (звуками), P 300 (речью), и ответами N 400. Кроме того, Мэттьюз и др. разработана система, которая в реальном времени классифицирует нагрузки, при условии с движением с компактной амбулаторной беспроводной системой ЭЭГ. Единство данной системы и совместное функционирование обеспечивается с помощью обратной биологической связи.

Рис. 38 показывает примеры применения беспроводных BCI систем.

Рис. 38. Применение беспроводных BCI систем: сбор данных (а) Скриншот классификация нагрузок в приложении и Классификатор занятий, работающих на игровом представлении данных, (б) скриншот ЭЭГ на основе BCI игры стрельба из лука, и (с) SSVEP на основе набора приложений с помощью смарт-телефона [15]

Дополнительные вопросы построения интерфейсов «мозг – исполнительное устройство» можно найти в результатах [14-30].

Выводы

• -    Рассмотрены когнитивные возможности человека-оператора, виды когнитивных сигналов, разные методы регистрации активности областей деятельности, основные ритмы головного мозга, отвечающие за различные функции поведения человека.

• -    Решение поставленной задачи человеком-оператором может осуществляться через вырабатываемые управляющие сигналы ЭЭГ. Зарегистрированные сигналы ЭЭГ можно измерить, обработать, извлечь знания на основе оптимизатора баз знаний. На их основе, используя различные фильтры, можно создавать БЗ когнитивных регуляторов.

• -    В результате появляется возможность включения человека в контур управления, используя обратную биологическую связь. В настоящее время уже разработаны интерфейсы «мозг – устройство» ( BMI ), реализующие данный подход. Такое внедрение BMI в ИСУ, позволяет осуществлять управление объектами надежнее, делая процесс точным и робастным.