Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов. Ч. 2. Определение эмоций

Автор: Ульянов Сергей Викторович, Шевченко Андрей Владимирович, Мамаева Алла Александровна

Журнал: Сетевое научное издание «Системный анализ в науке и образовании» @journal-sanse

Статья в выпуске: 2, 2018 года.

Бесплатный доступ

В статье рассматривается разработка когнитивно-интеллектуальной системы диагностики, обучения и адаптации детей-аутистов. Проведена оценка возможностей применения методов и средств технологии интеллектуальных вычислений для адаптации и индивидуализации системы под конкретного оператора

Когнитивная система, интеллектуальная система, эмоции, адаптация, нейроинтерфейс, интеллектуальные вычисления, аутизм

Короткий адрес: https://sciup.org/14122663

IDR: 14122663

Текст научной статьи Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов. Ч. 2. Определение эмоций

COGNITIVE-INTELLIGENT SYSTEM FOR DIAGNOSTICS, EDUCATION AND ADAPTATION AUTISTIC CHILDREN. PART II. EMOTION DEFINITION

Ulyanov Sergey 1, Shevchenko Andrey 2, Mamaeva Alla 3

  • 1Doctor of Science in Physics and Mathematics, professor;

Dubna State University,

Institute of the system analysis and management;

141980, Dubna, Moscow reg., Universitetskaya str., 19;

  • 2Postgraduate Student;

Dubna State University,

Institute of the system analysis and management;

141980, Dubna, Moscow reg., Universitetskaya str., 19;

  • 3 Postgraduate Student;

Dubna State University,

Institute of the system analysis and management;

141980, Dubna, Moscow reg., Universitetskaya str., 19;

Введение: модуль обработки данных

Когнитивно-интеллектуальная система адаптации и обучения детей-аутистов предназначена для извлечения, обработки и формирования программы обучения на основе когнитивных процессов, в частности ЭЭГ сигналов, адаптации детей-аутистов к социуму и обучения базовым бытовым навыкам. В Части 1 описана структурная схема когнитивно-интеллектуальной системы, состоящей из следующих блоков:

  • -    блока предварительного тестирования для определения начального уровня адаптации к социуму и общего развития ребёнка;

  • -    блока статистики, в котором отражена вся информация о работе с системой, показатели эмоционального восприятия и динамики освоения материала;

  • -    интерфейса взаимодействия с системой, позволяющего производить различные варианты ввода информации, которые добавляют интерактивности управления системой и позволяют адаптироваться под особенности моторики ребёнка;

  • -    модуля обучения, являющимся библиотекой заданий;

  • -    модуля обработки данных, представляющим из себя структуру взаимодействия ребёнка и программы обучения посредством применения нечеткой логики.

Основной частью когнитивно-интеллектуальной системы адаптации и обучения детей-аутистов (КИСДАОДА) является модуль обработки данных, представляющий собой структуру взаимодействия ребёнка и программы обучения посредством применения нечеткой логики. Центральной частью модуля является Обработчик эмоций, осуществляющий оценку эмоционального фона ребёнка. Анализ реакции ребёнка позволит системе подстроиться под специфику мышления, учесть личностные особенности и обеспечить адаптивность к различным ситуациям с учетом психофизиологических состояний и отклонений посредством мягких вычислений.

Рис. 1. Структурная схема модуля обработки данных когнитивно-интеллектуальной системы адаптации и обучения детей-аутистов

Модуль обработки данных предназначен для извлечения ЭЭГ на основе когнитивного шлема, обработки и фильтрации полученного сигнала, формирования программы обучения на платформе когнитивных процессов, диагностики проблем работы ребёнка с системой и оценки реакции оператора на задания, сформированные модулем обучения.

Структурная схема модуля обработки данных отображена на рис. 2 и состоит из:

  • 1.    Обработчика ЭЭГ, который выводит необработанный сигнал ЭЭГ с датчиков когнитивного шлема, фильтрует его, обрабатывает с помощью преобразования Фурье.

  • 2.    Модуля распознавания эмоций.

  • 3.    Шины, формирующей пакет данных для передачи их на вход оптимизатора баз знаний.

  • 4.    Интерпретатора полученного коэффициента от оптимизатора баз знаний.

Рис. 2. Блок-схема устройства приложения

В результате работы модуля обработки данных в блок обучения передаётся сформированный параметр оценки задания. Таким образом, происходит корректировка программы обучения и индивидуализация системы под конкретного ребёнка.

Описание программной платформы

Для разработки приложения было принято решение использовать платформу . NET , и язык программирования C#. C# – это объектно-ориентированный язык со строгой типизацией, позволяющий разработчикам создавать различные безопасные и надежные приложения, работающие на платформе . NET Framework. C# можно использовать для создания клиентских приложений Windows, XML- веб-служб, распределенных компонентов, приложений клиент-сервер, приложений баз данных и т. д. Visual C# предоставляет развитый редактор кода, удобные конструкторы пользовательского интерфейса, интегрированный отладчик и многие другие средства, которые упрощают разработку приложений на языке C# для платформы .NET Framework.

Платформа .NET является переносимой платформой (с некоторыми ограничениями). Например, последняя версия платформы на данный момент .NET Framework поддерживается на большинстве современных операционных системах. А благодаря проекту Mono можно создавать приложения, которые будут работать и на других ОС семейства Linux, в том числе на мобильных платформах Android и iOS. Это позволяет без привязки к конкретной среде разрабатывать приложения, и с минимальными трудозатратами переносить на различные платформы.

Для взаимодействия с другим программным обеспечением Windows , например, с объектом COM или собственными библиотеками DLL Win32 , можно применить процесс C#, известный как «Взаимодействие». Взаимодействие позволяет программам на C# делать практически все, что возможно в приложении машинного кода C++.

Для создания базы знаний на мягких вычислениях используется ПО SCOptimizer . Оптимизатор баз знаний на основе мягких вычислений (Оптимизатор баз знаний, ОБЗ, Soft Computing Optimizer, SCOptimizerTM ) является программным средством для создания автоматических нечетких моделей. Оптимизатор баз знаний использует наборы значений вектора вход-выход для создания и оптимизации нечеткой модели. Для выполнения различных алгоритмов оптимизации необходим обучающий сигнал, который представляет образцы входных значений и соответствующих выходных значений. Файлы обучающего сигнала могут быть созданы с помощью Оптимизатора баз знаний или взяты из других источников. Текстовые файлы обрабатываются на основе региональных настроек, которые определяют символы для десятичной точки, разделителя тысяч и так далее. По умолчанию используются значения этих параметров, установленные в Windows . Если настройки не соответствуют формату сигнала, то они могут быть изменены в любой момент. После изменения параметры сохраняются в модели и будут использоваться для дальнейшей обработки данных. Региональные настройки влияют на чтение и запись текстовых данных и файлов модели.

SCOptimizerTM поддерживает экспорт модели в программе на языке C . Код в этих файлах написан с минимальным использованием функций из стандартной библиотеки языка С и может быть скомпилирован любым компилятором С , включая ориентированные на встраиваемые системы и микроконтроллеры.

Программная реализация

Приложение разбито на определенные модули, каждый из которых выполняет только поставленную ему задачу, и никак не зависит от остальных модулей. Данная структура позволит без особых осложнений при необходимости менять части программы.

Для регистрации сигналов ЭЭГ выбран беспроводной нейрокомпьютерный интерфейс Emotiv EPOC+. Он содержит схемы сбора сигнала на основе микропроцессора, встроенного в систему для передачи измеренных сигналов ЭЭГ. Беспроводной нейрокомпьютерный интерфейс Emotiv EPOC+ имеет встроенную систему фильтрации. Структурно Emotiv EPOC+ состоит из 14 каналов AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 (плюс CMS/DRL и P3/P4 ). Датчики P3/P4 являются опорными. Они снимают не ЭЭГ, а биопотенциальные сигналы для их фильтрации. CMS/DRL это «заземленные» электроды:

  • -    Common Mode Sense (CMS) активный электрод.

  • -    Driven Right Leg (DRL) пассивный электрод.

Более подробная спецификация представлена в таблице 2.

Таблица 1. Спецификация Emotiv EPOC+

Параметр

Значение

Количество каналов

14

Наименование каналов

AF3, AF4, F3, F4, F7, F8, FC5, FC6, P7, P8, T7, T8, O1, O2

Метод дискретизации

Последовательная выборка, единичный АЦП

Частота дискретизации

~128 Гц (2048 Гц внутренняя)

Разрешение

16 бит

Пропускная способность

0.2 — 45 Гц

Динамический диапазон

256 mVpp

Вид связи

По переменному току

Соединение с компьютером

Проприетарный протокол, на частоте 2.4 ГГц

Тип батареи

Литий-ионный

Длительность работы от батареи

12 ч

Измерение полного сопротивления

Качество контакта с использованием запатентованной системы

Разработчиками нейроинтерфейса Emotiv EPOC+ предоставлен программный интерфейс приложения ( API - application programming interface ), который позволяет, используя свой собственный программный продукт, получать, обрабатывать и взаимодействовать со шлемом через ПК.

Модули Emotiv EPOC и EEGData

Программный модуль EMOTIV EPOC+ предназначен для осуществления взаимодействия когнитивного шлема с персональным компьютером пользователя. В данном модуле реализованы:

  • -    непосредственное подключение к шлему ПК к нейроинтерфейсу;

  • -    получение данных ЭЭГ с использованием стандартного API ;

  • -    обработка специальных ментальных команд, например, команды «толкать» (англ. Push ) или тянуть (англ. Pull );

  • -    определение выражения лица, а также повороты головы с помощью встроенного гироскопа.

Полученные с нейроинтерфейса данные отправляются в модуль EEG Data . Основной функцией является преобразование сигнала ЭЭГ, полученного с Emotiv EPOC (без предварительных обработок, не считая встроенную фильтрацию нейроинтерфейса) в понятный для программы формат. Для этого определён объект Sensor , полями которого определены Name (имя сенсора, например AF3 ) и Value — значение ЭЭГ, полученное в данный момент времени. Каждый сенсор содержит в себе сигнал ЭЭГ в момент времени. Коллекция Sensor представляет собой тип Signal — с этим объектом происходит большая часть взаимодействия программы.

Оценка эмоциональных состояний

В первую очередь исследуем маркер валентного измерения эмоциональных состояний - страх. Страх осознается более четко, в отличие от остальных эмоций и найти его причины гораздо проще. В случае работы в детьми-аутистами, эмоция страха является наиболее критичной к распознаванию.

На рис. 3 представлен график сигнала ЭЭГ, снятый датчиков F3, F4, FC5, FC6 в двух эмоциональных состояниях: слева - страх, справа - нейтральное состояние.

Рис. 3. Значение сигнала ЭЭГ разных эмоциональных состояний

На примере данных значений сигнала ЭЭГ рассмотрена реализация визуального отображения сигнала в модуле MathUtils , а также эти данные использовались для формирования БЗ в модуле SCOUtils.

Модуль MathUtils

Преобразованные данные переходят в модуль MathUtils , отвечающий за все математические операции, используемые при обработке сигнала.

Для наглядного отслеживания сенсомоторных ритмов оператора реализован программный модуль визуализации сигнала ЭЭГ.

В данном модуле выполнен переход от представления сигнала ЭЭГ как функции времени, к представлению сигнала в частотной области. Данный переход осуществляется путем разложения сигнала на гармонические составляющие с помощью преобразования Фурье.

На рис. 4 представлен график спектральной плотности мощности сигнала ЭЭГ, снятый датчика FC6 в двух эмоциональных состояниях: слева – страх, справа – нейтральное состояние.

Рис. 4. Значение суммарной спектральной плотности мощности сигнала ЭЭГ для различных эмоциональных состояний

Применение данного подхода уменьшает объем обрабатываемых данных для визуальной оценки, дает возможность быстро классифицировать электроэнцефалограммы.

SCOptimizer

Руководствуясь принципом не разрушения нижнего исполнительного уровня управления, применение интеллектуальной надстройки в виде оптимизатора баз знаний (ОБЗ) основывается на извлечении сигналов обучения из сигнала ЭЭГ оператора. [5]

После снятия сигнала ЭЭГ (см. рис. 4), на основе предыдущего опыта использования системы, эксперт устанавливает соответствующий уровень эмоционального возбуждения.

Для аппроксимации обучающего сигнала применяется разработанный оптимизатор баз знаний с выбранной моделью нечеткого вывода (Сугено 0 порядка). Используется сигнал с блока распознавания сигнала EPOC+, взятый с лобных долей головного мозга (см. рис. 3), и идентификационное значение соответствующей эмоции.

На следующем этапе проектирования базы знаний для нечеткого вывода осуществляется формирование в автоматическом режиме полной базы знаний и дальнейшая оптимизация правых частей правил (см. рис. 5).

На рисунке 5 изображена база правил в виде сети с четырьмя слоями. Первый слой — слой входных переменных. Второй слой представляет нечёткие терм-множества входных переменных. Третий слой соответствует правилам базы знаний с соответствующим номером правила в базе правил. Последний слой — выходной слой, который отображает числовые параметры правила. На этапе создания БЗ полученный обучающий сигнал используются для формирования лингвистических переменных для входных значений. В данной работе количество нечетких множеств в каждой ЛП было ограничено до 3.

Структура базы правил (см. рис. 6) показана соединительными линиями между различными слоями. Каждый узел в слое правил связан с теми терм-множествами входного слоя, которые включены в левую часть (часть «если») продукционного правила.

Рис. 6. Структурная схема формирования правила в базе знаний

Кроме того, он связан и с терм-множествами выходной переменной.

На рис. 7 в графическом окне изображены функции принадлежности (ФП) терм-множеств переменной.

Рис. 7. Функции принадлежности терм-множеств переменных

Список низу окна содержит ФП и их параметры. Первая колонка в списке — имя терм-множества, следующая – тип распределения, затем показаны параметры распределения

На рис. 8, в первом графике изображен обучающий сигнал и результат модели выходной переменной. Линия зеленого цвета отображает обучающий сигнал, линия синего цвета - выход модели.

Рис. 8. Результат модели выходной переменной

На втором и третьем графиках – максимальный уровень активаций правил и количество активированных правил.

Результат

После создания БЗ с помощью программы SCOptimizer был произведен экспорт модели и осуществлена интеграция в реализованное ПО.

Регистрируемый программным продуктом сигнал ЭЭГ, используя БЗ, возвращает коэффициент, определяющий уровень эмоционального возбуждения. На основе этого коэффициента путем экспертной оценки на экран выводится предупреждение об уровне эмоционального возбуждения (см. рис. 9).

Рис. 9. Предупреждение об уровне эмоционального возбуждения

Вывод

Результаты показали возможность программной реализации определения уровня эмоционального возбуждения. Проведенная работа демонстрирует оптимальную обучаемость системы, возможность создания БЗ на основе регистрируемого сигнала ЭЭГ и использования полученных результатов для распознавания эмоций.

Использование интеллектуальной надстройки в виде ОБЗ, основанной на нечеткой логике, в распознавании эмоций является наиболее оптимальным решением по сравнению с использованием нейронных сетей, которые представляют из себя исключительно абстрактный математический аппарат. Применение различных видов интеллектуальных вычислений в дальнейшем способно сделать систему самообучаемой.

Стоит отметить, что дальнейшее развитие КИСДАОДА неразрывно связанно с возрастанием количества анализируемых данных, расширением БЗ и увеличением функционала системы.

Благодаря тому, что данная система является когнитивно-интеллектуальной, адаптируемой под конкретного ребёнка, она способна сделать более доступным терапию аутизма.

Список литературы Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов. Ч. 2. Определение эмоций

  • Ульянов С. В., Решетников А. Г. Мамаева А.А. Гибридные когнитивные нечеткие системы управления автономным роботом на основе нейроинтерфейса и технологии мягких вычислений. // Программные продукты и системы / Software & Systems. - 2017. - Т. 30. - № 3. - С. 420-424.
  • EDN: ZDUXTT
  • Ульянов С.В., Мамаева А.А., Шевченко А.В. Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов // Системный анализ в науке и образовании: сетевое научное издание. - 2016. - №5. - [Электронный ресурс]. URL: http:/www.sanse.ru/archive/42.
  • Jurriaan M Peters, Maxime Taquet, Clemente Vega, Shafali S Jeste, Iván Sánchez Fernández, Jacqueline Tan, Charles A Nelson III, Mustafa Sahin and Simon K Warfield. Brain functional networks in syndromic and non-syndromic autism: a graph theoretical study of EEG connectivity, BMC Medicine - 2013.
  • Ульянов С. В., Решетников А. Г. Мамаева А.А., Скотников С.В. Гибридные когнитивные системы управления на примере управления транспортным средством // Системный анализ в науке и образовании: сетевое научное издание. - 2016. - №2. - [Электронный ресурс]. URL: http:/www.sanse.ru/archive/40.
  • Ульянов С.В., Литвинцева Л.В., Добрынин В.Н., Мишин А.А. Интеллектуальное робастное управление: технологии мягких вычислений. - М.: ВНИИгеосистем, 2011.
  • EDN: QMWJSR
  • Николаев А.Р. Спектральные характеристики ЭЭГ на первом этапе решения различных пространственных задач // Психологический журн. - 1994. - Т. 15. - № 6. - С. 100-110.
  • Николаев А.Р., Иваницкий Г.А., Иваницкий А.М. Воспроизводящиеся паттерны альфа-ритма ЭЭГ при решении психологических задач // Физиология человека. - 1998. - Т. 24. - № 3. - С. 5-12.
  • Сахаров В.Л., Андреенко А.С. Методы математической обработки электроэнцефалограмм. Учебное пособие. - Таганрог, 2000.
Еще
Статья научная