Когнитивно-интеллектуальная система диагностики, обучения и адаптации детей-аутистов. Ч. 1

COGNITIVE-INTELLIGENT SYSTEM FOR DIAGNOSTICS, EDUCATION AND ADAPTATION AUTISTIC CHILDREN. PT I2

Ulyanov Sergey 1, Mamaeva Alla2, Shevchenko Andrey3

1Doctor of Science in Physics and Mathematics, professor;

Dubna State University,

Institute of the system analysis and management;

141980, Dubna, Moscow reg., Universitetskaya str., 19;

• ²    Student;

Dubna State University,

Institute of the system analysis and management;

141980, Dubna, Moscow reg., Universitetskaya str., 19;

• ³    Student;

Dubna State University,

Institute of the system analysis and management;

141980, Dubna, Moscow reg., Universitetskaya str., 19;

Введение: Проблемы аутизма

Аутизм, или расстройства аутистического спектра (РАС), – термин, используемый для описания группы расстройств развития центральной нервной системы.

Причины и механизмы РАС не выявлены достоверно. Существует современная классификация аутизма у детей, используемая специалистами (утверждена в 1997 году Научным Центром Психического Здоровья Российской Академии Наук):

• 1.    Детский аутизм внутреннего генеза:

• -    Синдром Каннера.

• -    Инфантильный аутизм.

• -    Детский аутизм.

• -     Синдром Аспергера.

• 2.    Органический аутизм. Заболевание обусловлено наличием тех или иных повреждений нервной системы.

• 3.    Аутистически подобные синдромы при хромосомных, обменных и других нарушениях.

• 4.    Синдром Ретта.

• 5.    Аутистически подобные синдромы экзогенного генеза. Психогенный парааутизм.

• 6.    Аутизм неясного генеза.

Для людей с РАС характерны особенности восприятия информации, трудности с концентрацией внимания и раздражительность, а также расстройства моторики и координации. Каждый человек с аутизмом уникален в своих проявлениях, и порой на первый взгляд сложно понять, что объединяет людей с расстройствами аутистического спектра.

У значительной части людей с аутизмом интеллект соответствует норме, нередко есть удивительные способности в области зрительного восприятия, памяти, музыкального слуха, математики и других наук. Вопреки распространенному мифу, люди с аутизмом не стремятся жить в собственном мире, наоборот, многие очень заинтересованы в общении с другими, способны устанавливать глубокие эмоциональные связи с важными для них людьми, однако не имеют достаточных навыков для того чтобы общаться так, как это делают их сверстники.

Учитывая данные статистики, количество детей-аутистов в последнее десятилетие резко возросло.

Несмотря на то, что аутизм является четвертой по распространенности детской болезнью, специальных школ для аутистов почти нет. В Москве есть только одна специализированная школа, в которой только начальные классы и около трехсот школ, которые работают по инклюзивной системе образования. На большей части уроков детей обучают элементарным бытовым навыкам – смотреть в лицо собеседнику, отвечать на вопросы, поддерживать разговор.

Тем не менее, при своевременной адаптации, аутисты с высоким уровнем развития интеллекта востребованы в обществе и добиваются успеха в ряде профессий, как в России, так и за рубежом.

В связи с этим было принято решение о разработке программного комплекса для диагностики, адаптации и обучения детей-аутистов.

Цель данной работы – разработка системы активного извлечения знаний с возможностью индивидуализации и персонализации под конкретного оператора; раскрытие современных технологий ко- гнитивно-интеллектуальных систем и демонстрация необходимости применения интеллектуальных вычислений для адаптации системы к оператору.

В частности, определены параметры, отражающие реакцию ребёнка, позволяющие системе подстроиться под специфику мышления, учитывать личностные особенности и обеспечивать адаптивность к различным ситуациям с учетом психофизиологических состояний и отклонений.

Описание когнитивно-интеллектуальной системы

Когнитивно-интеллектуальная система адаптации и обучения детей-аутистов предназначена для извлечения, обработки и формирования программы обучения на основе когнитивных процессов, в частности ЭЭГ сигналов, адаптации детей-аутистов к социуму и обучения базовым бытовым навыкам.

Общими задачами разрабатываемой системы являются:

• -    Исследования в области формирования обучающих сигналов для человека и системы.

• -    Подбор и сравнение параметров реакции ребёнка для создания оптимального набора анализа когнитивного процесса.

• -    Предварительное тестирование ребёнка на начальном этапе работы с системой.

• -    Установление критериев и анализ качества обучения системы, тестирование эффективности работы.

• -    Решение задачи формирования робастных структур баз знаний для систем нечеткого вывода.

• -    Апробация в различных ситуациях управления с учетом психофизиологических состояний испытуемого.

На рис. 1 представлена структурная схема когнитивно-интеллектуальной системы, состоящей из следующих блоков:

• -    блока предварительного тестирования для определения начального уровня адаптации к социуму и общего развития ребёнка;

• -    блока статистики, в котором отражена вся информация о работе с системой, показатели эмоционального восприятия и динамики освоения материала;

• -    интерфейса взаимодействия с системой, позволяющего производить различные варианты ввода информации, которые добавляют интерактивности управления системой и позволяют адаптироваться под особенности моторики ребёнка;

• -    модуля обучения, являющимся библиотекой заданий;

• -    модуля обработки данных, представляющим из себя структуру взаимодействия ребёнка и программы обучения посредством применения нечеткой логики.

Перед началом работы с системой производится детальная оценка текущего уровня социального взаимодействия ребёнка, выявление разницы между сложностями в обретении навыков и сложности их применения.

Рис. 1. Структурная схема когнитивно-интеллектуальной системы адаптации и обучения детей-аутистов

Далее формируется минимальный пакет обучения для определения стартовой точки, состоящий из базовых логических задач.

Для получения обратной связи используется когнитивный шлем Emotiv EPOC +, позволяющий регистрировать сигнал мозговой активности и передавать его в модуль обработки данных. Далее, оценивается реакция ребёнка на среду взаимодействия, посредством снятия сигнала ЭЭГ, и происходит мониторинг параметров решения задач.

На основе технологии мягких вычислений формируется стратегия обучения. При формировании нейронной сети нечеткого вывода в разработанном оптимизаторе баз знаний, для входа используется сигнал с блока распознавания сигнала EPOC , время решения, правильность решения и идентификационный номер задачи.

После этого система проставляет соответствующие коэффициенты для корректировки программы обучения.

Основной частью КИС, позволяющий системе адаптироваться к ребёнку, является модуль обработки данных.

Модуль обработки данных

Модуль обработки данных представляет собой структуру взаимодействия оператора и программы обучения посредством применения нечеткой логики.

Рис. 2. Структурная схема модуля обработки данных когнитивно-интеллектуальной системы адаптации и обучения детей-аутистов

Модуль обработки данных предназначен для извлечения ЭЭГ посредством когнитивного шлема, обработки и фильтрации полученного сигнала, формирования программы обучения на основе когнитивных процессов, диагностики проблем работы ребёнка с системой и оценки реакции оператора на задания, сформированные модулем обучения.

Структурная схема модуля обработки данных отображена на рис. 2 и состоит из следующих модулей:

• 1.    Обработчика ЭЭГ, который выводит необработанный сигнал ЭЭГ с датчиков когнитивного шлема, фильтрует его, обрабатывает с помощью преобразования Фурье.

• 2.    Модуля распознавания эмоций.

• 3.    Шины, формирующей пакет данных для передачи их на вход оптимизатора баз знаний.

• 4.    Интерпретатора полученного коэффициента от ОБЗ.

В результате работы модуля обработки данных в блок обучения передаётся сформированный параметр оценки задания. Таким образом, происходит корректировка программы обучения и индивидуализация системы под конкретного ребёнка.

Снятие и обработка ЭЭГ

Известным маркером когнитивных процессов являются перестройки ритмов мозга, проявляющиеся в поверхностно регистрируемой электроэнцефалограмме (ЭЭГ) человека.

Для снятия сигнала о мозговой активности использовался когнитивный шлем Emotiv EPOC + (см. рис. 3)

Рис. 3. Когнитивный шлем Emotiv EPOC+

EPOC имеет 14 электродов, которые являются пассивными сенсорами, позволяющими регистрировать электромагнитные сигналы. Датчики крепятся на поверхности кожи (не погружной, неинвазивный интерфейс) .

На рис. 4 представлена структура Emotiv EPOC+, состоящего из каналов AF3, F7, F3, FC5, T7, P7, O1, O2, P8, T8, FC6, F4, F8, AF4 (плюс CMS/DRL и P3 /P4 ).

Рис. 4. Схема расположения электродов когнитивного шлема Emotiv EPOC+

Поставляемое программное обеспечение позволяет получать, распознавать и регистрировать ЭЭГ сигнал со шлема.

Для анализа полученного сигнала выделяются так называемые частотные ритмы ЭЭГ. Под понятием частотный ритм подразумевается определенный тип электрической активности, соответствующий некоторому состоянию мозга, для которого определены границы диапазона частот. В процессе когнитивной деятельности появляются характерные ритмы бета-, альфа-, тета- и дельта-диапазонов (см. рис. 5).

Рис. 5. Частотные ритмы ЭЭГ

Совокупность одновременно присутствующих ритмов образует специфический пространственно-частотный паттерн ЭЭГ.

Паттерны характерны для разных типов когнитивной деятельности и высоко индивидуальноспецифичны. Способность индивида к установлению ритмических паттернов ЭЭГ при выполнении определенных когнитивных заданий составляет «энцефалографический» портрет его личности.

Одной из задач данной работы является обработка ЭЭГ сигнала, на основе которого производится распознавание эмоций, а, в дальнейшем, формируется энцефалографический портрет ребёнка.

Были рассмотрены различные методы математической обработки сигнала ЭЭГ, представленные в табл. 1.

Таблица 1. Методы математической обработки сигнала ЭЭГ

Метод обработки ЭЭГ	Описание метода	Плюсы	Минусы
Авторегрессионный анализ	Параметрическое описание ЭЭГ, которое позволяет получить математическую модель сигнала, осуществив сжатие информации, присутствующей в исходном ЭЭГ	Позволяет уменьшить количество информации (в 30-50 раз)	При записи в несколько минут объемы данных все равно большие. Существует вероятность потерять диагностически ценную информацию. Результаты нельзя использовать для визуальной оценки происходящих процессов.
Турн-амплитудный анализ	Подсчитывается число тур-нов в секунду (перемена знака изменения потенциала) Положение облака пересечений на графике дает амплитудно-частотную характеристику.	Простота методики, наглядность результата обработки сигнала	Данная оценка не достаточна для получения полного описания процессов.

Спектральнокорреляционный анализ

Используют дискретное преобразование Фурье с прореживанием времени.

Визуальная оценка полученных   ре зультатов Высокая скорость   обра ботки данных

В связи со спецификой обработки большого объема данных в реальном времени, выбран спектрально-корреляционный метод анализа сигнала.

На рис. 6 представлен график спектральной мощности сигнала ЭЭГ, снятого с канала AF3 , полученный преобразованием Фурье с частотой дискретизации 512 Гц. График является симметричным относительно гармоники N/2, соответствующей половине частоты дискретизации (частота Найкви-

Рис. 6. График спектральной плотности мощности сигнала ЭЭГ

Поскольку диапазон значимых частот составляет от 1 до 50 Гц, использование дискретного преобразования Фурье с прореживанием времени (выборка каждого 5-го значения) оптимизирует быстроту обработки сигнала. В соответствии с теоремой Котельникова - Шеннона при такой частоте дискретизации верхняя полоса частот будет передана без искажения.

Рис. 7. График спектральной плотности мощности сигнала ЭЭГ, полученный дискретным преобразованием Фурье с прореживанием времени.

В качестве характерных признаков сигнала в данном случае выступают значения суммарной спектральной мощности в частотных диапазонах дельта, тета, альфа, гамма и бета ритмов.

Таким образом, каждому каналу ЭЭГ сопоставляется 5 признаков. На рис. 7 показано распределение значений суммарной плотности мощности сигнала ЭЭГ с датчика AF 3 в соответствии с частотным диапазоном

Результаты: эксперимент

Эмоциональное переживание, как форма когнитивной деятельности, образует характерные пространственно-частотные паттерны ЭЭГ. Эмоции, не зависимо от их знака, могут генерироваться в обоих полушариях ГМ, но при этом ряд исследований акцентирует внимание на причастности передних отделов ГМ к генерации эмоций, а также обнаруживают фронтальные асимметрии для эмоций разного знака.

В ходе исследования снят сигнал ЭЭГ с датчиков передних отделов ГМ симметрично с правого и левого полушария (см. рис. 8).

Рис. 8. Расположение электродов, используемых в ходе эксперимента

С помощью дискретного преобразования Фурье с прореживанием времени построены графики спектральной плотности мощности сигналов с датчиков AF3, AF4, F7, F3, F4, F8. FC5 и FC6 в диапазоне значимых частот от 1 до 50 Гц для правого и левого полушарий ГМ при позитивных и негативных эмоциях (см. рис. 9):

Рис. 9. Графики плотности мощности для ЭЭГ передних отделов ГМ при эмоциях разного знака

Прослеживаются фронтальные асимметрии для эмоций разного знака. При достаточно высоком уровне исходной тонической активности ведущего (речевого, чаще всего левого) полушария ГМ преобладает позитивный фон, при низком – негативный.

На основе оценки общей тонической активности ведущего полушария, а также значений суммарной спектральной плотности мощности выделенных частотных диапазонов, осуществляется оценка эмоционального фона ребёнка. Параметры, отражающие реакцию ребёнка на задания, позволят системе подстроиться под специфику мышления, учитывать личностные особенности и обеспечить адаптивность к различным ситуациям с учетом психофизиологических состояний и отклонений посредством мягких вычислений.

Перспективы развития

В данный момент система находится в стадии разработки. Планируется реализация блока распознавания эмоций на основе сигнала ЭЭГ; разработка методики обучения, основанная на комбинации из существующих методик, учитывающая их сильные и слабые стороны, для возможности адаптации под определенного ребёнка; разработка интерфейса непосредственного взаимодействия ребёнка с системой через виртуального робота-учителя; разработка модуля для сбора статистических данных о работе с системой; разработка модуля предварительного тестирования для диагностики начального уровня адаптации к социуму и общего развития ребёнка.

Выводы

Считается, что эффективная терапия аутизма крайне дорогостоящая. Причина не в том, что она трудная или ее сложно проводить, а в том, что специалистов, владеющих поведенческими методиками, очень мало. Возникает ситуация, когда большинство семей не имеют доступа к необходимому лечению.

Благодаря тому, что данная система является когнитивно-интеллектуальной, способной адаптироваться под ребёнка, она дает возможность сделать более доступным терапию аутизма.

Применение различных видов интеллектуальных вычислений в дальнейшем способно сделать систему самообучаемой.