Интеллектуальный анализ данных в задаче выявления реакций ЭЭГ на эмоционально значимые видеоклипы

Описываемое эмпирико-статистическое исследование лежит в русле методологии связанных с событиями потенциалов (ССП), основу которой составляет регистрация биоэлектрических реакций мозга в ответ на внешнее раздражение (в случае сенсорных ССП) и при выполнении когнитивной задачи (в случае когнитивных ССП).

В качестве стимулов в нашем исследовании выступают видеоролики с различным эмоционально насыщенным содержанием.

В работах, посвященных выделению показателей, отражающих воздействие эмоционально значимых стимулов ЭЭГ, используются два основных традиционных методических подхода:

• 1.    Первый подход основан на анализе изменений компонентов N1, P1, N2, P2, P3 … временных реализаций ЭЭГ при предъявлении стимулов.

• 2.    Другим подходом к исследованию является анализ спектральных характеристик ЭЭГ при воздействии тех или иных стимулов.

Обзор литературы по отражению эмоций в ЭЭГ и в целом по эмпирико-статистическому анализу ССП дает основание сделать ряд других замечаний методологического характера.

• 1.    ЭЭГ-сигнал, как известно, относится к наиболее сложным физическим сигналам. Это связано, прежде всего, с высокой (и принципиальной) нестационарностью ЭЭГ [1]. Поэтому анализ ЭЭГ следует проводить на квазистационарных участках. Этого не делается во многих исследованиях, хотя необходимость предварительного сегментирования ЭЭГ была ранее достаточно подробно обоснована [2]. Вместе с тем, на наш взгляд, процедура сегментирования ЭЭГ должна быть дополнена переходом к ипсативным измерениям путем автонормирования временного или спектрального представления ЭЭГ внутри квази-стационарных участков.

• 2.    Многие современные исследования ССП пошли по экстенсивному пути развития, когда делаются попытки углубить область наших знаний простым наращиванием точности измерений (например, частота дискретизации сигналов), увеличением количества отведений сигнала ЭЭГ, уменьшением ширины полос в спектральном анализе и т.п. Однако огромные нераскрытые возможности электрофизиологических исследований лежат в области методов анализа экспериментального материала, позволяющих выявлять сложные системные эффекты.

Из вышесказанного следует актуальность разработки и совершенствования специальной методологии анализа электрофизиологических сигналов для исследований восприятия визуальной информации. Эта методология должна базироваться на современных компьютерных методах препроцессинга и анализа электрофизиологических сигналов, нацеленных на выявление многомерных системных эффектов с учетом индивидуальных особенностей объектов исследования.

Характеристика экспериментальных данных

Исследование проведено с участием 3 испытуемых (2 мужчины и 1 женщина) в возрасте 20—35 лет. До начала показа стимулов проводилась запись электрофизиологических сигналов человека в состоянии покоя с закрытыми глазами. После этого делался перерыв порядка пяти минут.

В качестве стимульного материала использовались видеоклипы с различным эмоционально насыщенным содержанием. Во время предъявления стимулов испытуемый располагался сидя на расстоянии около 1,5 м перед экраном с диагональю ~1,8 м. Для минимизации мышечных артефактов испытуемому давали инструкцию сидеть расслабленно и не совершать мышечных движений. С целью уменьшения движений глаз испытуемого просили фиксировать взгляд в центре монитора.

Испытуемый был проинструктирован пассивно наблюдать изображения на экране. Не подразумевалось решение каких-либо когнитивных задач или физическое реагирование на какие-либо изменения.

Анализу подвергались значения составляющих автонормированных периодограмм. Периодограммы были разбиты на 3 класса: «Глаза закрыты», «Релакс» и «Эмоции».

Наилучшие результаты (по точности и воспроизводимости на контрольной выборке) получены для следующих параметров анализа:

• – Эпоха составляет 800 отсчетов ЭЭГ;

  – Периодограмма представлена 10 полосами шириной по 5 Гц от 0 до 50 Гц.

К наиболее продуктивным результатам привела следующая последовательность действий:

– Из 200 исходных полос (20 отведений х 10 полос от 0 до 50 Гц) для каждого испытуемого селектируются списки информативных полос периодограммы (по критерию Вил-коксона) с уровнем значимости p <0,05.

– Находится отведение, которое встречается во всех списках с наилучшим уровнем значимости статистических различий в классах. Дальнейший анализ спектров производится только для этого отведения.

– Выборка экспериментальных данных разбивается случайным образом на 2 равные части (обучающую и контрольную).

– В качестве процедуры анализа используются алгоритмы поиска логических закономерностей.

– Выявленные логические правила (паттерны ЭЭГ) проверяются на контрольной выборке.

Традиционный дисперсионный анализ. Основной целью традиционного дисперсионного анализа является исследование значимости различия между средними значениями показателя в различных выборках (в нашем случае в разных классах). Проверка статистической значимости различия проводится с помощью разбиения общей дисперсии (вариации) на части, одна из которых обусловлена случайной ошибкой (т.е. внутригрупповой изменчивостью), а вторая связана с различием средних значений. Последняя компонента дисперсии затем используется для анализа статистической значимости различия между средними значениями. Если это различие значимо, нулевая гипотеза отвергается и принимается альтернативная гипотеза о существовании различия между средними в разных классах.

По результатам дисперсионного анализа наибольшая статистическая значимость различий достигается для показателя FP2_5 (отведение FP2, 5-я спектральная полоса). На рис. 1 показаны средние значения этого показателя в разных классах, дополненные графическим отображением 95% доверительных LSD-интервалов.

Рис. 1. Средние значения показателя FP2_5 в разных классах

На первый взгляд, различия в классах весьма существенны, и средние значения показателя на некотором интервале наблюдения могут служить эффективным индикатором эмоционального состояния испытуемого. Вместе с тем, оказывается, что интервал наблюдения должен быть весьма велик, так как показатель FP2_5 имеет значительную вариацию во всех классах. Расчеты показывают, что для получения статистически обоснованного вывода об эмоциональном состоянии испытуемого требуется использовать скользящее окно, содержащее не менее 200 значений FP2_5 (200 динамических спектров). Это примерно соответствует 3 минутам измерения ЭЭГ.

На основании результатов дисперсионного анализа можно предложить логическое правило для определения факта эмоционального воздействия на испытуемого. Например, зададим для FP2_5 порог 0.5 и будем фиксировать логические события FP2_5 <0.5. Значения статистики этого события приведены в табл. 1.

Таблица 1

Частота события FP2_5 <0.5 для разных классов

Класс	FP2_5 < 0.5		Row Total
	нет	да
глаза_закрыты	732	615	1347
релакс	3587	4855	8442
эмоции	2455	5987	8442
Итого	6774	11457	18231

Как следует из табл. 1, частоты события FP2_5 <0.5 в классах «релакс» и «эмоции» статистически значимы, но не слишком сильно различаются. При полученном соотношении частот требуется накапливать примерно 100 событий для достижения уверенной фиксации факта изменения эмоционального состояния испытуемого. Эти события встречаются примерно в каждом втором спектре. Поэтому здесь также требуется скользящее окно, содержащее не менее 200 динамических спектров, а это приблизительно 2 минуты записи ЭЭГ.

Традиционный статистический анализ дает возможность выявить индивидуальные отличия реакции испытуемых на разные классы видеоклипов. Как следует из результатов этого анализа, все испытуемые при воздействии видеоклипов с эмоционально насыщенным содержанием демонстрируют снижение среднего значения показателя FP2_5. Вместе с тем, наиболее ярко эти снижения проявляются у испытуемых мужского пола, тогда как у испытуемой женского пола такое снижение относительно слабо выражено. Подобные различия в спектрах ЭЭГ у мужчин и женщин, отражающие эмоциональные реакции, ранее отмечались, например, в [3].

Поиск паттернов в спектрах средствами интеллектуального анализа данных

Методы интеллектуального анализа данных (ИАД) позволяют выявлять сложные системные взаимосвязи, скрытые в многомерных психофизиологических данных. Использование системных взаимосвязей между различными показателями дает возможность существенно повысить точность и надежность правил выявления эффектов ССП по данным электрофизиологического эксперимента. Методы ИАД в сочетании с новейшими средствами получения электрофизиологической информации позволяют по-новому раскрыть информативность различных экспериментальных показателей, а также ускорить и удешевить процесс создания компьютерных систем в области психофизиологии.

В качестве инструментов ИАД для изучения эмоциональных реакций применялись алгоритмы поиска логических правил в данных из пакета WEKA, инструмент для построения деревьев решение SPSS Answer Tree и авторская разработка — программа Argos Data Mining.

Результаты работы алгоритмов WEKA

Наиболее выразительные результат показал алгоритм PART, который выявил в данных набор логических правил, характерных для класса «Эмоции». Ниже приводится наиболее выразительное логическое правило:

Fp2_2 > 1.52 AND

Fp2_4 <= 1.22 AND

Fp2_2 > 3.2 AND

Fp2_3 > 0.73 AND

Fp2_3 <= 1.93: эмоции (176.0/61.0)

Для этого правила в классе «Эмоции» наблюдается почти троекратное превышение частоты встречаемости выявленного паттерна над частотой его встречаемости в других классах.

Результат работы Answer Tree

Лучший результат показал алгоритм CHAID, который строит дерево решений с использованием множественного ветвления с использованием критерия хи-квадрат. Один из листов построенного дерева продемонстрировал пятикратное (176/35) превышение частоты встречаемости паттерна в классе «Эмоции» над частотой встречаемости этого паттерна в других классах.

Результат работы Argos Data Mining

Наша авторская разработка — программа Argos Data Mining — выявила в данных динамических спектров ЭЭГ весьма большое количество паттернов, характерных для класса «Эмоции». Ниже мы проиллюстрируем результат работы этой программы на характерном примере одного паттерна, обозначенного идентификатором «Rule 1»:

Rule 1 : Если Fp2_1 <= 0.01 И Fp2_3 <= 0.14 И Fp2_4 <= 0.13 И Fp2_5 <= 0.098 И Fp2_6 <= 0.94 То Class=эмоции

Частота встречаемости паттерна «Rule 1» классе «Эмоции» более чем в 5 раз превышает частоты встречаемости этого паттерна в других классах.

Таблица 2

Частота паттерна «Rule 1» в разных классах

Класс	Паттерн		Итого
	нет	да
глаза_закрыты	1345	2	1347
релакс	8361	81	8442
эмоции	8003	439	8442
Итого	17709	522	18231

Паттерн «Rule 1» по-разному «работает» у разных испытуемых. Наиболее ярко он выражен у испытуемого № 1.

Таблица 3

Частота паттерна «Rule 1» в разных классах у испытуемого № 1

Класс	Частота паттерна
глаза_закрыты	1
релакс	10
эмоции	253
Итого	264

На втором месте по выраженности паттерна «Rule 1» в классе «Эмоции» стоит испытуемый № 2.

Таблица 4

Частота паттерна «Rule 1» в разных классах у испытуемого № 2

Класс	Частота паттерна
глаза_закрыты	1
релакс	16
эмоции	105
Итого	122

И, наконец, наименее выражен в классе «Эмоции» паттерн «Rule 1» у испытуемой № 3.

Таблица 5

Частота паттерна «Rule 1» в разных классах у испытуемой № 3

Класс	Частота паттерна
глаза_закрыты	0
релакс	55
эмоции	81
Итого	136

Сравнительная динамика паттернов

Эффективность найденного паттерна «Rule 1» иллюстрируется динамикой этого паттерна в скользящем по динамическому спектру окне. Выберем величину окна, например, 100 спектров. В этом окне мы будем подсчитывать частоту встречаемости паттерна «Rule 1» и для сравнения будем подсчитывать среднее значение показателя FP2_5, информативность которого определена по результатам традиционного дисперсионного анализа.

У испытуемого № 1 в окне 100 спектров частота «Rule 1» достигает значения 20 в классе «эмоции», и только максимального значения 3 в других классах. Для среднего значения FP2_5 в окне эта разница гораздо менее значительна.

У испытуемого № 2 паттерн «Rule 1» встречается с частотой до 12 в классе «Эмоции», а в другие классах эта частота едва достигает значения 3. Порог, с которым нужно сравнивать частоту «Rule 1» для определения эмоциональной реакции, для первого и второго испытуемого можно выставлять равным 4 — превышение такого порога будет служить эффективным индикатором эмоционального воздействия. Вместе с тем, среднее значение FP2_5 в классе «Эмоции» у второго испытуемого мало отличается от значения в других классах.

У третьей испытуемой паттерн «Rule 1» не столь информативен. И даже наоборот, оказалось, что показатель среднего значения FP2_5 здесь более выразителен.

Выводы

• 1.    В динамических спектрах ЭЭГ содержится информация, отражающая эффект эмоционального воздействия на испытуемых набором специально подобранных видеоклипов.

• 2.    Продуктивной для выявления в ЭЭГ связанных с событиями потенциалов зарекомендовала себя процедура препроцессинга ЭЭГ, включающая сглаживание, дифференцирование, селекцию эпох ЭЭГ и переход к автонормированным периодограммам.

• 3.    Все примененные виды статистического исследования (дисперсионный анализ и поиск логических закономерностей в многомерных данных средствами ИАД) позволили выявить в экспериментальном материале статистически достоверные закономерности, характерные для различных классов ЭЭГ.

• 4.    Наиболее эффективно для выявления информативных паттернов зарекомендовали себя методы интеллектуального анализа данных и, в частности, авторская программа Argos Data Mining.

• 5.    Использование методов интеллектуального анализа данных позволяет находить в динамических спектрах ЭЭГ паттерны, частота встречаемости которых при визуальном эмоциональном воздействии в несколько раз превышает такую частоту при предъявлении испытуемым эмоционально нейтральных видеоклипов.

• 6.    Для выявления реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием оказалось достаточно анализировать ЭЭГ сигнала всего с одного отведения FP2. По-видимому, дополнительный анализ ЭЭГ сигналов с других отведений будет способствовать более оперативному и точному выявлению эмоциональной реакции.

• 7.    Реакции испытуемых на видеоклипы с эмоционально насыщенным содержанием носят как общий, так и индивидуальный характер. Общее для всех испытуемых — характерная реакция ЭЭГ на отведении FP2. Вместе с тем, у испытуемой женского пола в отличие от испытуемых мужского пола эта реакция менее выражена. Для более четкой фиксации реакции у испытуемой женского пола, по-видимому, следует использовать комбинированный показатель — подсчет частоты встречаемости информативного паттерна в скользящем окне динамического спектра, дополненный вычисленным средним значением в окне FP2_5.