Динамика непроизвольного формирования корреляционных паттернов ЭЭГ по механизму биологической обратной связи

Введение. Развитие человеко-машинных интерфейсов, включая направление интерфейсов «мозг - компьютер», традиционно опирается на парадигму произвольного управления [1, 2]. Согласно этому очевидному подходу пользователь должен осознанно осуществить целеполагание и ещё на этапе обучения научиться осознанно изменять свою активность, например влиять на амплитуду тех или иных ритмов электроэнцефалограммы (ЭЭГ) [3]. Данный подход зарекомендовал себя как весьма перспективный, однако в нем имеется ряд недостатков, в первую очередь связанных с неполнотой воспроизведения поведенческих паттернов человека. Действительно, сущест- вует большой пласт реакций на те или иные неосознаваемые стимулы [4]. Можно предположить, что подобные феномены могут служить основой для нового класса интерфейсов «человек - компьютер» (включая «мозг - компьютер»), основанных на непроизвольном управлении устройствами-эффекторами [5]. Данный подход следует рассматривать не как конкурирующий с подходами на парадигме произвольного управления, а как дополняющий их, формирующий, например, элементы искусственного эмоционального интеллекта [6]. Перспективным представляется поиск и оценка феноменов мозговой активности, в первую очередь ЭЭГ-активности, которые мо- гут служить входными сигналами в системы интерфейсов «человек – компьютер» [7, 8]. Подобные попытки предпринимались, например, в оценке изменения амплитуд ритмов ЭЭГ [9]. Однако это направление не получило достаточного развития. При этом амплитудный анализ ЭЭГ имеет ряд недостатков, связанных как с изменением сопротивления под электродами при длительной регистрации, так и с необходимостью для мозга поддерживать определённый уровень амплитуды волн ЭЭГ на заданных частотах. В этом аспекте, возможно, более перспективным представляется анализ связей между теми или иными участками мозга, оцениваемыми по корреляциям ЭЭГ-паттернов [10, 11].

Цель исследования. Оценка динамики формирования ЭЭГ-корреляции в условиях непроизвольного управления по механизму биологической обратной связи.

Материалы и методы. В исследовании приняли участие 33 чел. (26 мужчин и 7 женщин) в возрасте от 19 до 27 лет, давших информированное согласие на участие в проведении эксперимента и не имеющих патологии цветовосприятия. В рамках исследования проводилось два вида наблюдений: с обратной связью и контрольное (без обратной связи). При этом испытуемому не сообщалось, какой именно эксперимент является контрольным, а какой – с обратной связью. Перед регистрацией ЭЭГ определялись три предпочитаемых («любимых») и три избегаемых («нелюбимых») цвета в порядке ранжирования. Испытуемый, следуя инструкции, самостоятельно выбирал цвета из полноцветной палитры (2²⁴ цветов) на сайте [12]. Дальнейшие исследования проводились на этом же компьютере, что позволило избежать необходимости проведения цветокоррекции. Данные ЭЭГ записывались в течение 3 мин для контроля и 3 мин для эксперимента с обратной связью. Порядок следования экспериментов в серии определялся случайным образом. Перерыв между экспериментами составлял 3 мин. Испытуемый располагался в кресле на расстоянии от 0,75 до 1,50 м от 22-дюймового монитора, определяя наиболее комфортную для себя удаленность. ЭЭГ регистрировалась мо нополярно в симметричных отведениях F3,

F4, C3, C4, P3, P4 с использованием электроэнцефалографа «Нейрон-Спектр-4» (ООО «Нейрософт») с включенным режекторным фильтром и выключенными фильтрами высоких и низких частот. Представленное производителями API позволило реализовать систему биологической обратной связи, при которой коэффициенты корреляции, рассчитанные в парах симметричных отведений F3-F4, C3-C4, P3-P4, в ходе эксперимента трансформировались в координаты RGB цветового пространства по формулам:

xR I l x⁰

xB

d - 1

d - 1

max ( MinR ,min ( MaxR , k^

d - 1

* max ( MinG ,min ( MaxG , k^

* max ( MinB ,min ( MaxB , k ^

где d = 256 - число градации каждого из трех основных цветов в стандартной палитре RGB, [ MinR , MaxR ] — диапазон представления красного цвета и аналогично для зеленого и синего цветов, округление вниз обозначено через ^ . J .

При этом в ходе эксперимента с обратной связью эпоха анализа составляла 1 с, а в случае контрольного исследования цвета менялись с тем же периодом, но случайным образом, так что вероятности их появления были одинаковыми. После регистрации ЭЭГ в контрольном эксперименте данные обрабатывались по тому же алгоритму, что для эксперимента с обратной связью. Получалось две траектории в RGB-пространстве: сформированная при наличии обратной связи, о которой испытуемого не ставили в известность, и сформированная без наличия обратной связи между цветами на экране монитора и ЭЭГ-корреляци-ями в симметричных отведениях.

Поскольку для каждого человека, принимавшего участие в исследовании, известны предпочитаемые и избегаемые цвета, то каждая из означенных выше групп цветов содержит по четыре элемента: собственно заявленные испытуемым цвета и точка Торричелли, или, более строго, первая точка Торричелли [13]. Согласно определению, это точка на плоскости, из которой все стороны треугольника видны под углом 120⁰. В рамках исследования полученные в ходе опроса три цвета рассматриваются как точки в трехмерном пространстве RGB, которые являются вершинами треугольника. Согласно теореме Торричелли– Ферма–Штейнера [13], если все углы треугольника меньше 120⁰, то точкой минимума суммы расстояний до его вершин является точка Торричелли. В случае если один из углов больше или равен 120⁰, то точкой мини- мума суммы расстояний является вершина этого угла (рис. 1).

Для нахождения точки Торричелли использовалась созданная авторами программа ColorIdentity. Для каждого человека, принимавшего участие в исследовании, были определены субъективные оси, которые строились в трехмерном пространстве RGB от каждого избегаемого цвета до каждого предпочитаемого и точек Торричелли. Для одного человека получается набор из 16 осей (рис. 1).

Рис. 1. Треугольники, образованные в трехмерном пространстве RGB предпочитаемыми и избегаемыми цветами, и построенные оси между ними

Fig. 1. Triangles formed in a three-dimensional RGB space by preferred and avoidable colors, and axes built between them

На построенные таким образом оси были спроецированы цвета, содержащиеся в выходных файлах и формирующие траектории в трёхмерном пространстве (рис. 2). Проекции траекторий также рассчитывались с помощью программы ColorIdentity. Были построены гистограммы распределения проекций цветов для каждой оси.

Для определения, относятся ли полученные проекции траекторий цветов на расчетные оси к одному распределению или имеются различия, был применен критерий Колмогорова–Смирнова. Проекции были разбиты на четыре промежутка. Первый содержит данные из первой по времени четверти всего объ- ема данных, второй – второй четверти и т.д. В качестве нулевой гипотезы было выдвинуто предположение, что различия между распределениями первого промежутка и последнего случайны. С помощью созданной программы ColorIdentity была рассчитана тестовая статистика Колмогорова–Смирнова D для каждого наблюдения с заданным α-уровнем. Далее осуществлялась проверка влияния условия проведения наблюдения (экспериментальное или контрольное) на распределение принятия решений о существовании различий между распределениями проекций цветов на оси. Так как необходим анализ связанных наблюдений, был применен критерий Мак-Немара.

Рис. 2. Траектории изменения цветов на экране монитора в ходе экспериментов с обратной связью (сплошная линия) и расчетные изменения при отсутствии обратной связи (контроль)

Fig. 2. Trajectories of color changes on the screen during feedback experiments (solid line) and estimated changes in the lack of feedback (control)

Была проведена оценка существования различий между распределением расстояний до предпочитаемых цветов для экспериментального и контрольного наблюдения (рис. 3). Для анализа были использованы три критерия: Колмогорова–Смирнова, Вальда–Воль- фовица и U-критерий Манна–Уитни, которые позволяют анализировать две независимые выборки. В случае зависимых выборок использовался критерий Вилкоксона для парных случаев. Расчеты проводились с использованием программного пакета Statistica 8.0.

Рис. 3. Оценка расстояния от траектории изменения цвета на экране монитора до одного из предпочитаемых цветов

Fig. 3. Estimation of the distance from the color change trajectory on the screen to one of the preferred colors

Для каждого предпочитаемого цвета было проверено, относятся ли расстояния до него к одной и той же генеральной совокупности. Для этого были применены критерии Колмогорова–Смирнова, Вальда–Вольфовица и U-критерий Манна-Уитни с использованием программных средств, означенных выше. Подобно анализу проекций цветов на оси, расстояния были разделены на четыре группы.

Результаты и обсуждение. Проведенное сравнение результатов экспериментальной и контрольной записей с использованием критерия Вальда–Вольфовица показало, что для каждого из испытуемых все расстояния (три наиболее предпочитаемых цвета и цвет, соответствующий точке Ферма–Торричелли для этой группы цветов) значимо различались (р<<0,001; сравнение проведено для всей эпохи анализа). Однако сравнение средних показателей по всей группе не продемонстрировало достоверных различий (р>>0,05). Также не было выявлено различий (р>>0,05) и в изменении расстояний в зависимости от выбранного цвета. Таким образом, каждый из испытуемых сформировал свою индивидуальную траекторию изменения корреляционных паттернов ЭЭГ.

Рассмотрим вопрос о динамике расстояний до предпочитаемых цветов в начале и в конце проводимых экспериментов. Сравнивались результаты первого и последнего квантилей записи, т.е. периоды от 0 до 45 и от 135 до 180 с записи. Различий в средних значениях по исследуемой группе ни для контроля, ни для эксперимента выявлено не было (p>>0,05). Однако в обоих случаях наблюдалось значимое (р<<0,01) снижение среднеквадратического отклонения (СКО) расстояния до точки Торричелли. Различий между контролем и экспериментом выявлено не было. Таким образом, это можно рассматривать как эффект от фотостимуляции испытуемого при изменении цветов.

Критерий χ2 и точный критерий Фишера продемонстрировали связь между увеличением или уменьшением расстояния до цели и характером динамики в эксперименте и контроле. Если пользователь увеличивал расстояние до координат предпочитаемых цветов в ходе эксперимента с обратной связью, то уве- личение расстояния наблюдалось и в контроле, где обратная связь отсутствовала.

В табл. 1 представлены результаты сравнения экспериментов в двух подгруппах. Первую составили наблюдения, в которых при наличии обратной связи статистически значимо от 1-го к 4-му квантилю увеличивалось расстояние до точек в 3D-пространстве, содержащих понравившиеся пользователю цвета и точки Торричелли. Таким образом, цвет, являющийся индикатором обратной связи, «удалялся» в RGB-пространстве от одного или нескольких цветов, которые пользователь выбрал как «понравившиеся» или от рассчитанной на их основе точки Торричелли. Вторую составляли те наблюдения, в которых отмечено статистически значимое приближение текущей координаты пользователя к «понравившимся» цветам или же рассчитанной на их основе точке Торричелли. Следует отметить, что для 33 испытуемых было получено 132 наблюдения, из которых только 79 демонстрировали статистически значимые изменения от первого к четвертому квантилю. При этом ранжировка предпочитаемых цветов на более или менее предпочитаемые не учитывалась.

Из табл. 1 видно, что для первого квантиля как для первой, так и для второй группы характерны различия между экспериментами с обратной и без обратной связи. При этом влияние обратной связи было разнонаправленным. Там, где от первого к четвёртому квантилю расстояние увеличивалось, для экспериментов с обратной связью значения были меньше, чем в контроле. И наоборот, там, где расстояние уменьшалось, значения для контроля были меньше. При этом СКО траекторий не различалось. Для четвертого квантиля характерно нивелирование различий между группами. Данный эффект можно объяснить утомлением пользователя.

В обоих случаях для увеличения расстояния, а также в случае наличия обратной связи и уменьшения расстояния СКО уменьшалось к концу эксперимента. Таким образом, размах колебания корреляций ЭЭГ снижался. Однако в том случае, если расстояние в эксперименте уменьшалось, отсутствие обратной связи не приводило к уменьшению

СКО. Таким образом, данный феномен можно интерпретировать как поиск оптимальной ЭЭГ-активности для формирования нужного цвета.

Различия также были выявлены между двумя исследуемыми группами в экспериментах с наличием обратной связи. Группа, де- монстрировавшая приближение к цели (предпочитаемому цвету), имела изначально большее расстояние до неё, но меньшие значения СКО. Для контрольного эксперимента и для 4-го квантиля времени различий выявлено не было.

Таблица 1

Table 1

Группа траекторий в зависимости от увеличения или приближения к точкам в трехмерном пространстве RGB, соответствующим предпочитаемым цветам

Group of trajectories depending on zoom or approximation to the points in three-dimensional RGB space corresponding to the preferred colors

		Q1		Q4
		М (М±m)	SD (М±m)	М (М±m)	SD (М±m)
Увеличение расстояния (n=36) Increase in distance (n=36)	Наличие обратной связи With feedback	196±11	15,3±2,1	215±11***	8,6±1,6***
	Отсутствие обратной связи Without feedback	208±11•••	16,2±2,4	213±12	11,1±1,9*
Уменьшение расстояния (n=43) Decrease in distance (n=43)	Наличие обратной связи With feedback	235±14♦	14,3±1,9♦♦♦	220±14***	6,9±1,6***
	Отсутствие обратной связи Without feedback	223±15•	14,7±2,0	220±16	10,8±1,7•

Примечание. * – p<0,05, *** – р<<0,001 для сравнения между квантилями; • – p<0,05, ••• – р<<0,001 для сравнения групп с отсутствием и наличием обратной связи; ♦ – p<0,05, ♦♦♦ – р<<0,001 для сравнения между группами уменьшивших и увеличивших расстояние до точек, соответствующих предпочитаемым цветам.

Notes. * – p<0.05, *** р<<0.001 for quantile comparison; • – p<0.05, ••• – р<<0.001 for groups with and without feedback; ♦ – p<0.05, ♦♦♦ – р<<0.001 for groups that decreased and increased the distance to the points corresponding to the preferred colors.

Таким образом, показано, что наибольшая реакция корреляционного паттерна ЭЭГ характерна для первых 45 с формирования обратной связи. При этом снижение СКО демонстрирует в случае приближения к цели снижение размаха «поисковых» изменений корреляции ЭЭГ.

Для выявления типологических особенностей наблюдаемых эффектов был проведён кластерный анализ (метод К-средних) (рис. 4).

Результаты кластерного анализа позволяют утверждать существование как минимум двух групп испытуемых (13 и 14 чел., 6 чел. исключены из анализа, так как имели существенно отличающиеся данные, образуя так называемые «выбросы», формирующие кластеры с одним-двумя наблюдениями). Эти группы разделяются прежде всего по расстоянию до предпочитаемых цветов, при этом группа, расположенная ближе, демонстрирует динамику, при которой наименее предпочитаемый из группы «понравившихся» цветов находится дальше от точек в трехмерном пространстве RGB, соответствующих цветам, содержащихся в выходных файлах. При этом второй кластер показывает парадоксальную реакцию: данный цвет расположен ближе к описанным выше точкам. Статистически значимых различий между Q1 и Q4 обнаружено не было.

Рис. 4. Результаты кластерного анализа испытуемых по экспериментам.

Обозначения: *** – р<0,001, ** – р<0,01 при различии между кластерами;

1-й цвет – цвет, названный испытуемым как наиболее привлекательный, 2-й, 3-й цвета – цвета, названные испытуемым как наиболее привлекательные, не считая первого и второго цветов соответственно; Q1, Q4 – соответственно первый и четвёртый временной квантиль;

ОС – наличие обратной связи; К – контроль, отсутствие обратной связи

Fig. 4. Results of cluster analysis of experimental subjects.

Legend: *** – p <0.001, ** – p <0.01 with the difference between clusters;

1st color – the color named by an examinee as the most attractive, 2nd, 3rd colors – the colors named by an examinee as the most attractive except for the first and second colors respectively; Q1, Q4 – first and fourth time quantile, respectively; OC – feedback; K – control, without feedback

Заключение. Проведен анализ корреляционных паттернов ЭЭГ, реализованных в системе биологической обратной связи через изменение цветов на экране монитора. Показано, что испытуемые сохраняют тренд динамики в ходе эксперимента: если при наличии обратной связи расстояние до предпочитаемых цветов уменьшалось, то аналогично оно уменьшалось и в контрольном эксперименте (без наличия обратной связи). Влияние обратной связи было разнонаправленным. Там, где от первого к четвёртому квантилю расстояние увеличивалось для экспериментов с обратной связью, значения были меньше, чем в контроле. И наоборот, там, где расстояние уменьшалось, значения для контроля были меньше значений, полученных в эксперименте. Выявлено уменьшение СКО к концу эксперимента. Таким образом, размах колебания корреляций ЭЭГ снижался. Различия также были выявлены между двумя исследуемыми группами в экспериментах с наличием обратной связи. Группа, демонстрировавшая приближение к цели (предпочитаемому цвету), имела изначально большее расстояние до неё, но меньшие значения СКО. Показано, что наибольшая реакция корреляционного паттерна ЭЭГ характерна для первых 45 с формирования обратной связи.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-29-01156-мк.