Графовые нейронные сети для анализа пространственно-временной структуры сигналов ЭЭГ
Журнал: Труды Московского физико-технического института @trudy-mipt
Рубрика: Математика
Статья в выпуске: 3 (71) т.18, 2026 года.
Бесплатный доступ
В работе решается задача классификации активности головного мозга с учетом пространственной структуры сигнала. Активность мозга регистрируется системой электродов в виде многомерного временного ряда электроэнцефалограммы. Поскольку структура расположения электродов не образует регулярную решетку, применение классических сверточных нейронных сетей для учета ковариаций компонент сигнала не является уместным. Для описания взаимосвязей между областями мозговой активности предлагается использовать пространственно-временное представление данных в виде динамической карты связности функциональных групп головного мозга. Это представление используется в качестве входных данных в модели на основе композиции графовых и рекуррентных нейронных сетей. Преимущества такой модели по сравнению с существующими подходами демонстрируются в вычислительном эксперименте по решению задачи классификации эмоциональных состояний.
Короткий адрес: https://sciup.org/142248886
IDS: 142248886 | УДК: 519.25, 519.7
Graph neural networks for spatio-temporal analysis of EEG signals
This paper considers the problem of modeling brain activity while accounting for the spatial structure of the signal. The brain activity data is recorded by a system of electrodes as multichannel electroencephalogram time series. Since the electrode arrangement does not form a regular grid, conventional convolutional neural networks are not well suited for capturing the covariance structure of the signal components. To describe interactions between brain activity regions, a spatio-temporal representation is proposed in the form of a dynamic connectivity map of functional groups of the human brain. This representation is used as input for a model based on a combination of graph and recurrent neural networks. The advantages of the model relatively to existing approaches are demonstrated through a computational experiment on the emotional states classification task.
Текст научной статьи Графовые нейронные сети для анализа пространственно-временной структуры сигналов ЭЭГ
В данной работе решается задача классификации сигнала головного мозга, представленного в виде электроэнцефалограммы. Решение такой задачи необходимо для работы технологии Интерфейс мозг-компвютер (Brain-Computer Interface, BCI), приложения включают управление нейропротезами, реабилитацию, диагностику и анализ эмоций. Сигнал электроэнцефалограммы регистрируется набором расположенных на поверхности головы человека электродов, которые считывают электрическую активноств разных областей мозга. В задаче этот сигнал изначально представляется в виде многомерного временного ряда. Предсказываемая метка класса зависит от конкретной задачи и может представлять собой тот или иной аспект деятельности мозга, например, тип ожидаемого механического движения, направление взгляда, или эмоцию, испытываемую человеком в данный момент времени.
Пространственные регионы головного мозга обмениваются информацией в результате активности человека. Каждому электроду энцефалограммы соответствует близлежащая область мозга, а сама электроэнцефалограмма является динамической характеристикой интенсивности обмена информации между этими областями. В связи с этим предлагается использовать представление сигнала в виде графа: вершины данного графа соответствуют электродам, веса ребер графа характеризуют взаимосвязь между компонентами сигнала для пар электродов. Соответствующие области мозга предлагается называть функциональными группами, а матрицу смежности такого графа — картой связности функциональных групп.
Подходы к решению задачи классификации сигнала на основе сверточных нейронных сетей предполагают применение сверточных фильтров к компонентам сигнала. В работе [1] сигналы с разных электродов обрабатываются моделью независимо с помощью одномерных сверток. Другой метод предложен в [2], где пространственное расположение датчиков аппроксимируется прямоугольной сеткой, и к этой сетке применяются двумерные сверточные фильтры. Такие модели игнорируют трехмерную структуру функциональных групп головного мозга и поэтому не могут точно решать поставленную задачу.
Для решения задачи предлагается использовать графовые нейронные сети [3], [4], для которых необходимо представление входа модели в виде графа. В предлагаемом подходе в качестве входного графа выступает карта связности функциональных групп головного мозга, которая задает топологическую структуру ЭЭГ сигнала. В работе получены следующие результаты:
1) Предлагается пять методов построения карты связности сигнала электроэнцефалограммы.
2) Предлагается классификационная модель, в которой карта связности функциональных групп обрабатывается композицией графовой сверточной сети и рекуррентной сети LSTM для решения задачи классификации сигналов ЭЭГ.
3) Демонстрируется повышение точности классификации с помощью выбранного подхода по сравнению с классическими сверточными сетями.
2. Постановка задачи классификации сигнала
Научная новизна работы состоит в разработке и исследовании методов построения карты связности функциональных групп головного мозга на основе сигналов электроэнцефалограммы. В магистерской работе Н.В. Вареник [5] была предложена концепция представления ЭЭГ в виде графа функциональных групп, отражающего статистические взаимосвязи между областями мозговой активности. В настоящей работе данная концепция развивается посредством систематического анализа и сравнения нескольких способов построения карты связности, а также исследования их влияния на качество решения задачи классификации.
Задана выборка данных активности головного мозга, заданная в виде тройки V = ( X , Z , у ). Здесв X — набор ЭЭГ сигналов, полученный в серии испв1таний:
X = [ X m]"=1, X m = [ x mt]teт G R^xW, X mt G R e , (1)
где N обозначает число временнвк отсчетов в каждом сигнале, Е соответствует числу регистрирующих электродов, а М определяет число проведеннвж испв1таний. Матрица
Z = [ z i ] = G R E x3 , z i G R3
содержит координаты электродов в R3, а вектор у = [ут] ™= 1,ут G 1,...,С — набор целевв1х меток для задачи классификации с С классами.
Для построения отображения между пространствами ЭЭГ-сигналов и це.левв1х меток предлагается параметрическая функция:
he : (X т) ^ У т .
Для оценки качества классификации используется кросс-энтропийная функция потерь:
1 М \ С
£ = - м ^ ^ I(ym =с) 1од(рт)
т=1 L с=1
где p m = hg (X m) — предсказанная моде лью вероятность класса с для си гнала X m• Для нахождения параметров модели решается следующая задача оптимизации:
О = arg max £(О, X ). (5)
о
3. Построение карты связности функциональных групп
В работе предлагается представление сигнала X m (1) в форме графа:
G(m,t) = (У (m,t), £ (m,t), Ax(m,t где множество вершин У(m,t) является множеством электродов, а веса ребер £(m,t) графа заданы матрицей смежности — картой связности Ax(m,t). Далее рассмотрим пять способов построения карты связности. Обозначим порог значения веса для появления ребра в графе р. Также обозначим отрезки временного ряда ряды на временном интервале [t — Tw,; t], соответствующие i-му и у-му электродам в матрице Xm, полученные в рамках m-ro испытания:
X = Х тл , У = X mj •
Евклидово расстояние
Поскольку координаты электродов (2) не изменяются во времени и остаются одинаковыми для всех испытаний, обозначим d ij (m,t) = d ij = || z i — Z j ||2, г де i,j — номера электродов. Тогда карта связности имеет вид:
A x(m,t) = [aij] G R+xE , a ij = |
di j , если di j < р 0, иначе.
Линейная корреляция Пирсона
С учетом обозначений (6) модуль коэффициента корреляции Пирсона задается формулой:
t fij (m,t) =
£ ( x k - x )(y k - у) k=t - T w
V^I
— выборочные среднее и дисперсия компонент сиг
где Х к = ( x ) k ,У к = ( y )k, a x , y,4>4
нала. Тогда карта связности имеет вид:
A x(m,t) = - (т,Д e •-. ,«„ (m,t) = Ь <т-,)’ <m’,) > " (9)
0, иначе.
Спектральная когерентность
Для непрерывных сигналов x(t) и y(t) мерой близости в частотной области является спектральная когерентность (magnitude squared coherence), вычисляемая по формуле:
/ , — I S xy (t n ,f )|2
^ij (m,t n ,f )= о /, n с fV UO)
s xx (t n , f )S yy (t n , f )
где SX y (tn, f ) представляет взаимную спектральную плотность, a. Sxx(tn, f ) 11 S yy (tn, f ) соответствуют спектральным плотностям мощности анализируемых сигналов. Связь спектральных и корреляционных характеристик определяется теоремой Винера-Хинчина [7], согласно которой спектральная плотность является преобразованием Фурье корреляционной функции.
Значение веса соответствующего ребра в матрице связности определяется интегралом функции корреляции на отрезке частот [fi,f2], согласно результатам [6]:
f 2
^ij(m,t) = I ^ij(m,t,f )df, fi (И)
A x(m,t) = [a, (m,t)] e R*-, (m,t) = Ь(m,t), ^ ^(m,t) ^ P
0, иначе, где 7ij(m,t,f) — функция корреляции компонент x(t),y(t).
Частично направленная когерентность
В основе данного подхода лежит концепция причинности по Грейнджеру, согласно которой временной ряд считается причиной другого ряда, если его прошлые значения содержат дополнительную информацию, полезную для прогнозирования будущих значений второго ряда. В случае линейных зависимостей такая причинность обычно устанавливается с использованием векторных авторегрессионных моделей.
Обозначим через x m(t) = [xm i (t),..., xm * (t)]T компоненты многомерного сигнала, зарегистрированного на электродах в интервале времени [t — Tw, ; t] в ходе m-ro испытания.
Линейные зависимости между временными рядами опишем с помощью векторной авторегрессионной модели порядка q:
X m (t) = ^ W k X m (t - к) + b (t), (12)
k=1
где Wk = [w ij (k)]E j=i — матрица авторегрессиоиных коэффициентов лага k, b(t) — вектор сдвига. Коэффициенты модели w ij (к) отображают эффект причинно-следственной связи xm j (t - к) на ^ mi (t).
Мерой причинного воздействия канала j на канал i на частоте f служит частично направленная когерентноств (partial directed coherence) [8], задаваемая формулой:
K j ^ i (m,t,f) =
W ij (f )l rEl WV kfJ W^ fJ') У k=1 k
где W(f) — дискретное преобразование Фурье матрицы коэффициентов W.
W(f) = I — W(f), a2 — дисперсия вектора b i (t).
Значение веса соответствующего ребра в матрице связности определяется интегралом функции когерентности на отрезке частот [fi,f2] в обоих направлениях:
f ? f2
^ ij (m,t)
= 2 ^^ i ^ j (m,t,f ) + / ^ j ^ i (m,t,f ))’
/1
A x(m,t) = [aij(m,t)] G R^, 4(m,t) = Ь'(m’t)’ ^ ^(m,t) ^ P 0, пиане.
Синхронизация фаз сигналов
Для исследования нелинейных взаимодействий между каналами ЭЭГ рассматривается метод фазовой синхронизации, основанный на сравнении фаз сигналов. Основная идея подхода заключается в том, что две динамические системы могут демонстрировать согласованную фазовую динамику независимо от степени связи между их амплитудами.
На основе разности фаз сигналов непрерывных сигналов x(t) и y(t) с длительностью наблюдения Tw определяется показатель фазовой синхронизации phase locking value (PLV), задаваемый следующим соотношением:
1 t w
P ij (m,tn) = J ^exp ^(^(kAt) — py(kAt))^ |,
W k=1
где At — шаг по времени, ^0 — фаза аналитического сигнала [9].
Значения матрицы связности определяются величиной показателя PLV:
A x(m.t)= [a ., (m.,t)] G RT ,a„ (m.,t) = Ь(m’*>’ ' (m,t) *^ (16)
0, иначе.
-
4. Построение модели декодирования
Модель GCN LSTM
Для решения задачи классификации предлагается композиция, в которой графовая свертка используется для моделирования пространственной структуры сигнала с помощью карты связности A x(m,t), а рекуррентная сеть LSTM — для моделирования временной структуры. Иллюстрация модели приведена на Рисунке 1. Имеем наблюдаемый сигнал в момент времени t x t G RExD, тогда модель представляется в следующем виде:
х0'у = GCoiiv( x f, Ax (m,t)), h = Ь8ТМ( х0W,
где h G RC — предсказанный вероятностный профиль для задачи классификации е С классами.
Рис. 1. Предлагаемая модель обработки сигнала EEG
5. Вычислительный эксперимент
В качестве набора данных для задачи классификации предлагаются измерения сигнала ЭЭГ, полученные в результате эксперимента по просмотру видеофрагментов [10]. В качестве меток класса выступают три возможных эмоциональных состояния испытуемого: негативное, нейтральное и позитивное. Число электродов Е = 62.
Рис. 2. Сравнение методов построения карты связности
На рисунке 2 представлены карты связности, полученные в результате использования различных методов. Оценки взаимосвязей между электродами характеризуются согласованностью и наличием общей структуры.
Результаты решения задачи классификации приведены в табл. 1. В таблице сравнивают- ся значения точности классификации и кросс-энтропийной функции потерь. Предлагаемая модель превосходит базовый подход LSTM, использующий сверточные фильтры для обработки многомерного сигнала. Самые высокие показатели точности 0.914 и 0.925 получены с помощью карты связности функциональных групп, построенной на основе корреляций Пирсона и методе синхронизации фаз соответственно.
Таблица 1
Сравнение LSTM и GCN LSTM
|
Модель |
Точность |
Потери |
|
LSTM |
0 . 869 ± 0 . 010 |
0 . 268 ± 0 . 014 |
|
GCN LSTM: d ij |
0 . 894 ± 0 . 013 |
0 . 220 ± 0 . 012 |
|
GCN LSTM: rij |
0.914 ± 0.011 |
0.183 ± 0.009 |
|
GCN LSTM: ^ ij |
0 . 898 ± 0 . 010 |
0 . 214 ± 0 . 013 |
|
GCN LSTM: 7^ |
0 . 898 ± 0 . 007 |
0 . 213 ± 0 . 012 |
|
GCN LSTM: p ij |
0.925 ± 0.008 |
0.173 ± 0.014 |
На рисунке 3 отмечена группа активно взаимодействующих электродов, соответствующих зрительной коре головного мозга. Это согласуется с тем фактом, что эксперимент осуществлял визуальную стимуляцию испытуемых. Данный результат свидетельствует об интерпретируемости полученных карт связности.
Рис. 3. Активные связи электродов в зрительной коре мозга
На рисунке 4 представлена еще одна визуализация карты связности, полученной с помощью метода синхронизации фаз. Активность связей между электродами в затылочной и фронтальной долях головного мозга согласуются с нейробиологическими исследованиями [11]: например, в частотном альфа-диапазоне для позитивной эмоции усиливается синхронизация во фронтальной области, что соответствует расслабленному состоянию человека.
6. Заключение
В данной работе предложено решение задачи классификации сигнала электроэнцефалограммы, представленного в виде карты связности функциональных групп головного мозга. Проведен вычислительный эксперимент, демонстрирующий превосходство предложенной графовой рекуррентной модели для решения задачи по сравнению с классическим методом. Произведено сравнение различных методов построения карты связности, предложена согласованная нейробиологическая интерпретация полученных карт.
Рис. 4. Визуализация карты связности