Устойчивость полносвязной и звёздной структур нейронных сетей

Рассмотрим вопрос об устойчивости таких стандартных конфигураций нейронных сетей, как полносвязная сеть и звезда. Пользуясь методом конуса устойчивости [1], получим для этих моделей необходимые и достаточные условия устойчивости и неустойчивости, определяемые значениями коэффициентов моделей и количеством нейронов в сети. Распространённой моделью, описывающей динамику нейронных сетей, является модель

x ( t ) + Ax ( t ) + Bx ( t-т) = 0, t >  0 ,                                  (1)

где x ( t ) - вектор состояния системы, A и B - матрицы размером n х n , n >  2, т >  0 - запаздывание. Метод конуса устойчивости применим для этой модели в случае, если A и B – совместно триангулируемые матрицы.

Это уравнение моделирует динамику нейронных сетей Хопфилда [2]. Матрица A описывает собственную реакцию нейрона на внешнее воздействие, а матрица B характеризует реакцию нейрона, связанную с его взаимодействием с соседними нейронами.

В полносвязной системе нейронов изменение состояния конкретного нейрона зависит от состояния всех остальных нейронов сети. Граф, соответствующий данному соединению нейронов, изображён на рис. 1.

( х5 )----1——\----( Х2 )

\                            /

Рис. 1. Полносвязная система нейронов

Полагаем, что взаимодействие нейрона с самим собой происходит мгновенно, а с остальными нейронами сети - с запаздыванием т >  0 . Тогда динамику взаимодействия нейронов в данной сети можно описать уравнением (1) с матрицами

	( 1 0 .	. 0 >		( 0	- b ..	. - b ^
	01 ⋯	0		- b	0 ⋯	• - b
A = E =	; ; •		, B =	;			.                              (2)
	ч 0 0 •	• 1;		1 - b	- b •	• 0;

1 Работа поддержана грантом 1.1711.2011 Министерства образования и науки.

2 Хохлова Татьяна Наилевна – аспирант кафедры математического анализа, Южно-Уральский государственный университет.

Краткие сообщения

Для уравнения (1) с матрицами (2) верна следующая теорема.

Теорема 1 . Пусть матрицы имеют размер n х n , n >  2.

• 1.    При -    <  b <  уравнение (1) с матрицами (2) асимптотически устойчиво при

• n - 1 n - 1

• 2.    При b >—— или b <- 1 уравнение (1) с матрицами (2) неустойчиво при любом n - 1

• 3.    При - 1 <  b < --— существует т ₀ >  0 , такое, что уравнение (1) с матрицами (2) ус-

• n -1

любом т >  0 .

т >  0 .

тойчиво при те (0, т ₀) и неустойчиво при те ( т ₀, +~ ) .

Теорема 1 позволяет описать области устойчивости и неустойчивости исследуемой сети в зависимости от числа нейронов и запаздывания т .

Теперь обратимся к звёздной сети. В этом случае в центре находится один нейрон, который связан со всеми остальными, причём сигнал центрального нейрона передаётся к остальным с запаздыванием т и интенсивностью a , а от периферии к центру с запаздыванием т и интенсивностью b . Граф, соответствующий данному соединению, изображен на рис. 2.

Данная система n -го порядка описывается уравнением (1) с матрицами

	( 1	0 …	. 0 >		( 0	b	. b
A = E =	0 ;	1 ⋯	0	, B =	a ;	0	0	.                                    (3)
	. 0	0 ⋯	• 1;		( a	0	• 0;

Для уравнения (1) с матрицами (3) верна следующая теорема.

Теорема 2 . Пусть матрицы имеют размер n х n , n >  2.

• 1.    При 0 <  ab < —— уравнение (1) с матрицами (3) асимптотически устойчиво при лю- n - 1

бом т >  0.

Хохлова Т.Н.

Устойчивость полносвязной и звёздной структур нейронных сетей

На представленных графиках (рис. 3, 4) в плоскости параметров ( a , b ) изображены области устойчивости и неустойчивости звёздной конфигурации нейронной сети для различного числа нейронов n . Устойчивость в первой и третьей четвертях диагностируется теоретически, а во второй и четвёртой определяется численно при разных значениях запаздывания.

Рис. 3. Области устойчивости звёздной нейронной сети из четырёх нейронов

Рис. 4. Области устойчивости звёздной нейронной сети из семи нейронов

Краткие сообщения