Сравнительный анализ нейросетевых методов решения модели одиночного дислокационного источника геоакустической эмиссии
Журнал: Математическая физика и компьютерное моделирование @mpcm-jvolsu
Рубрика: Моделирование, информатика и управление
Статья в выпуске: 2 т.29, 2026 года.
Бесплатный доступ
В данной работе представлен сравнительный анализ вычислительных мето- дов для моделирования одиночного дислокационного источника излучения геоакустической эмиссии – осциллятора Берлаге. Используются численный метод Розенброка четвертого по- рядка точности, параллельная модификация физико-информированной нейронной сети на три субдомена (TriDomainPINN), а также нейронная сеть на основе полиномов Лежандра (LeNN) для решения модели геоакустической эмиссии. Параллельная версия PINN позволяет повы- сить эффективность построения решения и сократить время обучения за счет декомпозиции области моделирования. Все алгоритмы реализованы на языке Python с использованием библио- теки PyTorch. Применяются механизм ранней остановки обучения сетей и распределение точек коллокации по закону Чебышева. Для каждого метода проведена оценка точности, скорости сходимости и вычислительной эффективности. Численные эксперименты показывают, что поли- номиальная сеть Лежандра обеспечивает высокую точность аппроксимации при значительном сокращении вычислительных затрат и времени.
Короткий адрес: https://sciup.org/149152111
IDS: 149152111 | УДК: 519.6+004.032.26 | DOI: 10.15688/mpcm.jvolsu.2026.2.4
Comparative analysis of neural network methods for solving the model of a single dislocation source of geoacoustic emission
This paper presents a comparative analysis of computational methods for modeling a single dislocation source of geoacoustic emission radiation, the Berlage oscillator. The paper considers the Rosenbrock numerical method of the fourth order of accuracy, a parallel modification of a physically informed neural network into three subdomains (TriDomainPINN), as well as a neural network based on Legendre polynomials (LeNN). The parallel version of PINN makes it possible to increase the efficiency of the solution and reduce the learning time by decomposing the modeling area. All algorithms are implemented in Python using the PyTorch library; the implementation provides a mechanism for early stopping of network training and the distribution of collocation points according to Chebyshev’s law. Accuracy, convergence rate, and computational efficiency were evaluated for each method. Numerical experiments show that the Legendre polynomial network provides high approximation accuracy with a significant reduction in computational costs and time.
Текст научной статьи Сравнительный анализ нейросетевых методов решения модели одиночного дислокационного источника геоакустической эмиссии
DOI:
Геоакустическая эмиссия является одним из ключевых информативных полей для диагностики напряженно-деформированного состояния горных пород и прогнозирования динамических явлений в геосреде. В данной работе рассматривается предложенная авторами [1] модель одиночного дислокационного источника геоакустической эмиссии, построенная на основе аналитической функции Берлаге. Модель импульса Берлаге и ее модификации широко применяются для решения широкого круга задач геофизики и сейсмоакустики [20; 24– 26], однако предложенная в данной работе модель дислокационного источника геоакустиче-ской эмиссии исследуется впервые. Модель описывает процесс излучения упругих волн при сдвиговом разрушении микрообъема материала. Математическая модель сводится к решению обыкновенного дифференциального уравнения второго порядка с заданными начальными условиями, которое описывает эволюцию параметров источника во времени. Точность и вычислительная эффективность решения этой модели непосредственно влияют на достоверность последующей обработки сигналов.
В последние годы искусственные нейронные сети активно применяются в вычислительной математике для решения дифференциальных уравнений. Наряду с классическими численными схемами, такими как методы Рунге-Кутты, получили развитие нейросетевые подходы, не требующие явной дискретизации расчетной области. Среди них выделяются многослойные персептроны (MLP), сети, основанные на физической информации (PINN) [16; 21] и их модификации (DDR-PINN [13], FBPINNs [15] и т. д.), однослойные сети на основе функциональной связанности (FLANN), в которых скрытый слой заменен расширением входного сигнала с помощью системы ортогональных полиномов, например, таких, как Чебышева [7], Лежандра [8; 12] и Лагерра [17]. Такие сети обладают более простой архитектурой, меньшим числом обучаемых параметров и высокой скоростью сходимости, что делает их привлекательными для решения прикладных задач. При этом важную роль играет эффективность параллельных вычислений, особенно при работе с большими объемами данных, что подтверждается исследованиями в области моделирования гравитационных систем [2] и многокомпонентных неравновесных сред [6]. В связи с этим возникает интерес к применимости перечисленных нейросетевых методов для решения модели одиночного дислокационного источника гео-акустической эмиссии – задачи, характеризующейся жесткостью, многомасштабностью по времени и быстрыми изменениями решения.
На основании проведенного исследования в [3] установлено, что базовые физико-информированные нейронные сети (PINN) демонстрируют низкую точность и требуют значительного времени обучения сети (43–46 с) с одним входным параметром. Мы представляем параллельную на три субдомена сеть, основанную на распределении точек коллокации по закону Чебышева, которая сокращает время обучения более, чем в 2 раза. Входной параметр сети расширен до двух переменных (t, f Е [ 200,300]) .
Практическая значимость ускорения вычислительных процедур обусловлена необходимостью решения широкого класса задач, связанных с мониторингом геоакустической эмиссии в реальном времени, где оперативная обработка больших объемов данных критична для своевременного обнаружения предвестников разрушения горных пород. Кроме того, высокая производительность метода важна для систем автоматизированного контроля, где требуется многократное пересчитывание модели при изменении входных параметров, а также в задачах инверсии, где время одного вычисления напрямую влияет на общую эффективность решения обратных задач.
Настоящая работа посвящена сравнительному анализу вычислительных методов реше- ния модели одиночного дислокационного источника геоакустической эмиссии – параллельной модификации PINN, LeNN и численного метода Розенброка четвертого порядка точности. Метод Розенброка, согласно исследованию эффективности численных методов для данной модели, обеспечивает наилучшее сочетание точности и устойчивости при минимальной вычислительной погрешности [4]. Оценка методов производится по следующим критериям сравнения: точность решения (среднеквадратичная и максимальная относительная ошибка по сравнению с аналитическим решением); вычислительные затраты (время обучения для нейросетей и время интегрирования для метода Розенброка); устойчивость к выбору гиперпараметров (скорость обучения, порядок полинома, количество скрытых слоев/нейронов); сложность реализации и воспроизводимости результатов.
В статье приведено математическое описание модели одиночного дислокационного источника, обоснован выбор метода Розенброка, подробно изложены архитектуры TriDomainPINN и LeNN применительно к решаемой задаче, представлены результаты численных экспериментов и проведен их анализ. В заключении сформулированы основные выводы и дальнейшие направления работ.
1. Постановка задачи. Модель Берлаге для одиночного дислокационного источника
Построим математическую модель одиночного дислокационного источника исходя из аналитической функции Берлаге. Функция Берлаге имеет следующий вид:
g(t) = A • tnpmaxy^ • exp | — n(Pmax)—— t |. sin(2nft + ф0), pmax · tend
In 20
pmax pmax где A > 0 - амплитуда импульса, от. ед., A Е [0,1]; n - параметр, отвечающий за форму огибающей сигнала; pmax Е [0.01,0.4] - положение максимума; Д - крутизна огибающей сигнала, Д Е [1.1,5]; t Е [t0,tend] - время, c; t0 > 0 - начальный момент времени, с; tend -длительность импульса, c; f Е [200,20000] - частота заполнения, Гц; ф0 - начальная фаза.
В настоящей работе аналитическая функция (1) служит эталоном для верификации и валидации численных и нейросетевых методов, позволяя объективно оценить их точность по статистическим метрикам MSE, RMSE и коэффициенту детерминации R 2 , выявить систематические ошибки аппроксимации и обосновать выбор наиболее эффективного подхода.
Покажем, что аналитическая функция Берлаге, описывающая импульс дислокационного источника геоакустической эмиссии, удовлетворяет дифференциальному уравнению второго порядка.
Для удобства записи введем параметры: a = n • p max • Д ; b = p max • t end ; c = 2 • n f . Тогда функция (1) примет вид:
g ( t) = A • t a • e b t • sin( ct + ф 0 ).
Продифференцируем данное выражение по времени. Используя правило дифференцирования произведения, получаем первую производную:
<7 ( t) = A • t a 1 e b t [a sin( ct + ф 0 ) — ^t sin( ct + ф 0 ) + ct cos( ct + ф 0 = ( I — К ) g ( t) + Ac ^ t a e - b t cos( ct + Ф0 ).
Продифференцируем полученное выражение еще раз для нахождения второй производной:
daa d a
g(t) = з? \ — ~g)g(t) + Ac■ t e b cos(ct+фо) = —g2)g(t) + dt t b dtt
+ fa — a^ g(t) + Ac • ta-1e-bt (a — at) cos(ct + фо) — ct sin(ct + ф0) . tbb
Сгруппируем члены, содержащие sin( ct + ф 0 ) и cos( ct + ф 0 ) . Выражая тригонометрические функции через g(t) и ее производную, после алгебраических преобразований получаем:
g(t) = — a^ (t) — G+c2) g(t)+ t bt
+ fa — a) Ac" t a e b t cos(ct + Ф 0 ).
Начальные условия получаются подстановкой t = t 0 в выражения для g ( t) и g ( t) :
g ( t o ) = A • t a e b t 0 sin( ct o + фо ),
g(to) = (a — a g(to) + Ac • tae bt0 cos(cto + Фо). t0
Таким образом, из исходной аналитической функции (1) получили математическую модель, описывающую одиночный дислокационный источник геоакустической эмиссии:
g ( t) = fa — a) g ( t) — + C2) g(t ) + fa — a) Act a e b t cos( ct + Фо ),
V t b/ \t2 / tt 0/
< g(to) = At 0 e - b t 0 sin( ct o + фо ), (8)
g ( t o ) = aT — a ) g ( t o ) + Actae - a t 0 cos( ct o + Фо ).
t 0 b
При больших временах t → ∞ осциллятор Берлаге (8) переходит в гармонический осциллятор с трением, характер решения которого определяется соотношением параметров затухания y = a /2 b и собственной частоты c . Возможны три качественно различных режима: колебательное ( γ 2 < c 2 ), критическое ( γ 2 = c 2 ) и апериодическое затухание (перезатухание) ( γ 2 > c 2 ) [5].
В рамках рассматриваемой модели предполагается, что излучение происходит из одной пространственной точки (точечный источник), а регистрируемый сигнал представляет собой временную зависимость амплитуды упругого колебания g ( t) . Процесс характеризуется колебательным характером излучения, многомасштабностью по времени и жесткостью. Много-масштабность проявляется в наличии как высокочастотного заполнения импульса с периодом T = 1/f , так и медленно меняющейся огибающей, определяемой параметрами а и b , которые описывают процессы нарастания и затухания амплитуды (рис. 1). Такое различие масштабов обусловливает жесткость задачи: для корректного разрешения быстрых осцилляций необходим малый шаг интегрирования, тогда как для описания огибающей достаточно более грубой сетки, что создает дополнительные требования к выбору вычислительных методов. Математически задача сводится к линейному осциллятору Берлаге с непостоянными коэффициентами.
Рис. 1. Импульс геоакустической эмиссии
Для количественной оценки жесткости задачи (8) рассмотрим однородную часть системы в окрестности больших времен ( t → ∞ ). Характеристическое уравнение имеет вид:
λ2+aλ+c2=0, b откуда λ1,2 = -γ ± iω, гдеγ = a/2b — коэффициент затухания, ω = c2 - γ2 — собственная частота. Отношение характерных времен определяется числом жесткости:
S = ω . (9)
2 πγ
Для параметров ( a = 0.753 , b = 0.004 , c = 1256.64 ) получаем γ = 94.125 , ω ≈ 1256.64 , тогда S ≈ 2.12 , дальнейшее увеличение частоты заполнения приводит к существенному росту S : при f = 1000 Гц получаем S ≈ 10.64 , апри f = 4000 Гц– S ≈ 42.56 (рис. 2). Таким образом, задача переходит в класс жестких.
Рис. 2. Зависимость жесткости модели (8) от частоты заполнения f
Ранее в работе [19] были подтверждены диапазоны параметров модели Берлаге, соответствующие экспериментальным импульсам с помощью параметрической идентификации модели на экспериментальных данных, полученных в комплексном геофизическом пункте наблюдения «Карымшина» с использованием двухэтапного алгоритма, сочетающего методы глобальной (диф-ференциальная эволюция) и локальной (Нелдера-Мида) оптимизации. Диапазоны параметров были установлены в результате многолетних экспериментов, посвящен- ных методам разреженной аппроксимации импульсов геоакустической эмиссии словарями
Берлаге и Гаусса [20].
2. Вычислительные методы
В данном разделе представлены три подхода к моделированию импульса Берлаге: численный метод Розенброка четвертого порядка точности, трехдоменная физико-информированная нейронная сеть (TriDomainPINN) и полиномиальная сеть Лежандра (LeNN). Нейросетевые методы реализованы на платформе PyTorch и используют единые принципы нормализации данных и распределения точек коллокации. Все численные подходы сопоставляются с тестовым (точным) решением (1) осциллятора Берлаге (8).
2.1. Метод Розенброка четвертого порядка точности
Согласно работе на исследование эффективности численных методов (реализованного вручную метода Розенброка четвертого порядка точности, методов Radau, BDF, LSODA библиотеки SciPy) [4], в ходе ряда экспериментов было установлено, что метод Розенброка стабилен при различных значениях шага и имеет высокий порядок точности (близкий к 4) по проведенной оценке правила Рунге даже при грубых допусках относительной rtol = 10 - 3 и абсолютной ошибки atol = 10 - 3 . В данной работе метод Розенброка четвертого порядка точности реализован по схеме [18]. Данный метод относится к классу линейных многошаговых методов и обладает свойством A-устойчивости, что особенно важно для решения жестких систем дифференциальных уравнений.
В реализации используется встроенная локальная оценка погрешности, основанная на сравнении двух приближений разного порядка:
(est) n+ 1
£ (bi - bi)ki i=1
где b i - веса основного метода четвертого порядка, b i - веса встроенного метода 3-го порядка, k i – стадии метода Розенброка.
Локальная погрешность на каждом шаге вычисляется по формуле:
t n = \bfk i + b 2r k 2 + Ь^з + bT k 4 |, b err = b i - b i . (10)
Качество вычислений оценивается с помощью трех статистических характеристик локальной погрешности: максимальная погрешность E max = max n E n , средняя погрешность e = = N P N= i E n и медианная погрешность E = median( E1 ,..., E N ) . Критерием точности является выполнение неравенства:
Emax < E tol , E tol = 10 • A, (11)
где A – амплитуда сигнала. Данный критерий обеспечивает относительную точность не хуже 10 -4 % от амплитуды [11].
2.2. Архитектура сети TriDomainPINN
Для повышения точности и ускорения обучения реализованной ранее нейронной сети PINN [3] предложена параллельная реализация PINN с декомпозицией на три специализированных субдомена, каждый из которых обучается на отдельном ядре CPU с использованием модуля torch.multiprocessing и модификацией распределения точек коллокации по закону Чебышева. Архитектура сети TriDomainPINN (см. рис. 3) состоит из общего входного слоя (t, f ) с нормализацией (LayerNorm) и активацией на полиномах Чебышева, трех параллельных субдоменов с разными функциями активации и выходного слоя, объединяющего выходы субдоменов. Для введения нелинейности на начальном этапе обработки данных используется активация Чебышева. Она работает с взвешенной суммой многочленов Tn(x), причем входные данные предварительно преобразуются так, чтобы попасть в диапазон [-1, 1] (оптимальный для этой активации). Этот механизм реализован на общем входном слое сети сразу после LayerNorm.
Пусть t G R , f G [ 200,300] - входные скаляры, а g ( t, f) - соответствующие значения функции Берлаге. Перед подачей в сеть оба компонента нормализуются:
x x norm =
-
σ x
и 1
, x ∈ {t, f, g,}, µ x = x i ,
N i=1
σ x
N
t N E( x i - U x ) 2 ,
i= 1
где µ x , σ x – средние и стандартные отклонения обучающей выборки.
Сигнал преобразуется полносвязным слоем с последующей LayerNorm и активацией на полиномах Чебышева:
x ( 0) = ChebyshevActivation ( LayerNorm ( W in t norm + b in )), (13)
где W in G R 256x1 , b in G R 256 . Активация Чебышева вычисляется как взвешенная сумма полиномов первого рода:
4 ChebyshevActivation( x) = J^ w n T n (tanh( x)). n= 0
Выход x ( 0) ∈ R 2 разветвляется на три независимых субдомена с идентичной структурой:
o k = Linear 256 ^ 64 ^Activation k (LayerNorm (Linear 256 ^ 256 ( x ( 0) )^ ) , k = 1, 2, 3.
Каждый субдомен специализируется на своей частотной области через различные функции активации. Выходы субдоменов объединяются в вектор o comb ∈ R 192 , после чего полносвязный слой формирует предсказание:
g norm W out o comb + b out ,
W out G R 1x192
Конечный результат субдоменов денормализуется: g = j norm • a g + u g • Обучение минимизирует комбинированную функцию потерь:
L = L
data
+ λ physics L physics ,
где L data – среднеквадратичная ошибка предсказания, λ physics – физический штраф, L physics – невязка дифференциального уравнения:
L
physics =
dg
∂t
- ti
g a „.U t) ) .
Рис. 3. Архитектура сети TriDomainPINN
Для каждого субдомена генерируется специализированная выборка. В первом субдомене (низкочастотном) 70 % точек сгущаются в начале интервала [ t 0 , t end /З] . Во втором субдомене (среднечастотном) 60 % точек сгущаются в окрестности пика [ t peak — 3w, t peak + 3w] , где w – ширина на полувысоте. В третьем субдомене (высокочастотном) 70 % точек расположено в конце интервала [ 2t end /3, t end ] . Функция активации для всех субдоменов выбрана SiLU.
Параллельное обучение реализовано с использованием модуля torch.multiprocessing . Три процесса (rank 0, 1, 2) запускаются на отдельных CPU-ядрах, каждый выполняет функцию train_pinn_domain со своей стратегией генерации точек коллокации. Результаты обучения (состояния моделей, параметры нормализации, история потерь) собираются через очередь mp.Queue() . По завершении формируется ансамбль EnsemblePINN , объединяющий предсказания субдоменов с весами [ 0.4, 0.4,0.2] .
2.3. Полиномиальная сеть Лежандра
На рисунке 5 изображена структура однослойной полиномиальной нейронной сети, которая состоит из двух входных узлов (t, f), одного выходного слоя и функционального блока расширения на основе ортогональных полиномов Лежандра. В отличие от многослойного персептрона, где активация применяется поэлементно к выходу линейного слоя, в данной реализации полиномы Лежандра вычисляются от нормализованного входа и взвешенно сум- мируются с обучаемыми весами.
Полиномиальная сеть Лежандра LeNN представляет аппроксимируемую функцию в виде разложения по полиномам Лежандра:
N - 1
g(t,f) = X anPn (^(t)), n=0
где ^ ( t) = 2 t~--t0 - 1 - линейное отображение временного интервала [ t 0 , t end ] на [ -1,1] , a n
— обучаемые коэффициенты. Полиномы Лежандра (рис. 4) определяются рекуррентным соотношением:
P o ( x) = 1, P i ( x) = x, (n + 1)P n+ 1 ( x) = ( 2 n + 1)xP n ( x) - nP n - i ( x).
Рис. 4. Полиномы Лежандра
Благодаря ортогональности полиномов Лежандра:
I P m ( x ) P n ( x ) dx = δ mn ,
J - i 2n + 1
они минимизируют корреляцию между признаками, что помогает снизить переобучение и улучшить обобщающую способность модели.
Для LeNN также применяется нормализация входных данных (12), а точки коллокации задаются по закону Чебышева. LeNN обучается путем минимизации среднеквадратичной ошибки:
N - 1
^ a n P n (^(t j )) - g true (t j ) n= 0
1 M
LLeNN = M j=1
где M – количество точек коллокации. Отсутствие необходимости в вычислении производных внутри сети (коэффициенты α n не зависят от t ) обеспечивает высокую вычислительную эффективность алгоритма.
2.4. Обучение и оценка эффективности сетей
Обучение сетей выполняется с использованием оптимизатора AdamW с начальной адаптивной скоростью Ir = 0.03 и коэффициентом регуляризации weight_decay = 10 -5 . Для адаптации скорости обучения применяется планировщик ReduceLROnPlateau с параметрами
Рис. 5. Архитектура сети LeNN f actor = 0.5 и patience = 10. Размер мини-батча составляет 256, градиентный клиппинг ограничен нормой max_norm = 1.0. Для экономии памяти используется тип данных float32. Для предотвращения переобучения реализован механизм ранней остановки (early stopping) с patience = 30 и минимальным улучшением min_delta = 10-7.
Важным аспектом обучения является выбор точек коллокации – точек в области расчета, где вычисляется невязка дифференциального уравнения. Хотя наиболее распространенным подходом является равномерное распределение точек, в данной работе используется распределение по закону Чебышева. Точки коллокации задаются как корни многочленов Чебышева первого рода, что обеспечивает их сгущение к границам интервала и снижает эффект Рунге:
t = 0o— enda + end-— 0o cos /2fc—1 \ , k = i ,..., n. (14)
k 2 2 2N
Выбранное распределение обеспечивает высокую точность аппроксимации на границах расчетной области и устойчивость к осцилляциям.
В архитектурах сетей используются различные функции активации (рис. 6), среди которых: гиперболический тангенс (Tanh), сигмоидная линейная функция (SiLU), LeakyReLU, SiLU, GELU (Gaussian Error Linear Unit), определяемая как:
GELU( x) = x • Ф ( х) = Xx [ 1 + erf ^ x/V2 jj , (15)
где Φ ( x) – кумулятивная функция распределения стандартного нормального закона, erf – функция ошибки. Функция GELU, предложенная в статье «Gaussian Error Linear Units, GELUs» [10], в отличие от других функций активации, основана на сглаженной аппроксимации кумулятивной функции стандартного нормального распределения. В данной работе в архитектуре TriDomainPINN применяется активация SiLU.
Рис. 6. Функции активации
Для предотвращения переобучения реализован механизм ранней остановки (early stopping) через класс EarlyStopping с параметрами: patience = 30 (количество эпох без улучшения, после которого обучение останавливается) и min_delta = 10 - 7 (минимальное улучшение валидационной потери для обновления «лучшей» модели).
Обновление лучшего значения валидационной ошибки вычисляется как
(k) = / LVal, если LVa < Lbestl) - 6, best ILbe-l), иначе.
Счетчик эпох обновляется без улучшения согласно следующему правилу:
(k ) (k - l)
c (k ) =
0, ch-1) + 1,
если L val < L best - δ , иначе .
Условие остановки обучения имеет вид:
c ( k) > patience.
Для оценки качества аппроксимации методов относительно аналитиче ской функции (1) использовались следующие метрики:
1 RMSE
MSE=—V( g -g i ) 2 , RMSE = VMSE , NRMSE =---—---—— • 100 % ,
N "^ max( g) — min( g)
i= l (16)
R2 = 1 — ^ i=l .(gi, giL 2, tmax = max \gi — gi |, E i = 1N (gi. - g)2 i где MSE – среднеквадратичная ошибка; RMSE – корень из среднеквадратичной ошибки, NRMSE – нормированная среднеквадратичная ошибка; R2 - коэффициент детерминации, £max - максимальная абсолютная ошибка.
Для количественной оценки степени соответствия нейросетевых решений модели будем рассматривать невязку, которая определяется как разность между левой и правой частями уравнения при подстановке приближенного решения:
R ( t ) =
dg NN dt
— f ( t,g NN ),
где gNN - предсказание нейросети, а f (t, g) - правая часть модели (8). В идеальном случае, когда нейросетевое решение точно совпадает с аналитическим, невязка R(t) = 0. Таким образом, анализ невязки позволяет выявить области, где нейросеть не удовлетворяет физике процесса.
3. Результаты исследования
Эксперименты проводились в операционной системе Linux на процессоре AMD EPYC 7313 16-Core Processor с архитектурой x86_64. В распоряжении выделенного процесса находилось 8 логических ядер (потоков), одно физическое ядро и 24 ГБ оперативной памяти.
Таблица 1
Параметры математической модели (8)
|
Параметр |
Пример 1 |
Пример 2 |
Пример 3 |
|
A |
0.8 |
0.8 |
0.8 |
|
p max |
0.2 |
0.2 |
0.2 |
|
f, |
200 |
250 |
300 |
|
∆ |
3.0 |
3.0 |
3.0 |
|
a |
0.75 |
0.75 |
0.75 |
|
b |
0.004 |
0.004 |
0.004 |
|
c |
1256.64 |
1570.796 |
1884.96 |
|
φ 0 |
0.0 |
0.0 |
0.0 |
|
n |
1.25 |
1.25 |
1.25 |
|
t |
[ 10 -3 ; 2 · 10 -2 ] |
[ 10 -3 ; 5 · 10 -2 ] |
[ 10 -3 ; 2 · 10 -2 ] |
Одним из ключевых преимуществ нейросетевых методов является возможность получения решения за миллисекунды после завершения обучения. В отличие от численных методов, требующих повторного интегрирования для каждого нового набора параметров, обученная нейросеть на нескольких наборах параметров дает предсказание практически мгновенно. Это особенно важно для задач, где требуется многократный расчет при варьировании параметров модели, например, при параметрической идентификации или в системах реального времени.
Для количественной оценки этого преимущества были проведены эксперименты численного решения модели для трех методов: TriDomainPINN, LeNN и метода Розенброка четвертого порядка. Измерения выполнялись на временной сетке из N = 1800 точек с количеством экспериментов для каждой частоты 50. Для нейросетей предсказание выполнялось после загрузки сохраненных моделей. Для метода Розенброка выполнялось полное численное интегрирование с шагом h = 10 -5 с. Результаты представлены в таблицах 2–5 и на рисунках 7–8.
В численных экспериментах использовались параметры модели, представленные в таблице 1. Параметры полиномиальной нейронной сети Лежандра (LeNN) задавались следующими: порядок полиномов по времени составил nt = 32, по частоте – nf = 32, общее количество параметров сети – 1025 параметра. Архитектура TriDomainPINN насчитывает 249739 параметров на каждый из трех субдоменов, каждый из которых обучается на 3500 точках коллокации. Результаты обучения сетей представлены на рисунке 7. Результаты численного решения методом Розенброка четвертого порядка точности и предсказания сетей модели (8) приведены в таблицах 2–5. Для контроля точности метода Розенброка применялась оценка локальной погрешности с порогом εtol = 8 · 10-7 (10). Во всех рассмотренных частотных режимах (f = 200, 250, 300 Гц) критерий точности (11) выполнен: максимальная погрешность не превышает 3.4 · 10-7. При этом наблюдается рост погрешности с увеличением частоты, что обусловлено возрастанием жесткости задачи. Средняя и медианная погрешности состав- ляют 6.2 · 10-8–1.3· 10-7 и 5.0 · 10-8–1.1 · 10
7 соответственно, что подтверждает локальный характер пиковых отклонений и корректность выбранного шага интегрирования.
Рис. 7. Кривые обучения TriDomainPINN и Лежандра (8)
В ходе обучения трех субдоменов PINN (рис. 7) низкочастотный субдомен достиг лучшей валидационной ошибки 3.164·10 -5 за 45.51 с на 211-й эпохе, среднечастотный – 4.211·10 -5 за 55.56 с на 298-й эпохе, высокочастотный – 1.344 · 10 -6 за 56.10 с на 296-й эпохе. Суммарное время обучения составляет 56.1 с. Все субдомены обучались 300 эпох. Общее время обучения с учетом объединения результатов субдоменов составляет 59.26 с. Обучение модели Лежандра ( n t = 22, n f = 22 ) завершилось на 133 -й эпохе с лучшей валидационной ошибкой 4.969 · 10 -6 ; общее время обучения составило 3.92 с (рис. 7).
Таблица 2
Сравнение вычислительных методов решения модели (8). Пример 1
|
Метод |
Время, с |
MSE g ( t) |
RMSE |
NRMSE(%) |
R 2 |
ξ max |
|
TriDomainPINN |
0.0235 |
3.398e-11 |
5.829e-06 |
0.051243 |
0.999996 |
1.884e-05 |
|
Legendre |
0.0033 |
3.029e-11 |
5.504e-06 |
0.048379 |
0.999996 |
1.401e-05 |
|
Rosenbrock |
0.04 |
9.102e-11 |
9.540e-06 |
0.083864 |
0.999988 |
1.910e-05 |
Таблица 3
Сравнение вычислительных методов решения модели (8). Пример 2
|
Метод |
Время, с |
MSE g ( t) |
RMSE |
NRMSE(%) |
R 2 |
ξ max |
|
TriDomainPINN |
0.0582 |
3.153e-10 |
1.776e-05 |
0.153130 |
0.999959 |
1.118e-04 |
|
Legendre |
0.0032 |
1.171e-10 |
1.082e-05 |
0.093341 |
0.999985 |
2.611e-05 |
|
Rosenbrock |
0.04 |
8.113e-11 |
9.007e-06 |
0.077680 |
0.999989 |
1.906e-05 |
Таблица 4
Сравнение вычислительных методов решения модели (8). Пример 3
|
Метод |
Время, с |
MSE g ( t) |
RMSE |
NRMSE(%) |
R 2 |
ξ max |
|
TriDomainPINN |
0.0629 |
1.656e-10 |
1.287e-05 |
0.111702 |
0.999978 |
5.824e-05 |
|
Legendre |
0.0032 |
4.192e-10 |
2.047e-05 |
0.177698 |
0.999945 |
4.261e-05 |
|
Rosenbrock |
0.04 |
6.975e-11 |
8.351e-06 |
0.072484 |
0.999991 |
1.874e-05 |
Метрики невязки для рассмотренных методов
Таблица 5
|
Метод |
Частота, Гц |
Max | R | |
Mean | R | |
RMS |
Std |
|
TriDomainPINN |
200 |
1.234e-01 |
1.496e-02 |
2.052e-02 |
2.050e-02 |
|
Legendre |
200 |
8.400e-02 |
1.458e-02 |
1.815e-02 |
1.814e-02 |
|
Rosenbrock |
200 |
3.446e-02 |
5.846e-03 |
7.241e-03 |
7.234e-03 |
|
TriDomainPINN |
250 |
9.290e-01 |
6.511e-02 |
1.024e-01 |
1.018e-01 |
|
Legendre |
250 |
9.345e-02 |
3.121e-02 |
3.692e-02 |
3.690e-02 |
|
Rosenbrock |
250 |
7.085e-02 |
8.826e-03 |
1.096e-02 |
1.095e-02 |
|
TriDomainPINN |
300 |
1.019 |
4.781e-02 |
8.273e-02 |
8.269e-02 |
|
Legendre |
300 |
1.581e-01 |
6.020e-02 |
7.127e-02 |
7.126e-02 |
|
Rosenbrock |
300 |
1.108e-01 |
1.239e-02 |
1.540e-02 |
1.540e-02 |
--- TriDomainPINN --- Legendre --- Rosenbrock
Рис. 8. Анализ невязки решений модели (8). Пример 1
Анализ невязки решений
Распределение невязки
0.005 0.010 0.015 0.020
Время t (с)
(а)
--- TriDomainPINN --- Legendre --- Rosenbrock
Рис. 9. Анализ невязки решений модели (8). Пример 2
TriDomainPINN --- Legendre Rosenbrock [
Рис. 10. Анализ невязки решений модели (8). Пример 3
Сравнительный анализ вычислительных методов (табл. 2–5) позволяет выделить следующие закономерности. Все методы обеспечивают высокую точность аппроксимации: значение R 2 превышает 0.99994 для всех частот, а максимальная относительная ошибка не превышает 0.18 %. Наилучшие показатели по точности при f = 200 Гц демонстрирует метод Лежандра (NRMSE = 0.048 %, R 2 = 0.999996 ). Метод Розенброка показывает наименьшую невязку ОДУ во всем частотном диапазоне (RMS невязки 7.24·10 -3 – 1.54·10 -2 ). Однако он уступает по скорости вычислений сети Лежандра (время 0.04 с против 0.0032 – 0.0033 с). TriDomainPINN демонстрирует устойчивую работу во всем диапазоне частот с умеренной невязкой (RMS 2.052 · 10 -2 – 8.273 · 10 -2 ) и высокой точностью аппроксимации ( R 2 ≥ 0.999959 ).
Для оценки физической обоснованности полученных решений был проведен анализ невязки R , характеризующей степень удовлетворения предсказанного решения исходному дифференциальному уравнению. Результаты представлены на рисунках 8–10 для трех значений частоты f = 200 , 250 и 300 Гц.
С ростом частоты от 200 до 300 Гц наблюдается увеличение невязки для всех методов, что согласуется с общим возрастанием сложности моделируемого сигнала. Наиболее существенный рост невязки характерен для TriDomainPINN (максимальное значение Max |R| возрастает с 1.23 · 10 -1 до 1.02 ), тогда как для метода Розенброка этот рост минимален ( 3.45 · 10 -2 до 1.11 · 10 -1 ), что подтверждает его устойчивость к изменению частотных характеристик.
Заключение
На основании проведенного исследования можно сделать следующие выводы: разработанная параллельная реализация PINN с тремя субдоменами позволила ускорить время обучения более, чем в 2 раза, а также повысить точность аппроксимации за счет специализации субдоменов на различных частотных диапазонах. Обучение TriDomainPINN при параметрах сети 249, 739 для обоих случаев заняло 59.26 с с учетом параллельного объединения трех субдоменов. Cреднеквадратичная ошибка составляет 3.398 · 10 -11 – 1.656 · 10 -10 .
Полиномиальная сеть Лежандра продемонстрировала существенные преимущества. При 1025 параметрах она достигла среднеквадратичной ошибки ( 3.029 · 10 -11 – 1.171 · 10 -10 ) при времени обучения 3.92 с, что значительно меньше времени, потраченного на обучения PINN. Коэффициент детерминации R 2 ≥ 0.999945 для всех методов подтверждает высокое качество аппроксимации. Метод Розенброка характеризуется наименьшей невязкой ОДУ, однако уступает нейросетевому подходу Лежандра на примере предсказаний значений входного параметра f по скорости вычислений.
Таким образом, для практических задач моделирования геоакустической эмиссии рекомендуем использовать полиномиальную сеть Лежандра как наиболее эффективную по соотношению точности и вычислительных затрат. Главное преимущество нейронных сетей заключается в том, что один раз потратив время на обучение, мы получаем модель, которая дает предсказание за миллисекунды для любых параметров из диапазона, на котором она обучалась.
Дальнейшие исследования планируем направить на решение следующих задач: адаптацию предложенного подхода для многомерных задач геоакустического мониторинга, исследование возможности использования рекуррентных нейронных сетей для моделирования серий импульсов геоакустической эмиссии, разработку специализированных вычислительных алгоритмов для GPU-ускорения обучения полиномиальных сетей высоких порядков.