О нейронных обыкновенных дифференциальных уравнениях и их вероятностном расширении
Автор: Маргасов А.О.
Журнал: Известия Коми научного центра УрО РАН @izvestia-komisc
Статья в выпуске: 6 (52), 2021 года.
Бесплатный доступ
В данной статье описывается переход от нейросетевой архитектуры к обыкновенным дифференциальным уравнениям и задаче Коши. Рассматривается сравнение двух нейросетевых архитектур:классическая RNN и ODE-RNN, в которой используются нейронные обыкновенные дифференциальные уравнения. В работе предлагается новая архитектура p-ODE-RNN, позволяющая добиться качества, сопоставимого с ODE-RNN, но при этом обучается значительно быстрее. Кроме того, рассматривается вывод предложенной архитектуры с точки зрения теории случайных процессов.
Обыкновенные дифференциальные уравнения, нейронные сети, случайные процессы, вероятностные распределения
Короткий адрес: https://sciup.org/149139082
IDR: 149139082 | DOI: 10.19110/1994-5655-2021-6-14-19
Список литературы О нейронных обыкновенных дифференциальных уравнениях и их вероятностном расширении
- Hornik K. Approximation Capabilities of Multilayer Feedforward Networks // Neural Net-works. 1991. Vol. 4. P. 251-257.
- Deep Residual Learning for Image Recognition/K. He, X. Zhang, S. Ren, J. Sun // The IEEEConference on Computer Vision and PatternRecognition (CVPR). 2016. P. 770-778.
- Neural Ordinary Differential Equations /R.T.Q. Chen, Yu.Rubanova, J. Bettencourt,D. Duvenaud // Advances in Neural InformationProcessing Systems. 2018. Vol. 31. P. 6571-6583.
- Математическая теория оптимальных процессов / Л.С. Понтрягин, В.Г. Болтянский,Р.В. Гамкрелидзе, Е.Ф. Мищенко. М.: Наука,1983. 392 c.Matematicheskaja teorija optimal'nyh processov [Mathematical theory of optimalprocesses] / L.S. Pontryagin, V.G. Boltyansky,R.V. Gamkrelidze, E.F. Mishchenko. Moscow:Nauka, 1983. 392 p.
- Rubanova Yu., Chen R.T.Q., Duvenaud D. Latent ODEs for Irregularly-Sampled Time Series// Advances in Neural Information ProcessingSystems. 2019. Vol. 32. P. 5320-5330.
- Круглов В.М. Случайные процессы. М.:Юрайт, 2016. 280 c.Kruglov V.M. Sluchajnye processy [Randomprocesses]. Moscow: Yurait, 2016. 280 p.
