Архитектуры нейронных сетей

Архитектуры нейронных сетей

Автор: Кузьменко А.А.

Журнал: Инфокоммуникационные технологии @ikt-psuti

Рубрика: Школа молодого ученого

Статья в выпуске: 2 т.20, 2022 года.

Бесплатный доступ

Нейронные сети в настоящее время являются одной из самых современных творческих и интересных областей знаний. Использование нейронных сетей позволяет решать многие задачи, с которыми иные подходы почти невозможны в связи со сложностью решения данных задач. К настоящему времени существует большое количество архитектур нейронных сетей - от простых, как персептрон, до нейронных сетей с триллионами параметров. Такое разнообразие архитектур нейронных сетей обуславливаются задачами, которые ставятся перед ними. Помимо этого, область применения нейронных сетей также растет вследствие возможности их применения по причине роста объема данных и вычислительных мощностей. В статье приведен обзор основных архитектур нейронных сетей, на основе которых стоятся современные нейронные сети, нашедших применение во многих аспектах повседневной жизни.

Еще

Нейронная сеть, перцептрон, нейронные сети прямого распространения, нейронная сеть хопфилда

Короткий адрес: https://sciup.org/140297110

IDR: 140297110   |   DOI: 10.18469/ikt.2022.20.2.15

Список литературы Архитектуры нейронных сетей

  • Нейронные сети. URL: https://neuralnet.info/book/ (дата обращения: 01.01.2022)
  • Машинное обучение. GoogleTrends. URL: https://trends.google.ru/trends/explore?date=2004-01-01%202017-08-19&q=%2Fm%2F01hyh_ (дата обращения: 02.01.2022).
  • Microsoft teams up with OpenAI to exclusively license GPT-3 language model. URL: https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model/ (дата обращения: 10.01.2022).
  • Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain // Psychological Review. 1958. Vol. 65, no. 5. P. 386–408.
  • The neural network zoo URL: https://www.asimovinstitute.org/neural-network-zoo/ (дата обращения: 02.01.2022).
  • Шпаргалка по разновидностям нейронных сетей. Часть первая. Элементарные конфигурации. URL: https://tproger.ru/translations/neural-network-zoo-1/ (дата обращения: 02.01.2022).
  • Broomhead D.S., Lowe D. Radial Basis Functions, Multi-Variable Functional Interpolation and Adaptive Networks. London: Royal Signals and Radar Establishment Malvern, 1988. 35 p.
  • Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // PNAS. 1982. Vol. 79. P. 2554–2558.
  • Hinton G.E., Sejnowski T.J. Learning and relearning in Boltzmann machines // Parallel Distributed Processing: Explorations in the Microstructure of Cognition. 1986. P. 282–317.
  • Smolensky P. Information Processing in Dynamical Systems: Foundations of Harmony Theory. Colorado: Univ at boulder dept of computer science, 1986. P. 194–281.
  • Bourlard H., Kamp Y. Auto-association by multilayer perceptrons and singular value decomposition // Biological Cybernetics. 1988. No. 59. P. 291–294.
  • Efficient Learning of Sparse Representations with an Energy-Based Model / M.A. Ranzato [et al.] // Proceedings of NIPS. 2007. P. 1–8. URL: https://proceedings.neurips.cc/paper/2006/file/87f4d79e36d68c3031ccf6c55e9bbd39-Paper.pdf (дата обращения: 01.01.2022).
  • Kingma D.P., Welling M. Auto-encoding variational Bayes // arXiv. 2014. P. 1–14. URL: https://arxiv.org/pdf/1312.6114v10.pdf (дата обращения: 01.01.2022).
  • Extracting and Composing Robust Features with Denoising Autoencoders / V. Pascal [et al.] // Proceedings of the 25th International Conference on Machine Learning. ACM. 2008. P. 1–8. URL: http://machinelearning.org/archive/icml2008/papers/592.pdf (дата обращения: 01.01.2022).
  • Elman J.L. Finding structure in time // Cognitive Science. 1990. No. 14. P. 179–211.
  • Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation. 1997. No. 9 (8). P. 1375–1780.
  • Empirical evaluation of gated recurrent neural networks on sequence modeling / C. Chung [et al.] // arXiv. 2014. P. 1–9. URL: https://arxiv.org/pdf/1412.3555v1.pdf (дата обращения: 01.01.2022).
  • Schuster M., Kuldip K.P. Bidirectional recurrent neural networks // IEEE Transactions on Signal Processing. 1997. No. 45. P. 2673–2681.
  • Greedy layer-wise training of deep networks / Y. Bengio [et al.] // Advances in Neural Information Processing Systems. 2007. No. 19. P. 153–161.
  • Gradient-based learning applied to document recognition / Y. LeCun [et al.] // Proceedings of the IEEE. 1998. No. 86. P. 2278–2324.
  • Deconvolutional networks. Computer Vision and Pattern Recognition (CVPR) / M.D. Zeiler [et al.] // Proceedings of the IEEE. 2010. P. 1–8. URL: https://www.matthewzeiler.com/mattzeiler/deconvolutionalnetworks.pdf (дата обращения: 01.01.2022).
  • Deep convolutional inverse graphics network / T.D. Kulkarni [et al.] // Advances in Neural Information Processing Systems. 2015. P. 1–10. URL: https://arxiv.org/pdf/1503.03167v4.pdf (дата обращения: 01.01.2022).
  • Generative adversarial nets / I.J. Goodfellow [et al.] // Advances in Neural Information Processing Systems. 2014. P. 1–9. URL: https://arxiv.org/pdf/1406.2661v1.pdf (дата обращения: 01.01.2022).
  • Maass W., Natschläger T., Markram H. Realtime computing without stable states: A new framework for neural computation based on perturbations // Neural Computation. 2002. No. 14. P. 2531–2560.
  • Huang G., Zhu Q., Siew C. Extreme learning machine: Theory and applications // Neurocomputing. 2006. No. 70. P. 489–501.
  • Jaeger, H., Harald H. Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication // Science. 2004. Vol. 304, no. 5667. P. 78–80.
  • Graves A., Wayne G., Danihelka I. Neural turing machines // arXiv. 2014. P. 1–26. URL: https://arxiv.org/pdf/1410.5401v2.pdf (дата обращения: 01.01.2022).
  • Hybrid computing using a neural network with dynamic external memory / A. Graves [et al.] // Nature. 2016. No. 538. P. 471–476.
  • Sabour S., Frosst N., Hinton G.E. Dynamic routing between capsules // In Advances in Neural Information Processing Systems. 2017. P. 3856–3866.
  • Kohonen T. Self-organized formation of topologically correct feature maps // Biological Cybernetics. 1982. No. 43 (1). P. 59–69.
  • Spatial Transformer Networks / M. Jaderberg [et al.] // In Advances in Neural Information Processing Systems. 2015. P. 2017–2025.
  • Deep Residual Learning for Image Recognition / K. He [et al.] // arXiv. 2015. P. 1–12. URL: https://arxiv.org/pdf/1512.03385v1.pdf (дата обращения: 01.01.2022).
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp