Memristor-based hardware neural networks modelling review and framework concept

Автор: Kozhevnikov D.D., Krasilich N.V.

Журнал: Труды Института системного программирования РАН @trudy-isp-ran

Статья в выпуске: 2 т.28, 2016 года.

Бесплатный доступ

This paper is a report of a study in progress that considers development of a framework and environment for modelling hardware memristor-based neural networks. An extensive review of the domain has been performed and partly reported in this work. Fundamental papers on memristors and memristor related technologies have been given attention. Various physical implementations of memristors have mentioned together with several mathematical models of the metal-dioxide memristor group. One of the latter has been given a closer look in the paper by briefly describing model’s mechanisms and some of the important observations. The paper also considers a recently proposed architecture of memristor-based neural networks and suggests enhancing it by replacing the utilized memristor model with a more accurate one. Based on this review, a number of development requirements was derived and formally specified. Ontological and functional models of the domain at hand have been proposed to foster understanding of the corresponding field from different points of view. Ontological model is supposed to shed light onto the object-oriented structure of memristor-based neural network, whereas the functional model exposes the underlying behavior of network’s components which is described in terms of mathematical equations. Finally, the paper shortly speculates about the development platform for the framework and its prospects.

Еще

Memristor, memristor model, hardware neural network model, memristor-based neural networks

Короткий адрес: https://sciup.org/14916342

IDR: 14916342   |   DOI: 10.15514/ISPRAS-2016-28(2)-16

Обзор предметной области и концепция фреймворка для разработки моделей мемристоров и мемристорных нейронных сетей

В данной работе представлены предварительные результаты текущего исследования по разработке среды моделирования аппаратных мемристорных нейронных сетей. Проведен анализ релевантных трудов, описаны фундаментальные работы по мемристорам и мемристорным технологиям, рассмотрены различные физические реализации мемристоров, а также несколько математических моделей мемристоров из металло-диоксидной группы. Одна из таких моделей более подробно представлена в работе, описаны ее основные механизмы и наиболее интересные свойства. В работе также рассматривается недавно предложенная архитектура мемристорной нейронной сети, описывается методика обучения подобной аппаратной нейронной сети, реализация еу компонент: нейронов и синапсов на основе мемристорных мостов. В данной работе также выдвинуто предложение по улучшению этой архитектуры путем использования более точной модели мемристора в рамках сети. Основываясь на проведенном анализе предметной области, составлены и формально описаны требования к разработке среды моделирования мемристорных нейронных сетей. Кроме того, для лучшего понимания рассматриваемой предметной области составлены онтологическая и функциональная модели. Первая модель необходима для формализации объектной структуры предметной области, в то время как вторая модель используется для явного представления математических формул, описывающих физическое поведение соответствующих объектов. В совокупности обе модели позволяют составить полное, формализованное и многостороннее описание предметной области мемристорных нейронных сетей и перейти к процессу проектирования и разработки программного продукта. В конце работы кратко представлены дальнейшие перспективы разработки среды моделирования мемристорных нейронных сетей.

Еще

Список литературы Memristor-based hardware neural networks modelling review and framework concept

  • D. Strukov, G. Snider, D. Stewart and R. Williams, "The missing memristor found", Nature, vol. 453, no. 7191, pp. 80-83, 2008.
  • J. Mullins, "Memristor minds: The future of artificial intelligence", NewScientist Magazine, no. 2715, 2016.
  • S. Draghici, "Neural Networks in Analog Hardware -Design and Implementation Issues", International Journal of Neural Systems, vol. 10, no. 1, pp. 19-42, 2000.
  • S. Adhikari, Changju Yang, Hyongsuk Kim and L. Chua, "Memristor Bridge Synapse-Based Neural Network and Its Learning", IEEE Trans. Neural Netw. Learning Syst., vol. 23, no. 9, pp. 1426-1435, 2012.
  • T. Simonite, "A Better Way to Build Brain-Inspired Chips", Cacm.acm.org, 2015. . Available: http://cacm.acm.org/news/186782-a-better-way-to-build-brain-inspired-chips/fulltext. .
  • L. Chua, "Memristor-The missing circuit element", IEEE Trans. Circuit Theory, vol. 18, no. 5, pp. 507-519, 1971.
  • L. Chua and S. Kang, "Memristive devices and systems", Proceedings of the IEEE, vol. 64, no. 2, pp. 209-223, 1976.
  • A. Thomas, "Memristor-based neural networks", Journal of Physics D: Applied Physics, vol. 46, no. 9, p. 093001, 2013.
  • V. Erokhin and M. Fontana, "Electrochemically controlled polymeric device: a memristor (and more) found two years ago", Arxiv.org, 2008. . Available: http://arxiv.org/abs/0807.0333. .
  • F. Alibart, S. Pleutin, D. Guerin, C. Novembre, S. Lenfant, K. Lmimouni, C. Gamrat and D. Vuillaume, "An Organic Nanoparticle Transistor Behaving as a Biological Spiking Synapse", Adv. Funct. Mater., vol. 20, no. 2, pp. 330-337, 2010.
  • X. Wang, Y. Chen, H. Xi, H. Li and D. Dimitrov, "Spintronic Memristor Through Spin-Torque-Induced Magnetization Motion", IEEE Electron Device Lett., vol. 30, no. 3, pp. 294-297, 2009.
  • A. Chanthbouala, V. Garcia, R. Cherifi, K. Bouzehouane, S. Fusil, X. Moya, S. Xavier, H. Yamada, C. Deranlot, N. Mathur, M. Bibes, A. Barthelemy and J. Grollier, "A ferroelectric memristor", Nature Materials, vol. 11, no. 10, pp. 860-864, 2012.
  • A. Bessonov, M. Kirikova, D. Petukhov, M. Allen, T. Ryhänen and M. Bailey, "Layered memristive and memcapacitive switches for printable electronics", Nature Materials, vol. 14, no. 2, pp. 199-204, 2014.
  • E. Lehtonen and M. Laiho, "CNN using memristors for neighborhood connections", 2010 12th International Workshop on Cellular Nanoscale Networks and their Applications (CNNA 2010), 2010.
  • M. Pickett, D. Strukov, J. Borghetti, J. Yang, G. Snider, D. Stewart and R. Williams, "Switching dynamics in titanium dioxide memristive devices", J. Appl. Phys., vol. 106, no. 7, p. 074508, 2009.
  • S. Kvatinsky, E. Friedman, A. Kolodny and U. Weiser, "TEAM: ThrEshold Adaptive Memristor Model", IEEE Trans. Circuits Syst. I, vol. 60, no. 1, pp. 211-221, 2013.
  • H. Kim, M. Sah, C. Yang, T. Roska and L. Chua, "Memristor Bridge Synapses", Proceedings of the IEEE, vol. 100, no. 6, pp. 2061-2070, 2012.
Еще