Кластеризация рукописных цифр нейронной сетью Кохонена

Кластеризация рукописных цифр нейронной сетью Кохонена

Автор: Латыпова Дина Сергеевна, Тумаков Дмитрий Николаевич

Журнал: Программные системы: теория и приложения @programmnye-sistemy

Рубрика: Искусственный интеллект, интеллектуальные системы, нейронные сети

Статья в выпуске: 3 (54) т.13, 2022 года.

Бесплатный доступ

Проведена кластеризация рукописных цифр по шестидесяти тысячам изображений, содержащихся в обучающей выборке базы данных MNIST. Для кластеризации использована нейронная сеть Кохонена. Для каждой рукописной цифры определено оптимальное количество кластеров (не более 50). При определении расстояния между объектами (изображениями рукописных цифр) использована евклидова норма. Проверка правильности построения кластеров проведена по данным из тестовой выборки базы MNIST. Тестовая выборка содержит десять тысяч изображений. Сделан вывод о том, что изображения из тестовой выборки принадлежат кластеру «правильной цифры» с вероятностью более 90{\%}. Для каждой цифры вычислена F-мера для оценки кластеров. Наилучшие значения F-меры получены для цифр 0 и 1 (F-среднее значение равно 0,974). Наихудшие значения получены для цифры 9 (F-среднее значение равно 0,903). Также проведён кластерный анализ, который позволил сделать выводы о возможных ошибках в распознавании нейронной сетью Кохонена. Построены пересечения кластеров для изображений рукописных цифр. Приведены примеры пересечений кластеров, а также показаны примеры изображений, которые распознаны нейронной сетью неверно.

Еще

Нейронная сеть кохонена, кластеризация, mnist

Короткий адрес: https://sciup.org/143179403

IDR: 143179403   |   DOI: 10.25209/2079-3316-2022-13-3-225-239

Список литературы Кластеризация рукописных цифр нейронной сетью Кохонена

  • Latypova D. Neural networks using for handwritten numbers recognition, Master’s Thesis.– Prague: Czech Technical University.– 2020.– 77 pp. hUtRtpLs://dspace.cvut.cz/bitstream/handle/10467/88142/F3-DP-2020-Latypova-Dina-Master%20Thesis%20Dina%20Latypova%20v3.pdf?sequence=-
  • Rexy M., Lavanya K. Handwritten digit recognition of MNIST data using consensus clustering // International J. of Recent Technology and Engineering.– 2019.– Vol. 7.– No. 6.– pp. 1969–1973. hUtRtpLs://www.ijrte.org/wp-content/uploads/papers/v7i6/F2408037619.pdf
  • Nhery S., Ksantini R., Kaaniche M.B., Bouhoula A. A novel handwritten digits recognition method based on subclass low variances guided support vector machine // Proc. of the 13th Int. Joint Conf. on Computer Vision, Imaging and Computer Graphics Theory and Application.– V. 4, VISIGRAPP 2018 (27–29 January 2018, Funchal, Madeira, Portugal).– 2018.– ISBN 978-989-758-290-5.– pp. 28–36. hUtRtpLs://www.scitepress.org/papers/2018/66111/66111.pdf
  • Shal S. A., Koltun V. Robust continuous clustering // Proc. the Natl. Acad. Sci. USA.– 2017.– Vol. 114.– No. 37.– pp. 9814–9817. https://doi.org/10.1073/pnas.1700770114
  • Miri E., Razavi S. M., Sadri J. Performance optimization of neural networks in handwritten digit recognition using Intelligent Fuzzy C-Means clustering, 2011 1st International eConference on Computer and Knowledge Engineering (ICCKE) (13–14 Oct. 2011, Mashhad, Iran).– 2011.– pp. 150–155. https://doi.org/10.1109/ICCKE.2011.6413342
  • Pourmohammad S., Soosahabi R., Maida A. S. An efficient character recognition scheme based on k-means clustering, 2013 5th International Conference on Modeling, Simulation and Applied Optimization (ICMSAO) (28–30 April 2013, Hammamet, Tunisia).– 2013.– pp. 1–6. https://doi.org/10.1109/ICMSAO.2013.6552640
  • Li B. Y. An experiment of k-means initialization strategies on handwritten digits dataset // Intelligent Information Management.– 2018.– Vol. 10.– No. 2.– pp. 43–48. https://doi.org/10.4236/iim.2018.102003
  • Munggaran L. C., Widodo S., Cipta A. M., Nuryuliani Handwritten pattern recognition using Kohonen neural network based on pixel charactacter // International J. of Advanced Computer Science and Applicatons.– 2014.– Vol. 5.– No. 11.– 6 pp. https://doi.org/10.1456hU9t/RtIpJLsA:/C/SthAe.s2a0i1.o4r.0g5/1D1o0w1nloads/Volume5No11/Paper_1-Handwritten_Pattern_Recognition_Using_Kohonen_Neural_Network.pdf
  • Fahad A., Alshatri N., Tari Z., Alamri A., Khalil I., Zomaya A., Foufou S., Bouras A. A survey of clustering algorithms for big data: taxonomy and empirical analysis // IEEE Transactions on Emerging Topics in Computing.– 2014.– Vol. 2.– No. 3.– pp. 267–279. https://doi.org/10.1109/TETC.2014.2330519
  • Bi Y., Wang P., Guo X., Wang Z., Cheng S. K-means clustering optimizing deep stacked sparse autoencoder // Sensing and Imaging.– 2019.– Vol. 20.– No. 1.– 6.– 19 pp. https://doi.org/10.1007/s11220-019-0227-1
  • Chen Y., Chen C. -G., You C. Stochastic sparse subspace clustering, 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (13–19 June 2020, Seattle, WA, USA).– 2020.– pp. 4155–4164. https://doi.org/10.1109/CVPR42600.2020.00421
  • Zhang S., You C., Vida R., Li C. G. Learning a self-expressive network for subspace clustering, 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (20–25 June 2021, Nashville, TN, USA).– 2021.– pp. 12393–12404. https://doi.org/10.1109/CVPR46437.2021.01221
  • Латыпова Д., Тумаков Д. Определение основных кластеров рукописных цифр, Цифровая обработка сигналов и ее применение. DSPA - 2020 (14–15 апреля 2020 года, Москва, Россия).– 2020.– с. 620–625. [РИНЦ]
  • Latypova D., Tumakov D. Peculiarities of image recognition by the Hopfield neural network, IEMAICLOUD 2021: International Conference on Intelligent Emerging Methods of Artificial Intelligence & Cloud Computing, Smart Innovation, Systems and Technologies.– vol. 273, ed. Garcia Marquez F.P., Cham: Springer.– 2021.– ISBN 978-3-030-92904-6.– pp. 34–47. https://doi.org/10.1007/978-3-030-92905-3_4
  • McConnell S., Sturgeon R., Henry G., Mayne A., Hurley R. Scalability of self-organizing maps on a GPU cluster using OpenCL and CUDA // High Perfomance Computer Symposium, J. Physics: Conf. Series.– 2012.– Vol. 341.– 012018.– 10 pp. https://doi.org/10.1088/1742-6596/341/1/012018
  • Xu Y., Zhang W. On a clustering method for handwritten digit recognition, 2010 Third International Conference on Intelligent Networks and Intelligent Systems (01–03 November 2010, Shenyang, China).– 2010.– pp. 112–115. https://doi.org/10.1109/ICINIS.2010.130
  • Cohen G., Afshar S., Tapson J., van Schaik A. EMNIST: extending MNIST to handwritten letters, 2017 International Joint Conference on Neural Networks (IJCNN) (14–19 May 2017, Anchorage, AK, USA).– 2017.– pp. 2921–2926. https://doi.org/10.1109/IJCNN.2017.7966217
  • Baldominos A., Saez Y., Isasi P. A survey of handwritten character recognition with MNIST and EMNIST // J. of Applied Science.– 2019.– Vol. 9.– No. 15.– 3169.– 16 pp. https://doi.org/10.3390/app9153169
  • Agarap A. F., Azcarraga A. P. Improving k-means clustering performance with disentangled internal representations, 2020 International Joint Conference on Neural Networks (IJCNN) (19–24 July 2020, Glasgow, UK).– 2020.– pp. 1–8. https://doi.org/10.1109/IJCNN48605.2020.9207192
  • Cheng K., Tahir R., Eric L. C., Li M. An analysis of generative adversarial networks and variants for image synthesis on MNIST dataset // J. Multimedia Tools and Applications.– 2020.– Vol. 79.– pp. 13725–13752. https://doi.org/10.1007/s11042-019-08600-2
  • Kossen J., Farquhar S., Gal Y., Rainforth T. Active testing: sample-efficient model evaluation // Proc. of the 38th International Conf. on Machine Learning (18-24 July 2021, Virtual), Proceedings of Machine Learning Research.– vol. 139.– 2021.– pp. 5753–5763. hUtRtpL://proceedings.mlr.press/v139/kossen21a/kossen21a.pdf
  • Zhang R., Chang P. -C. Robustness against adversary models on MNIST by deep-Q reinforcement learning based parallel-GANs, 2021 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC) (14–17 December 2021, Tokyo, Japan).– 2021.– pp. 1590–1597. hUtRtpL://www.apsipa.org/proceedings/2021/pdfs/0001590.pdf
  • Murtagh F., Hernandez-Pajares M. The Kohonen self-organizing map method: An assessment // J. of Classification.– 1995.– Vol. 12.– pp. 165–190. https://doi.org/10.1007/BF03040854
  • Сеньковская И. С., Сараев П. В. Автоматическая кластеризация в анализе данных на основе саморганизующихся карт Кохонена // Вестник МГТУ им. Г. И. Носова.– 2011.– №2(34).– с. 78–79. [РИНЦ] hUtRtpL://vestnik.magtu.ru/content/%D0%92%D0%B5%D1%81%D1%82%D0%BD%D0%B8%D0%BA%2 %D0%9C%D0%93%D0%A2%D0%A3%20%D0%B7%D0%B0%202011%20%D0%B3%D0%BE%D0%B4,%20%D0%9D%D0%
  • Simard P. Y., Steinkraus D., Platt J. C. Best practices for convolutional neural networks applied to visual document analysis // Proc. Seventh International Conference on Document Analysis and Recognition (06 August 2003, Edinburgh, UK).– 2003.– ISBN 0-7695-1960-1.– pp. 958–963. https://doi.org/10.1109/ICDAR.2003.1227801
  • Ciresan D., Meier U., Schmidhuber J. Multi-column deep neural networks for image classification, 2012 IEEE Conference on Computer Vision and Pattern Recognition (16–21 June 2012, Providence, RI, USA).– 2012.– pp. 3642–3649. https://doi.org/10.1109/CVPR.2012.6248110
  • Kayumov Z., Tumakov D., Mosin S. Hierarchical convolutional neural network for handwritten digits recognition // Proc. Computer Science.– 2020.– Vol. 171.– pp. 1927–1934. https://doi.org/10.1016/j.procs.2020.04.206
  • Kayumov Z., Tumakov D., Mosin S. Combined convolutional and perceptron neural networks for handwritten digits recognition, 2020 22th International Conference on Digital Signal Processing and its Applications (DSPA) (25–27 March 2020, Moscow, Russia).– 2020.– pp. 74.– 5 pp. https://doi.org/10.1109/DSPA48919.2020.9213301
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp