Тригонометрическая система функций в проекционных оценках плотности вероятности нейросетевых признаков изображений

Тригонометрическая система функций в проекционных оценках плотности вероятности нейросетевых признаков изображений

Автор: Савченко Андрей Владимирович

Журнал: Компьютерная оптика @computer-optics

Рубрика: Численные методы и анализ данных

Статья в выпуске: 1 т.42, 2018 года.

Бесплатный доступ

Исследована задача распознавания изображений, которые описываются векторами признаков высокой размерности, выделенными с помощью глубокой свёрточной нейронной сети и анализа главных компонент. Рассмотрена проблема высокой вычислительной сложности статистического подхода с непараметрическими оценками плотности вероятности векторов признаков, реализованного в вероятностной нейронной сети. Предложен новый метод статистической классификации на основе проекционных оценок плотности распределения с тригонометрической системой ортогональных функций. Показано, что такой подход позволяет преодолеть недостатки вероятностной нейронной сети, связанные с необходимостью обработки всех признаков всех эталонных изображений. В рамках экспериментального исследования для наборов изображений Caltech-101 и CASIA WebFaces показано, что предлагаемый подход позволяет на 1-5 % снизить вероятность ошибки распознавания и в 1,5 - 6 раз повысить вычислительную эффективность по сравнению с исходной вероятностной нейронной сетью для малых выборок эталонных изображений.

Еще

Статистическое распознавание образов, обработка изображений, глубокие свёрточные нейронные сети, вероятностная нейронная сеть, проекционные оценки, распознавание лиц

Короткий адрес: https://sciup.org/140228775

IDR: 140228775   |   DOI: 10.18287/2412-6179-2018-42-1-149-158

Список литературы Тригонометрическая система функций в проекционных оценках плотности вероятности нейросетевых признаков изображений

  • Prince, S.J.D. Computer vision: Models, learning, and inference/S.J.D. Prince. -Cambridge: Cambridge University Press, 2012. -598 p. -ISBN: 978-1-107-01179-1.
  • Goodfellow, I. Deep learning/I. Goodfellow, Y. Bengio, A. Courville. -Cambridge, London: The MIT Press, 2016. -800 p. -ISBN: 9780262035613.
  • Szegedy, C. Going deeper with convolutions/C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich//Proceedings of the 2015 IEEE International Conference on Computer Vision and Pattern Recognition (CVPR). -2015. -P. 1-9. - DOI: 10.1109/CVPR.2015.7298594
  • Simonyan, K. Very deep convolutional networks for large-scale image recognition/K. Simonyan, A. Zisserman//arXiv preprint arXiv:1409.1556, 2014.
  • Savchenko, A.V. Probabilistic neural network with homogeneity testing in recognition of discrete patterns set/A.V. Savchenko//Neural Networks. -2013. -Vol. 46. -P. 227-241. - DOI: 10.1016/j.neunet.2013.06.003
  • Krizhevsky, A. ImageNet classification with deep convolutional neural networks/A. Krizhevsky, I. Sutskever, G.E. Hinton//Proceedings of the 25th International Conference on Neural Information Processing Systems (NIPS'12). -2012. -Vol. 1. -P. 1097-1105.
  • Rassadin, A.G. Group-level emotion recognition using transfer learning from face identification/A.G. Rassadin, A.S. Gruzdev, A.V. Savchenko//Proceedings of the 19th ACM International Conference on Multimodal Interaction (ICMI). -2017. -P. 544-548. - DOI: 10.1145/3136755.3143007
  • Sharif Razavian, A. CNN features off-the-shelf: an astounding baseline for recognition/A. Sharif Razavian, H. Azizpour, J. Sullivan, S. Carlsson//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW '14). -2014. -P. 806-813. - DOI: 10.1109/CVPRW.2014.131
  • Savchenko, A.V. Maximum-likelihood approximate nearest neighbor method in real-time image recognition/A.V. Savchenko//Pattern Recognition. -2017. -Vol. 61. -P. 459-469. - DOI: 10.1016/j.patcog.2016.08.015
  • Savchenko, A.V. Deep neural networks and maximum likelihood search for approximate nearest neighbor in video-based image recognition/A.V. Savchenko//Optical Memory and Neural Networks (Information Optics). -2017. -Vol. 26, Issue 2. -P. 129-136. - DOI: 10.3103/S1060992X17020102
  • Raudys, S.J. Small sample size effects in statistical pattern recognition: Recommendations for practitioners/S.J. Raudys, A.K. Jain//IEEE Transactions on Pattern Analysis and Machine Intelligence. -1991. -Vol. 13, Issue 3. -P. 252-264. - DOI: 10.1109/34.75512
  • Савченко, А.В. Метод максимально правдоподобных рассогласований в задаче распознавания изображений на основе глубоких нейронных сетей/А.В. Савченко//Компьютерная оптика. -2017. -Т. 41, № 3. -С. 422-430. - DOI: 10.18287/2412-6179-2017-41-3-422-430
  • Pan, S.J. A survey on transfer learning/S.J. Pan, Q. Yang//IEEE Transactions on Knowledge and Data Engineering. -2010. -Vol. 22, Issue 10. -P. 1345-1359. - DOI: 10.1109/TKDE.2009.191
  • Russakovsky, O. ImageNet large scale visual recognition challenge/O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A.C. Berg, F.-F. Li//International Journal of Computer Vision. -2015. -Vol. 115, Issue 3. -P. 211-252. - DOI: 10.1007/s11263-015-0816-y
  • Theodoridis, S. Pattern recognition/S. Theodoridis, C. Koutroumbas. -4th ed. -Burlington, San Diego, London: Elsevier Inc., 2009. -840 p. -ISBN: 978-1-59749-272-0.
  • Webb, A.R. Statistical pattern recognition/A.R. Webb. -2nd ed. -Chichester, England: John Wiley & Sons, Ltd., 2002. -ISBN: 978-0-470-84513-4.
  • Савченко, А.В. Распознавание изображений на основе вероятностной нейронной сети с проверкой однородности/А.В. Савченко//Компьютерная оптика. -2013. -Т. 37, № 2. -С. 254-262. -ISSN 0134-2452.
  • Specht, D.F. Probabilistic Neural Networks/D.F. Specht//Neural Networks. -1990. -Vol. 3, Issue 1. -P. 109-118. - DOI: 10.1016/0893-6080(90)90049-Q
  • Kusy, M. Probabilistic neural network structure reduction for medical data classification/M. Kusy, J. Kluska//Proceedings of International Conference on Artificial Intelligence and Soft Computing (ICAISC). -2013. -P. 118-129. - DOI: 10.1007/978-3-642-38658-9_11
  • Savchenko, A.V. Pattern classification with the probabilistic neural networks based on orthogonal series kernel/A.V. Savchenko//Proceedings of International Symposium on Neural Networks (ISNN 2016). -2016. -P. 505-512. - DOI: 10.1007/978-3-319-40663-3_58
  • Čencov, N.N. Statistical decision rules and optimal inference/N.N. Čencov. -Providence, RI: American Mathematical Society, 2000. -ISBN: 978-0-8218-1347-8.
  • Деврой, Л. Непараметрическое оценивание плотности. L1-подход/Л. Деврой, Л. Дьёрфи. -М.: Мир, 1988. -408 с. -ISBN: 5-03-000475-0.
  • Efromovich, S. Nonparametric curve estimation: Methods, theory, and applications/S. Efromovich. -New York: Springer, 1999. -ISBN: 978-0-387-98740-8.
  • Greblicki, W. Classification using the Fourier series estimate of multivariate density functions/W. Greblicki, M. Pawlak//IEEE Transactions on Systems, Man, and Cybernetics. -1981. -Vol. 11, Issue 10. -P. 726-730. - DOI: 10.1109/TSMC.1981.4308594
  • Rutkowski, L. Sequential pattern recognition procedures derived from multiple Fourier series/L. Rutkowski//Pattern Recognition Letters. -1988. -Vol. 8, Issue 4. -P. 213-216. - DOI: 10.1016/0167-8655(88)90027-X
  • Fei-Fei, L. One-shot learning of object categories/L. Fei-Fei, R. Fergus, P. Perona//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2006. -Vol. 28, Issue 4. -P. 594-611. - DOI: 10.1109/TPAMI.2006.79
  • Yi, D. Learning face representation from scratch/D. Yi, Z. Lei, S. Liao, S.Z. Li//arXiv preprint arXiv:1411.7923. -2014.
  • Wasikowski, M. Combating the small sample class imbalance problem using feature selection/M. Wasikowski, X. Chen//IEEE Transactions on Knowledge and Data Engineering. -2010. -Vol. 22, Issue 10. -P. 1388-1400. - DOI: 10.1109/TKDE.2009.187
  • Жердев, Д.А. Распознавание объектов по диаграммам рассеяния электромагнитного излучения на основе метода опорных подпространств/Д.А. Жердев, Н.Л. Казанский, В.А. Фурсов//Компьютерная оптика. -2014. -Т. 38, № 3. -С. 503-510.
  • Савченко, В.В. Принцип минимума информационного рассогласования в задаче спектрального анализа случайных временных рядов в условиях малых выборок наблюдений/В.В. Савченко//Известия высших учебных заведений. Радиофизика. -2015. -Т. 58, № 5. -С. 415-422.
  • Орлов, А.И. Развитие математических методов исследования (2006-2015 гг.)/А.И. Орлов//Заводская лаборатория. Диагностика материалов. -2017. -Т. 83, № 1-I. -С. 78-86.
  • Shatskikh, S.Ya. Normality assumption in statistical data analysis/S.Ya. Shatskikh, L.E. Melkumova//CEUR Workshop Proceedings. -2016. -Vol. 1638. -P. 763-768. - DOI: 10.18287/1613-0073-2016-1638-763-768
  • Лапко, А.В. Непараметрические модели распознавания образов в условиях малых выборок/А.В. Лапко, С.В. Ченцов, В.А. Лапко//Автометрия. -1999. -№ 6. -С. 105-113.
  • Franti, P. Fast and memory efficient implementation of the exact PNN/P. Franti, T. Kaukoranta, D.-F. Shen, K.-S. Chang//IEEE Transactions on Image Processing. -2000. -Vol. 9, Issue 5. -P. 773-777. - DOI: 10.1109/83.841516
  • Савченко, А.В. Об одном способе повышения вычислительной эффективности вероятностной нейронной сети в задаче распознавания образов на основе проекционных оценок/А.В. Савченко//Информационные системы и технологии. -2015. -№ 4(90). -С. 28-38.
  • Rutkowski, L. Adaptive probabilistic neural networks for pattern classification in time-varying environment/L. Rutkowski//IEEE Transactions on Neural Networks. -2004. -Vol. 15, Issue 4. -P. 811-827. - DOI: 10.1109/TNN.2004.828757
  • Duda, P. On the Cesaro orthogonal series-type kernel probabilistic neural networks handling non-stationary noise/P. Duda, J.M. Zurada//Proceedings of the 9th International Conference on Parallel Processing and Applied Mathematics (LNCS). -2012. -Vol. 7203, Pt. I. -P. 435-442. - DOI: 10.1007/978-3-642-31464-3_44
  • Schwartz, S.C. Estimation of probability density by an orthogonal series/S.C. Schwartz//The Annals of Mathematical Statistics. -1967. -Vol. 38, Issue 4. -P. 1261-1265.
  • Efromovich, S. Orthogonal series density estimation/S. Efromovich//Wiley Interdisciplinary Reviews: Computational Statistics. -2010. -Vol. 2, Issue 4. -P. 467-476. - DOI: 10.1002/wics.97
  • Фихтенгольц, Г.М. Курс дифференциального и интегрального исчисления/Г.М. Фихтенгольц. -Т. 3. -М.: Физматлит, 2001. -662 с.
  • Зорич, В.А. Математический анализ/В.А. Зорич. -Ч. 2. -М.: Наука, 1984. -640 с.
  • Hall, P. On trigonometric series estimates of densities/P. Hall//Annals of Statistics. -1981. -Vol. 9, Issue 3. -P. 683-685.
  • Новосёлов, А.А. Параметризация моделей управляемых систем/А.А. Новосёлов//Вестник Сибирского государственного аэрокосмического университета. -2010. -№ 5. -С. 52-56.
  • Hart, J.D. On the choice of a truncation point in Fourier series density estimation/J.D. Hart//Journal of Statistical Computation and Simulation. -1985. -Vol. 21, Issue 2. -P. 95-116. - DOI: 10.1080/00949658508810808
  • Система распознавания изображений . -URL: https://github.com/HSE-asavchenko/HSE_FaceRec/tree/master/src/recognition_testing (дата обращения 01.12.2017).
  • Jia, Y. Caffe: Convolutional architecture for fast feature embedding/Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, T. Darrell//Proceedings of the 22nd ACM International Conference on Multimedia. -2014. -P. 675-678. - DOI: 10.1145/2647868.2654889
  • Wu, X. A light CNN for deep face representation with noisy labels/X. Wu, R. He, Z. Sun, T. Tan//arXiv preprint arXiv:1511.02683. -2017.
  • Savchenko, A.V. Fast multi-class recognition of piecewise regular objects based on sequential three-way decisions and granular computing/A.V. Savchenko//Knowledge-Based Systems. -2016. -Vol. 91. -P. 250-260. - DOI: 10.1016/j.knosys.2015.09.021
  • Savchenko, A.V. Sequential three-way decisions in efficient classification of piecewise stationary speech signals/A.V. Savchenko//Proceedings of International Joint Conference on Rough Sets (IJCRS 2017). -2017. -Part II. -P. 264-277. - DOI: 10.1007/978-3-319-60840-2_19
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp