Научные статьи \ Общие вопросы науки и культуры \ Информационные технологии. Вычислительная техника. Обработка данных \ Прикладные информационные (компьютерные) технологии. Методы основанные на применении компьютеров

Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров

Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров

Автор: Никитин Михаил Юрьевич, Конушин Вадим Сергеевич, Конушин Антон Сергеевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 5 т.41, 2017 года.

Бесплатный доступ

Данная работа посвящена задаче распознавания людей по лицу в видеопоследовательности. В работе предложена нейросетевая модель, которая для входного набора изображений лица человека строит компактное признаковое представление фиксированной размерности. Предложенная модель состоит из двух частей: модуль распознавания по изображению лица и модуль оценки качества изображения лица. Признаковые представления кадров из входного набора, полученные в результате работы модуля распознавания, агрегируются с учетом их полезности, которая оценивается модулем оценки качества. Визуальный анализ выявил, что предложенная нейронная сеть учится использовать больше полезной информации с изображений высокого качества и меньше - с размытых или перекрытых изображений. Экспериментальная оценка на базах YouTube Faces и IJB-A показала, что предложенный метод объединения признаков на основе оценок полезности изображений позволяет повысить качество распознавания по сравнению с базовыми методами агрегации.

Еще

Распознавание лиц, анализ видео, нейронные сети, глубокое обучение, алгоритмы компьютерного зрения

Короткий адрес: https://sciup.org/140228667

IDR: 140228667   |   DOI: 10.18287/2412-6179-2017-41-5-732-742

Neural network model for video-based face recognition with frames quality assessment

This paper addresses a problem of video-based face recognition. We propose a new neural network model that uses an input set of facial images of a person to produce a compact, fixed-dimension descriptor. Our model is composed of two modules. The feature embedding module maps each image onto a feature vector, while the face quality assessment module estimates the utility of each facial image. These feature vectors are weighted based on their utility estimations, resulting in the image set feature representation. During visual analysis we found that our model learns to use more information from high-quality face images and less information from blurred or occluded images. The experiments on YouTube Faces and Janus Benchmark A (IJB-A) datasets show that the proposed feature aggregation method based on face quality assessment consistently outperforms naïve aggregation methods.

Еще

Список литературы Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров

  • Калиновский, И.А. Обзор и тестирование детекторов фронтальных лиц/И.А. Калиновский, В.Г. Спицын//Компьютерная оптика. -2016. -Т. 40, № 1. -С. 99-111. - 99-111 DOI: 10.18287/2412-6179-2016-40-1-
  • Wong, Y. Patch-based probabilistic image quality assessment for face selection and improved video-based face recognition/Y. Wong, S. Chen, S. Mau, C. Sanderson, B.C. Lovell//2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. -2011. -P. 74-81. - DOI: 10.1109/CVPRW.2011.5981881
  • Nikitin, M. Face quality assessment for face verification in video/M. Nikitin, V. Konushin, A. Konushin//GraphiCon. -2014. -P. 111-114.
  • Chen, Y.-C. Dictionary-based face recognition from video/Y.-C. Chen, V.M. Patel, P.J. Phillips, R. Chellappa//European Conference on Computer Vision. -2012. -P. 766-779. - DOI: 10.1007/978-3-642-33783-3_55
  • Lu, J. Simultaneous feature and dictionary learning for image set based face recognition/J. Lu, G. Wang, W. Deng, P. Moulin//European Conference on Computer Vision. -2014. -P. 265-280. - DOI: 10.1007/978-3-319-10590-1_18
  • Zhang, M. Simultaneous feature and sample reduction for image-set classification/M. Zhang, R. He, D. Cao, Z. Sun, T. Tan//Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. -2016. -P. 1401-1407.
  • Cevikalp, H. Face recognition based on image sets/H. Cevikalp, B. Triggs//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. -2010. -P. 2567-2573. - DOI: 10.1109/CVPR.2010.5539965
  • Kim, T.K. Discriminative learning and recognition of image set classes using canonical correlations/T.K. Kim, J. Kittler, R. Cipolla//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2007. -Vol. 29, Issue 6. -P. 1005-1018. - DOI: 10.1109/TPAMI.2007.1037
  • Cui, Z. Image sets alignment for Video-Based Face Recognition/Z. Cui, S. Shan, H. Zhang, S. Lao, X. Chen//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. -2012. -P. 2626-2633. - DOI: 10.1109/CVPR.2012.6247982
  • Huang, Z. Face recognition on large-scale video in the wild with hybrid Euclidean-and-Riemannian metric learning/Z. Huang, R. Wang, S. Shan, X. Chen//Pattern Recognition. -2015. -Vol. 48, Issue 10. -P. 3113-3124. - DOI: 10.1016/j.patcog.2015.03.011
  • Huang, Z. Log-Euclidean metric learning on symmetric positive definite manifold with application to image set classification/Z. Huang, R. Wang, S. Shan, X. Li, X. Chen//Proceedings of the 32nd International Conference on Machine Learning. -2015. -Vol. 37. -P. 720-729.
  • Wang, W. Discriminant analysis on Riemannian manifold of Gaussian distributions for face recognition with image sets/W. Wang, R. Wang, Z. Huang, S. Shan, X. Chen//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 2048-2057. - DOI: 10.1109/CVPR.2015.7298816
  • Kukharenko, A.I. Simultaneous classification of several features of a person’s appearance using a deep convolutional neural network/A.I. Kukharenko, A.S. Konushin//Pattern Recognition and Image Analysis. -2015. -Vol. 25, Issue 3. -P. 461-465. - DOI: 10.1134/S1054661815030128
  • Визильтер, Ю.В. Идентификация лиц в реальном времени с использованием свёрточный нейронной сети и хэширующего леса/Ю.В. Визильтер, В.С. Горбацевич, А.В. Воротников, Н.А. Костромов//Компьютерная оптика. -2017. -Т. 41, № 2. -С. 254-265. - DOI: 10.18287/2412-6179-2017-41-2-254-265
  • Taigman, Y. DeepFace: Closing the gap to human-level performance in face verification/Y. Taigman, M. Yang, M. Ranzato, L. Wolf//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. -2014. -P. 1701-1708. - DOI: 10.1109/CVPR.2014.220
  • Schroff, F. Facenet: A unified embedding for face recognition and clustering/F. Schroff, D. Kalenichenko, J. Philbin//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 815-823.
  • Parkhi, O.M. Deep face recognition/O.M. Parkhi, A. Vedaldi, A. Zisserman//Proceedings of the British Machine Vision Conference. -2015. -Vol. 1, Issue 3. -P. 6.
  • Wen, Y. A discriminative feature learning approach for deep face recognition/Y. Wen, K. Zhang, Z. Li, Y. Qiao//European Conference on Computer Vision. -2016. -P. 499-515. - DOI: 10.1007/978-3-319-46478-7_31
  • Sun, Y. Deeply learned face representations are sparse, selective, and robust/Y. Sun, X. Wang, X. Tang//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 2892-2900. - DOI: 10.1109/CVPR.2015.7298907
  • Ding, C. Trunk-branch ensemble convolutional neural networks for video-based face recognition/C. Ding, D. Taio//arXiv preprint arXiv:1607.05427. -2016. - DOI: 10.1109/TPAMI.2017.2700390
  • Li, Y. Recurrent regression for face recognition/Y. Li, W. Zheng, Z. Cui//arXiv preprint arXiv:1607.06999. -2016.
  • Bromley, J. Signature verification using a "Siamese" time delay neural network/J. Bromley, I. Guyon, Y. LeCun, E. Säckinger, R. Shah. -In book: Advances in Neural Information Processing Systems 6 (NIPS 1993)/ed. by J.D. Cowan, G. Tesauro, J. Alspector. -Morgan Kaufmann Pub, 1994. -P. 737-744. -ISBN: 978-1-558603226.
  • Klare, B.F. Pushing the frontiers of unconstrained face detection and recognition: IARPA Janus Benchmark A/B.F. Klare, B. Klein, E. Taborsky, A. Blanton, J. Cheney, K. Allen, P. Grother, A. Mah, M. Burge, A.K. Jain//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 1931-1939. - DOI: 10.1109/CVPR.2015.7298803
  • Wolf, L. Face recognition in unconstrained videos with matched background similarity/L. Wolf, T. Hassner, I. Maoz//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. -2011. -P. 529-534. - DOI: 10.1109/CVPR.2011.5995566
  • Технологии видеоанализа. FaceSDK . -URL: http://tevian.ru/product/facesdk/(дата обращения 22.05.2017).
  • Jia, Y. Caffe: Convolutional architecture for fast feature embedding/Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, T. Darrell//Proceedings of the 22nd ACM international conference on Multimedia. -2014. -P. 675-678. - DOI: 10.1145/2647868.2654889
  • Caffe . -URL: http://caffe.berkeleyvision.org/tutorial/layers.html (request date 12.07.2017).
  • Grother, P. Face recognition vendor test (FRVT): Performance of face identification algorithms. NIST Interagency Report 8009/P. Grother, M. Ngan. -NIST, 2014. -138 p.
Еще
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp