Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров

Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров

Автор: Никитин Михаил Юрьевич, Конушин Вадим Сергеевич, Конушин Антон Сергеевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 5 т.41, 2017 года.

Бесплатный доступ

Данная работа посвящена задаче распознавания людей по лицу в видеопоследовательности. В работе предложена нейросетевая модель, которая для входного набора изображений лица человека строит компактное признаковое представление фиксированной размерности. Предложенная модель состоит из двух частей: модуль распознавания по изображению лица и модуль оценки качества изображения лица. Признаковые представления кадров из входного набора, полученные в результате работы модуля распознавания, агрегируются с учетом их полезности, которая оценивается модулем оценки качества. Визуальный анализ выявил, что предложенная нейронная сеть учится использовать больше полезной информации с изображений высокого качества и меньше - с размытых или перекрытых изображений. Экспериментальная оценка на базах YouTube Faces и IJB-A показала, что предложенный метод объединения признаков на основе оценок полезности изображений позволяет повысить качество распознавания по сравнению с базовыми методами агрегации.

Еще

Распознавание лиц, анализ видео, нейронные сети, глубокое обучение, алгоритмы компьютерного зрения

Короткий адрес: https://sciup.org/140228667

IDR: 140228667   |   DOI: 10.18287/2412-6179-2017-41-5-732-742

Список литературы Нейросетевая модель распознавания человека по лицу в видеопоследовательности с оценкой полезности кадров

  • Калиновский, И.А. Обзор и тестирование детекторов фронтальных лиц/И.А. Калиновский, В.Г. Спицын//Компьютерная оптика. -2016. -Т. 40, № 1. -С. 99-111. - 99-111 DOI: 10.18287/2412-6179-2016-40-1-
  • Wong, Y. Patch-based probabilistic image quality assessment for face selection and improved video-based face recognition/Y. Wong, S. Chen, S. Mau, C. Sanderson, B.C. Lovell//2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. -2011. -P. 74-81. - DOI: 10.1109/CVPRW.2011.5981881
  • Nikitin, M. Face quality assessment for face verification in video/M. Nikitin, V. Konushin, A. Konushin//GraphiCon. -2014. -P. 111-114.
  • Chen, Y.-C. Dictionary-based face recognition from video/Y.-C. Chen, V.M. Patel, P.J. Phillips, R. Chellappa//European Conference on Computer Vision. -2012. -P. 766-779. - DOI: 10.1007/978-3-642-33783-3_55
  • Lu, J. Simultaneous feature and dictionary learning for image set based face recognition/J. Lu, G. Wang, W. Deng, P. Moulin//European Conference on Computer Vision. -2014. -P. 265-280. - DOI: 10.1007/978-3-319-10590-1_18
  • Zhang, M. Simultaneous feature and sample reduction for image-set classification/M. Zhang, R. He, D. Cao, Z. Sun, T. Tan//Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. -2016. -P. 1401-1407.
  • Cevikalp, H. Face recognition based on image sets/H. Cevikalp, B. Triggs//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. -2010. -P. 2567-2573. - DOI: 10.1109/CVPR.2010.5539965
  • Kim, T.K. Discriminative learning and recognition of image set classes using canonical correlations/T.K. Kim, J. Kittler, R. Cipolla//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2007. -Vol. 29, Issue 6. -P. 1005-1018. - DOI: 10.1109/TPAMI.2007.1037
  • Cui, Z. Image sets alignment for Video-Based Face Recognition/Z. Cui, S. Shan, H. Zhang, S. Lao, X. Chen//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. -2012. -P. 2626-2633. - DOI: 10.1109/CVPR.2012.6247982
  • Huang, Z. Face recognition on large-scale video in the wild with hybrid Euclidean-and-Riemannian metric learning/Z. Huang, R. Wang, S. Shan, X. Chen//Pattern Recognition. -2015. -Vol. 48, Issue 10. -P. 3113-3124. - DOI: 10.1016/j.patcog.2015.03.011
  • Huang, Z. Log-Euclidean metric learning on symmetric positive definite manifold with application to image set classification/Z. Huang, R. Wang, S. Shan, X. Li, X. Chen//Proceedings of the 32nd International Conference on Machine Learning. -2015. -Vol. 37. -P. 720-729.
  • Wang, W. Discriminant analysis on Riemannian manifold of Gaussian distributions for face recognition with image sets/W. Wang, R. Wang, Z. Huang, S. Shan, X. Chen//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 2048-2057. - DOI: 10.1109/CVPR.2015.7298816
  • Kukharenko, A.I. Simultaneous classification of several features of a person’s appearance using a deep convolutional neural network/A.I. Kukharenko, A.S. Konushin//Pattern Recognition and Image Analysis. -2015. -Vol. 25, Issue 3. -P. 461-465. - DOI: 10.1134/S1054661815030128
  • Визильтер, Ю.В. Идентификация лиц в реальном времени с использованием свёрточный нейронной сети и хэширующего леса/Ю.В. Визильтер, В.С. Горбацевич, А.В. Воротников, Н.А. Костромов//Компьютерная оптика. -2017. -Т. 41, № 2. -С. 254-265. - DOI: 10.18287/2412-6179-2017-41-2-254-265
  • Taigman, Y. DeepFace: Closing the gap to human-level performance in face verification/Y. Taigman, M. Yang, M. Ranzato, L. Wolf//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. -2014. -P. 1701-1708. - DOI: 10.1109/CVPR.2014.220
  • Schroff, F. Facenet: A unified embedding for face recognition and clustering/F. Schroff, D. Kalenichenko, J. Philbin//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 815-823.
  • Parkhi, O.M. Deep face recognition/O.M. Parkhi, A. Vedaldi, A. Zisserman//Proceedings of the British Machine Vision Conference. -2015. -Vol. 1, Issue 3. -P. 6.
  • Wen, Y. A discriminative feature learning approach for deep face recognition/Y. Wen, K. Zhang, Z. Li, Y. Qiao//European Conference on Computer Vision. -2016. -P. 499-515. - DOI: 10.1007/978-3-319-46478-7_31
  • Sun, Y. Deeply learned face representations are sparse, selective, and robust/Y. Sun, X. Wang, X. Tang//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 2892-2900. - DOI: 10.1109/CVPR.2015.7298907
  • Ding, C. Trunk-branch ensemble convolutional neural networks for video-based face recognition/C. Ding, D. Taio//arXiv preprint arXiv:1607.05427. -2016. - DOI: 10.1109/TPAMI.2017.2700390
  • Li, Y. Recurrent regression for face recognition/Y. Li, W. Zheng, Z. Cui//arXiv preprint arXiv:1607.06999. -2016.
  • Bromley, J. Signature verification using a "Siamese" time delay neural network/J. Bromley, I. Guyon, Y. LeCun, E. Säckinger, R. Shah. -In book: Advances in Neural Information Processing Systems 6 (NIPS 1993)/ed. by J.D. Cowan, G. Tesauro, J. Alspector. -Morgan Kaufmann Pub, 1994. -P. 737-744. -ISBN: 978-1-558603226.
  • Klare, B.F. Pushing the frontiers of unconstrained face detection and recognition: IARPA Janus Benchmark A/B.F. Klare, B. Klein, E. Taborsky, A. Blanton, J. Cheney, K. Allen, P. Grother, A. Mah, M. Burge, A.K. Jain//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. -2015. -P. 1931-1939. - DOI: 10.1109/CVPR.2015.7298803
  • Wolf, L. Face recognition in unconstrained videos with matched background similarity/L. Wolf, T. Hassner, I. Maoz//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. -2011. -P. 529-534. - DOI: 10.1109/CVPR.2011.5995566
  • Технологии видеоанализа. FaceSDK . -URL: http://tevian.ru/product/facesdk/(дата обращения 22.05.2017).
  • Jia, Y. Caffe: Convolutional architecture for fast feature embedding/Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, T. Darrell//Proceedings of the 22nd ACM international conference on Multimedia. -2014. -P. 675-678. - DOI: 10.1145/2647868.2654889
  • Caffe . -URL: http://caffe.berkeleyvision.org/tutorial/layers.html (request date 12.07.2017).
  • Grother, P. Face recognition vendor test (FRVT): Performance of face identification algorithms. NIST Interagency Report 8009/P. Grother, M. Ngan. -NIST, 2014. -138 p.
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp