Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений

Автор: Богуш Рихард Петрович, Захарова Ирина Юрьевна

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 1 т.44, 2020 года.

Бесплатный доступ

Рассматривается алгоритм сопровождения людей в помещениях, который состоит из следующих основных этапов: обнаружение людей, формирование их признаков, установление соответствия между ними на кадрах, постобработка, индексация сопровождаемых объектов и определение их видимости на кадре. Для детектирования используется свёрточная нейронная сеть YOLO v3. Признаки людей формируются на основе гистограммы канала цветового тона пространства HSV и модифицированной СНС ResNet34. Предлагаемая структура свёрточной нейронной сети состоит из 29 свёрточных и одного полносвязного слоёв и формирует вектор из 128 значений признаков для входного изображения. Выполнено обучение данной модели свёрточной нейронной сети. Определены и представлены основные характеристики разработанного алгоритма, которые подтвердили его эффективность для видеонаблюдения внутри помещений. Эксперименты проведены по методике МОТ на тестовых видеопоследовательностях, снятых в помещениях неподвижной видеокамерой. При решении задач обнаружения и сопровождения предложенный алгоритм работает в режиме реального времени с использованием технологии CUDA и видеокарты NVIDIA GTX 1060.

Еще

Сопровождение людей, внутреннее видеонаблюдение, свёрточные нейронные сети

Короткий адрес: https://sciup.org/140247064

IDR: 140247064 | DOI: 10.18287/2412-6179-CO-565

Список литературы Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений

Forsyth, D. Computer vision: A modern approach / D.Forsyth, J.Ponce. - 2nd ed. - Pearson Education, 2012. - 794 p.
Шаталин, Р.А. Обнаружение нехарактерного поведения в задачах видеонаблюдения / Р.А. Шаталин, В.Р. Фидельман, П.Е. Овчинников // Компьютерная оптика. - 2017. - Т. 41, № 1. - С. 37-45. - DOI: 10.18287/2412-6179-2017-41-1-37-45
MOTChallenge: The multiple object tracking benchmark [Electronical Resource]. - URL: https://motchallenge.net/ (request date 20.01.2019).
Miguel, M. Home camera-based fall detection system for the elderly / M. De Miguel, A. Brunete, M. Hernando, E. Gambao // Sensors. - 2017. - Vol. 17, Issue 12. -P. 2864-2885. - DOI: 10.3390/s17122864
Купляков, Д.А. Алгоритм сопровождения людей в видео на основе метода Монте-Карло для Марковский цепей / Д.А. Купляков, Е.В. Шальнов, А.С. Конушин // Программирование. - 2017. - № 4. - С. 13-21. - DOI: 10.1134/S0361768817040053
Tao, R. Siamese instance search for tracking / R. Tao, E. Gavves, A.W.M. Smeulders // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 1420-1429. -
DOI: 10.1109/CVPR.2016.158
Zhao, L. Deeply-learned part-aligned representations for person re-identification / L. Zhao, X. Li, Y. Zhuang, J. Wang // Proceedings of the IEEE International Conference on Computer Vision (ICCV). - 2017. - P. 3239-3248. -
DOI: 10.1109/ICCV.2017.349
Chahyati, D. Tracking people by detection using CNN features / D. Chahyati, M.I. Fanany, A.M. Arymurthy // Proceedings of the 4th Information Systems International Conference (ISICO 2017). - 2017. - P. 167-172.
Iqbal, U. PoseTrack: Joint multi-person pose estimation and tracking / U. Iqbal, A. Milan, J. Gall // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2017. - P. 4654-4663. -
DOI: 10.1109/CVPR.2017.495
Wojke, N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // Proceedings of the IEEE International Conference on Image Processing (ICIP). - 2017. - P. 3645-3649. -
DOI: 10.1109/ICIP.2017.8296962
Bewley, A. Simple online and realtime tracking / A. Bewley, Z. Ge, L. Ott, F.T. Ramos, B. Upcroft // Proceedings of the IEEE International Conference on Image Processing (ICIP). - 2016. - P. 3464-3468. -
DOI: 10.1109/ICIP.2016.7533003
Real-time multi-person tracker using YOLO v3 and deep_sort with tensorflow [Electronical Resource]. - URL: https://github.com/Qidian213/deep_sort_y olov3 (request date 10.11.2018).
Redmon, J. You only look once: Unified, real-time object detection / J. Redmon, S.K. Divvala, R.B. Girshick, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 779-788. -
DOI: 10.1109/CVPR.2016.91
Redmon, J. YOLO9000: Better, faster, stronger / J. Redmon, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2017. - P. 6517-6525. -
DOI: 10.1109/CVPR.2017.690
YOLOv3: An incremental improvement [Electronical Resource]. - URL: https://arxiv.org/abs/1804.02767 (request date 10.11.2018).
He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 770-778. -
DOI: 10.1109/CVPR.2016.90
Wu, L. PersonNet: Person re-identification with deep convolutional neural networks [Electronical Resource] / L. Wu, S. Chunhua, A. Hengel // Computing Research Repository. - 2016. - URL: arxiv.org/pdf/1601.07255.pdf (request date 16.06.2019).
Kuhn, H.W. The hungarian method for the assignment problem / H.W. Kuhn // Naval Research Logistics Quarterly. - 1955. - Vol. 2. - P. 83-97.
Bogush, R. Minimax criterion of similarity for video information processing / R. Bogush, S. Maltsev // Proceedings of the Siberian Conference on Control and Communications. - 2007. - P. 120-127. -
DOI: 10.1109/SIBCON.2007.371310
Person Re-ID (PRID) dataset [Electronical Resource]. -URL: https: //www.tugraz.at/institute/icg/research/teambischof/lrs/downloads/prid11/ (request date 10.11.2018).
iLIDS Video re-IDentification (iLIDS-VID) dataset [Electronical Resource]. - URL: http://www.eecs.qmul.ac.uk/~xiatian/downloads_qmul_iLI DS-VID_ReID_dataset.html (request date 10.11.2018).
Keni, B. Evaluating multiple object tracking performance: The CLEAR MOT metrics / B. Keni, R. Stiefelhagen // EURASIP Journal on Image and Video Processing. - 2008. - Vol. 1.- P. 1-10.

Еще

Статья научная