Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений
Автор: Богуш Рихард Петрович, Захарова Ирина Юрьевна
Журнал: Компьютерная оптика @computer-optics
Рубрика: Обработка изображений, распознавание образов
Статья в выпуске: 1 т.44, 2020 года.
Бесплатный доступ
Рассматривается алгоритм сопровождения людей в помещениях, который состоит из следующих основных этапов: обнаружение людей, формирование их признаков, установление соответствия между ними на кадрах, постобработка, индексация сопровождаемых объектов и определение их видимости на кадре. Для детектирования используется свёрточная нейронная сеть YOLO v3. Признаки людей формируются на основе гистограммы канала цветового тона пространства HSV и модифицированной СНС ResNet34. Предлагаемая структура свёрточной нейронной сети состоит из 29 свёрточных и одного полносвязного слоёв и формирует вектор из 128 значений признаков для входного изображения. Выполнено обучение данной модели свёрточной нейронной сети. Определены и представлены основные характеристики разработанного алгоритма, которые подтвердили его эффективность для видеонаблюдения внутри помещений. Эксперименты проведены по методике МОТ на тестовых видеопоследовательностях, снятых в помещениях неподвижной видеокамерой. При решении задач обнаружения и сопровождения предложенный алгоритм работает в режиме реального времени с использованием технологии CUDA и видеокарты NVIDIA GTX 1060.
Сопровождение людей, внутреннее видеонаблюдение, свёрточные нейронные сети
Короткий адрес: https://sciup.org/140247064
IDR: 140247064 | DOI: 10.18287/2412-6179-CO-565
Person tracking algorithm based on convolutional neural network for indoor video surveillance
In this paper, a person tracking algorithm for indoor video surveillance is presented. The algorithm contains the following steps: person detection, person features formation, features similarity calculation for the detected objects, postprocessing, person indexing, and person visibility determination in the current frame. Convolutional Neural Network (CNN) YOLO v3 is used for person detection. Person features are formed based on H channel in HSV color space histograms and a modified CNN ResNet. The proposed architecture includes 29 convolutional and one fully connected layer. As the output, it forms a 128-feature vector for every input image. CNN model was trained to perform feature extraction. Experiments were conducted using MOT methodology on stable camera videos in indoor environment. Main characteristics of the presented algorithm are calculated and discussed, confirming its effectiveness in comparison with the current approaches for person tracking in an indoor environment. Our algorithm performs real time processing for object detection and tracking using CUDA technology and a graphics card NVIDIA GTX 1060.
Список литературы Алгоритм сопровождения людей на видеопоследовательностях с использованием свёрточных нейронных сетей для видеонаблюдения внутри помещений
- Forsyth, D. Computer vision: A modern approach / D.Forsyth, J.Ponce. - 2nd ed. - Pearson Education, 2012. - 794 p.
- Шаталин, Р.А. Обнаружение нехарактерного поведения в задачах видеонаблюдения / Р.А. Шаталин, В.Р. Фидельман, П.Е. Овчинников // Компьютерная оптика. - 2017. - Т. 41, № 1. - С. 37-45. - DOI: 10.18287/2412-6179-2017-41-1-37-45
- MOTChallenge: The multiple object tracking benchmark [Electronical Resource]. - URL: https://motchallenge.net/ (request date 20.01.2019).
- Miguel, M. Home camera-based fall detection system for the elderly / M. De Miguel, A. Brunete, M. Hernando, E. Gambao // Sensors. - 2017. - Vol. 17, Issue 12. -P. 2864-2885. - DOI: 10.3390/s17122864
- Купляков, Д.А. Алгоритм сопровождения людей в видео на основе метода Монте-Карло для Марковский цепей / Д.А. Купляков, Е.В. Шальнов, А.С. Конушин // Программирование. - 2017. - № 4. - С. 13-21. - DOI: 10.1134/S0361768817040053
- Tao, R. Siamese instance search for tracking / R. Tao, E. Gavves, A.W.M. Smeulders // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 1420-1429. -
- DOI: 10.1109/CVPR.2016.158
- Zhao, L. Deeply-learned part-aligned representations for person re-identification / L. Zhao, X. Li, Y. Zhuang, J. Wang // Proceedings of the IEEE International Conference on Computer Vision (ICCV). - 2017. - P. 3239-3248. -
- DOI: 10.1109/ICCV.2017.349
- Chahyati, D. Tracking people by detection using CNN features / D. Chahyati, M.I. Fanany, A.M. Arymurthy // Proceedings of the 4th Information Systems International Conference (ISICO 2017). - 2017. - P. 167-172.
- Iqbal, U. PoseTrack: Joint multi-person pose estimation and tracking / U. Iqbal, A. Milan, J. Gall // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2017. - P. 4654-4663. -
- DOI: 10.1109/CVPR.2017.495
- Wojke, N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // Proceedings of the IEEE International Conference on Image Processing (ICIP). - 2017. - P. 3645-3649. -
- DOI: 10.1109/ICIP.2017.8296962
- Bewley, A. Simple online and realtime tracking / A. Bewley, Z. Ge, L. Ott, F.T. Ramos, B. Upcroft // Proceedings of the IEEE International Conference on Image Processing (ICIP). - 2016. - P. 3464-3468. -
- DOI: 10.1109/ICIP.2016.7533003
- Real-time multi-person tracker using YOLO v3 and deep_sort with tensorflow [Electronical Resource]. - URL: https://github.com/Qidian213/deep_sort_y olov3 (request date 10.11.2018).
- Redmon, J. You only look once: Unified, real-time object detection / J. Redmon, S.K. Divvala, R.B. Girshick, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 779-788. -
- DOI: 10.1109/CVPR.2016.91
- Redmon, J. YOLO9000: Better, faster, stronger / J. Redmon, A. Farhadi // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. - 2017. - P. 6517-6525. -
- DOI: 10.1109/CVPR.2017.690
- YOLOv3: An incremental improvement [Electronical Resource]. - URL: https://arxiv.org/abs/1804.02767 (request date 10.11.2018).
- He, K. Deep residual learning for image recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - 2016. - P. 770-778. -
- DOI: 10.1109/CVPR.2016.90
- Wu, L. PersonNet: Person re-identification with deep convolutional neural networks [Electronical Resource] / L. Wu, S. Chunhua, A. Hengel // Computing Research Repository. - 2016. - URL: arxiv.org/pdf/1601.07255.pdf (request date 16.06.2019).
- Kuhn, H.W. The hungarian method for the assignment problem / H.W. Kuhn // Naval Research Logistics Quarterly. - 1955. - Vol. 2. - P. 83-97.
- Bogush, R. Minimax criterion of similarity for video information processing / R. Bogush, S. Maltsev // Proceedings of the Siberian Conference on Control and Communications. - 2007. - P. 120-127. -
- DOI: 10.1109/SIBCON.2007.371310
- Person Re-ID (PRID) dataset [Electronical Resource]. -URL: https: //www.tugraz.at/institute/icg/research/teambischof/lrs/downloads/prid11/ (request date 10.11.2018).
- iLIDS Video re-IDentification (iLIDS-VID) dataset [Electronical Resource]. - URL: http://www.eecs.qmul.ac.uk/~xiatian/downloads_qmul_iLI DS-VID_ReID_dataset.html (request date 10.11.2018).
- Keni, B. Evaluating multiple object tracking performance: The CLEAR MOT metrics / B. Keni, R. Stiefelhagen // EURASIP Journal on Image and Video Processing. - 2008. - Vol. 1.- P. 1-10.
