Нейросетевая классификация видеороликов по малому числу кадров
Автор: Смирнов А.В., Парфенов Д.Д., Тищенко И.П.
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Математическое моделирование
Статья в выпуске: 4 (63) т.15, 2024 года.
Бесплатный доступ
В статье предложен метод нейросетевой классификации коротких видеороликов. Задача классификации рассматривается с точки зрения уменьшения числа требуемых операций для категоризации видеороликов. Предлагаемое решение заключается в использовании небольшого числа кадров (не более 10) для выполнения классификации при помощи самой лёгкой нейросетевой архитектуры семейства моделей ResNet. В ходе исследования создан собственный набор данных для обучения, состоящий из трёх классов: «animals», «cars» и «people». В результате получена точность классификации, равная 79%, а также сформирована база данных классифицируемых видеороликов и разработано приложение с элементами GUI для взаимодействия с классификатором и просмотра результатов.
Классификация видео, набор данных, нейронные сети, графический интерфейс пользователя
Короткий адрес: https://sciup.org/143183791
IDR: 143183791 | DOI: 10.25209/2079-3316-2024-15-4-79-96
Список литературы Нейросетевая классификация видеороликов по малому числу кадров
- Duvvuri K., Kanisettypalli H., Jaswanth K., Murali K. Video classification using CNN and ensemble learning // 2023 9th International Conference on Advanced Computing and Communication Systems.– V. 1, ICACCS 2023 (17-18 March 2023, Coimbatore, India).– IEEE.– 2023.– ISBN 9798350397383.– Pp. 66–70. https://doi.org/10.1109/ICACCS57279.2023.10112975
- Tang H., Ding L., Wu S., Ren B., Sebe N., Rota P. Deep unsupervised key frame extraction for efficient video classification // ACM Transactions on Multimedia Computing, Communications and Applications.– 2023.– Vol. 19.– No. 3.– id. 119.– 17 pp. https://doi.org/10.1145/3571735
- Savran K. R., Gan J. Q., Escobar J. J. A novel keyframe extraction method for video classification using deep neural networks // Neural Computing and Applications.– 2023.– Vol. 35.– No. 34.– Pp. 24513–24524. https://doi.org/10.1007/s00521-021-06322-x
- Das M., Raj R., Saha P., Mathew B., Gupta M., Mukherjee A. HateMM: a multi-modal dataset for hate video classification // Proceedings of the International AAAI Conference on Web and Social Media.– 2023.– Vol. 17, Proceedings of the Seventeenth International AAAI Conference on Web and Social Media (ICWSM 2023).– Pp. 1014–1023. https://doi.org/10.1609/icwsm.v17i1.22209
- Lei J., Sun W., Fang Y., Ye N., Yang S., Wu J. A model for detecting abnormal elevator passenger behavior based on video classification // Electronics.– 2024.– Vol. 13.– No. 13.– id. 2472.– 15 pp. https://doi.org/10.3390/electronics13132472
- Amin J., Anjum M. A., Ibrar K., Sharif M., Kadry S., Crespo R. G. Detection of anomaly in surveillance videos using quantum convolutional neural networks // Image and Vision Computing.– 2023.– Vol. 135.– id. 104710. https://doi.org/10.1016/j.imavis.2023.104710
- Cong I., Choi S., Lukin M. D. Quantum convolutional neural networks // Nature Physics.– 2019.– Vol. 15.– Pp. 1273–1278. https://doi.org/10.1038/s41567-019-0648-8
- Jianmin H., Jie L. A video action recognition method via dual-stream feature fusion neural network with attention // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems.– 2024.– Vol. 32.– No. 04.– Pp. 673–694. https://doi.org/10.1142/S0218488524400130
- Trędowicz M., Struski Ł., Mazur M., Janusz S., Lewicki A., Tabor J. PrAViC: probabilistic adaptation framework for real-time video classification.– 2024.– 12 pp. https://doi.org/10.48550/arXiv.2406.11443 arXivarXiv 2406.11443 [cs.CV]
- Gao T., Zhang M., Zhu Y., Zhang Y., Pang X., Ying J., Liu W. Sports video classification method based on improved deep learning // Applied Sciences.– 2024.– Vol. 14.– No. 2.– id. 948.– 13 pp. https://doi.org/10.3390/app14020948
- Kanwal Y., Tabassam N. An attention mechanism-based CNN-BiLSTM classification model for detection of inappropriate content in cartoon videos // Multimedia Tools and Applications.– 2024.– Vol. 83.– No. 11.– Pp. 31317–31340. https://doi.org/10.1007/s11042-023-16727-6
- He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2016 (27-30 June 2016, Las Vegas, NV, USA).– IEEE.– 2016.– ISBN 978-1-4673-8850-4.– Pp. 770–778.
- Ren S., He K., Girshick R., Sun J. Faster R-CNN: towards real-time object detection with region proposal networks // Proceedings of the 28th International Conference on Neural Information Processing Systems.– V. 1, NIPS’15 (December 7–12, 2015, Montreal, Canada), Cambridge: MIT Press.– 2015.– ISBN 9781510825024.– Pp. 91–99. https://doi.org/10.5555/2969239.2969250
- Tan M., Le Q. V. EfficientNet: rethinking model scaling for convolutional neural networks // Proceedings of the 36th International Conference on Machine Learning, ICML 2019 (9-15 June 2019, Long Beach, California, USA), Proceedings of Machine Learning Research.– vol. 97.– ICML.– 2019.– ISBN 9781510886988.– Pp. 6105–6114.
