Нивелирование артефактов кадров видеопотока при FPV-управлении беспилотными системами
Автор: Березкин А.А., Ченский А.А., Киричек Р.В.
Журнал: Инфокоммуникационные технологии @ikt-psuti
Рубрика: Теоретические основы технологий передачи и обработки информации и сигналов
Статья в выпуске: 1 (85) т.22, 2024 года.
Бесплатный доступ
При использовании пакетных сетей для управления беспилотными системами от первого лица возникает проблема большого объема передаваемых данных. Наибольший объем трафика при управлении от первого лица формируют кадры видеопотока. Соответственно, для повышения эффективности использования сети связи между беспилотными системами и станцией внешнего пилота необходимо осуществлять сжатие кадров видеопотока. Высокую степень сжатия обеспечивает использование вариационных автокодировщиков. Одной из проблем использования вариационных автокодировщиков для сжатия изображений является возникновение на изображениях специфичных артефактов. В настоящей статье предлагаются способы нивелирования возникновения артефактов при восстановлении изображений из латентного пространства нейросетевым декодером, а также предлагается эмпирическая шкала оценки артефактов автокодировщиков. Предложенный подход заключается в подготовке пиксельных данных кадра видеопотока к кодированию и восстановлению их после декодирования. Экспериментальным путем показано, что один из предложенных методов позволяет устранять абсолютное большинство артефактов без внесения существенных искажений в восстанавливаемые кадры.
Нейронная сеть, подавление артефактов, нивелирование артефактов, артефакты изображения, передача видеопотока, вариационный автокодировщик, нейросетевой кодек, fpv-управление, управление от первого лица, беспилотные системы, беспилотные воздушные суда
Короткий адрес: https://sciup.org/140307955
IDR: 140307955 | DOI: 10.18469/ikt.2024.22.1.01
Список литературы Нивелирование артефактов кадров видеопотока при FPV-управлении беспилотными системами
- Исследование методов латентного сжатия видеопотока при FPV управлении беспилотными системами / А.А. Березкин [и др.] // Электросвязь. 2024. № 6. С. 26–36.
- Исследование методов квантования латентного пространства вариационного автокодировщика для кадров FPV видеопотока. Часть I / А.А. Березкин [и др.] // Электросвязь. 2024. № 6. С. 10–16.
- Проект стратегии развития отрасли связи Российской Федерации на период до 2035 года [утвержден Правительством Российской Федерации 24 ноября 2023 г.]. URL: https://digital.gov.ru/ru/documents/9120/ (дата обращения: 27.07.2024).
- Рекомендация МСЭ Т Н.264. Усовершенствованное кодирование изображения для общих аудиовизуальных услуг. Женева, 2008. 342 с.
- Recommendation ITU-T H.265 (V9). High Efficiency Video Coding. Geneva, 2023. 718 p.
- ISO/IEC 10918-1:1994. Information Technology – Digital Compression and Coding of Continuous- Tone Still Images: Requirements and Guidelines. URL: https:// www.iso.org/ru/standard/18902.html (дата обращения: 27.07.2024).
- Barman N., Martini M.G. An evaluation of the next-generation image coding standard AVIF // 2020 Twelfth International Conference on Quality of Multimedia Experience (QoMEX). 2020. P. 1–4.
- Ginesu G., Pintus M., Giusto D.D. Objective assessment of the WebP image coding algorithm // Signal Processing: Image Communication. 2012. Vol. 27, no. 8. P. 867–874.
- Исследование методов квантования латентного пространства вариационного автокодировщика для кадров FPV видеопотока. Часть II / А.А. Березкин [и др.] // Электросвязь. 2024. № 7. С. 16–25.
- Jiang J., Zhang K., Timofte R. Towards flexible blind JPEG artifacts removal // IEEE/CVF International Conference on Computer Vision. 2021. P. 4997–5006.
- Saveljev V., Kim S.K., Kim J. Moire effect in displays: A tutorial // Optical Engineering. 2018. Vol. 57, no. 3. URL: https://www.researchgate.net/publication/324074641_Moire_effect_in_displays_A_tutorial (дата обращения: 22.07.2024).
- Zaitsev M., Maclaren J., Herbst M. Motion artifacts in MRI: a complex problem with many partial solutions // Journal of Magnetic Resonance Imaging. 2015. Vol. 42, no. 4. P. 887–901.
- Castellanos N.P., Makarov V.A. Recovering EEG brain signals: artifact suppression with wavelet enhanced independent component analysis // Journal of Neuroscience Methods. 2006. Vol. 158, no. 2. P. 300–312.
- Wagenaar D.A., Potter S.M. Real-time multichannel stimulus artifact suppression by local curve fitting // Journal of Neuroscience Methods. 2002. Vol. 120, no. 2. P. 113–120.
- Deep generative adversarial compression artifact removal / L. Galteri [et al.] // IEEE International Conference on Computer Vision (ICCV). 2017. P. 4826–4835.
- Cavigelli L., Hager P., Benini L. CAS-CNN: A deep convolutional neural network for image compression artifact suppression // 2017 International Joint Conference on Neural Networks (IJCNN). 2017. P. 752–759.
- Deep learning-based compressed image artifacts reduction based on multi-scale image fusion / C.H. Yeh [et al.] // Information Fusion. 2021. Vol. 67, no. 4. P. 195–207.
- Github. Stable diffusion: development repository. URL: https://github.com/pesser/stable-diffusion/tree/main (дата обращения: 28.07.2024).
- Github. Lossy image compression with conditional diffusion models. URL: https://github.com/buggyyang/CDC_compression (дата обращения: 28.07.2024).
