РАЗРАБОТКА ПРОТОТИПА МНОГОФУНКЦИОНАЛЬНОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ КРУГОВОГО ОБЗОРА ДЛЯ ОБЕСПЕЧЕНИЯ ВИЗУАЛЬНОГО ОРИЕНТИРОВАНИЯ БЕСПИЛОТНЫХ ТРАНСПОРТНЫХ СРЕДСТВ
Автор: Д. А. Гаврилов, Е. А. Татаринова, А. А. Фортунатов, В. Э. Буздин, Д. В. Учаев, Дм. В. Учаев, И. М. Михайлов, М. В. Терентьев, Д. Н. Щелкунов, Я. Мурхиж, О. А. Поткин
Журнал: Научное приборостроение @nauchnoe-priborostroenie
Рубрика: Разработка приборов и систем
Статья в выпуске: 3, 2023 года.
Бесплатный доступ
В настоящей работе представлен прототип многофункциональной оптико-электронной системы кругового обзора для обеспечения визуального ориентирования беспилотных транспортных средств. Разработанный прототип предназначен для размещения на багажнике легкового автомобиля и позволяет осуществлять управление беспилотным транспортным средством с помощью оперативного анализа окружающей обстановки. Сенсорные устройства собирают информацию об окружающем мире, передают ее в систему управления, где производится анализ поступающих данных и планирование действий на основе этой информации, а также данных карт и локализации. Алгоритмическое обеспечение для построения карты и локализации на ней по камерам в реальном времени позволяет беспилотному устройству ориентироваться в пространстве только по визуальной информации и решать задачу автономного движения наряду с ориентированием по заданной карте местности.
Оптико-электронная система, круговой обзор, беспилотное транспортное средство, ситуационная осведомленность, визуальное ориентирование
Короткий адрес: https://sciup.org/142238278
IDR: 142238278 | УДК: 004.05, 004.932.2
DEVELOPMENT OF A PROTOTYPE OF A MULTIFUNCTIONAL OPTICAL-ELECTRONIC ALL-ROUND VIEWING SYSTEM TO PROVIDE VISUAL ORIENTATION OF UNMANNED VEHICLES
This paper presents a prototype of a multifunctional optical-electronic system for all-round viewing to provide visual orientation for unmanned vehicles. The developed prototype is designed to be placed on the car roof rack and allows you to control an unmanned vehicle using an online analysis of the environment. Sensor devices collect information about the environment and transmit it to the control system, in which input data is analyzed and actions are planned based on this information, as well as map data and localization. Algorithmic software for building a map and localizing on it using cameras operating in real time allows an unmanned device to navigate in space only using visual information and solve the task of autonomous movement along with orientation on a given terrain map.
Список литературы РАЗРАБОТКА ПРОТОТИПА МНОГОФУНКЦИОНАЛЬНОЙ ОПТИКО-ЭЛЕКТРОННОЙ СИСТЕМЫ КРУГОВОГО ОБЗОРА ДЛЯ ОБЕСПЕЧЕНИЯ ВИЗУАЛЬНОГО ОРИЕНТИРОВАНИЯ БЕСПИЛОТНЫХ ТРАНСПОРТНЫХ СРЕДСТВ
- 1. Исследование состояния и перспектив рынка автономных автомобилей, платформ для электротранспорта и топливных элементов, оценка влияния на развитие российского и международного рынка "Автонет". Аналитический отчет 2019. М.: Некоммерческая организация Ассоциация "ГЛОНАСС/ГНСС-Форум", 2019. 245 с. URL: www.aggf.ru/projects/%D0%A0%D1%8B%D0%BD%D0%BE%D0%BA%20%D0%B0%D0%B2%D1%82%D0%BE%D0%BD%D0%BE%D0%BC%D0%BD%D1%8B%D1%85%20%D0%B8%20%D1%8D%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D1%85%20%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D0%B5%D0%B8%CC%86.pdf
- 2. Кондратьев В.В., Пивоваров И.О., Горбачев Р.А., Матюхин В.В., Корнев Д.А., Гаврилов Д.А., Татаринова Е.А., Буздин В.Э., Михайлов И.М., Поткин О.А. Перспективы применения искусственного интеллекта в прикладных бизнес-задачах // ДАН. Математика, информатика, процессы управления. 2022. Т. 508, № 1. С. 41–49. URL: https://www.elibrary.ru/item.asp?id=49991309
- 3. Ващенко А.П., Гаврилов Д.А., Лапушкин А.Г. Разработка прототипа аппаратно-программного устройства панорамного обзора для систем безопасности и ситуационной осведомленности беспилотного транспортного средства // Вопросы кибербезопасности. 2021. № 5(45). С. 87–95. DOI: 10.21681/2311-3456-2021-5-87-95
- 4. Ловцов Д.А., Гаврилов Д.А. Моделирование оптикоэлектронных систем дистанционно пилотируемых аппаратов: Монография. М.: "Технолоджи-3000", 2019. 164 с.
- 5. Ловцов Д.А., Гаврилов Д.А. Эффективная автоматизированная оптико-электронная система аэрокосмического мониторинга // Правовая информатика. 2019. № 2. С. 29–35. URL: https://cyberleninka.ru/article/n/effektivnayaavtomatizirovannaya-optiko-elektronnaya-sistemaaerokosmicheskogo-monitoringa
- 6. Ловцов Д.А., Гаврилов Д.А., Татаринова Е.А. Эффективная автоматизированная переработка визуальной
- информации в оптико-электронной системе наземнокосмического мониторинга // Профессорский журнал. Сер. Технические науки. 2019. № 3. С. 26–40. DOI: 10.18572/2686-8598-2019-3-3-26-40
- 7. Потапов А. Системы компьютерного зрения: современные задачи и методы // Control Engineering Россия. 2014. № 1. С. 22–28. URL: https://rucont.ru/efd/437978
- 8. Нестеров А.В. Анализ методов цифровой обработки информации в системах компьютерного зрения // Вестник РГРТУ. 2008. № 4. С. 3–5. URL: http://vestnik.rsreu.ru/ru/archive/2008/4-vypusk-26
- 9. Гаврилов Д.А., Щелкунов Н.Н., Фортунатов А.А., Молчанов В.С. Многофункциональное оптикоэлектронное устройство кругового обзора для управления движением беспилотного транспортного средства. Патент на полезную модель RU 210565 U1, 21.04.2022. Заявка № 2021139054 от 27.12.2021. URL: https://yandex.ru/patents/doc/RU210565U1_20220421
- 10. Labbé M., Michaud F. RTAB-Map as an open-source lidar and visual simultaneous localization and mapping library for large-scale and long-term online operation // J.Field Robot. 2019. Vol. 36, iss. 2. P. 416–446. DOI: 10.1002/rob.21831
- 11. Leutenegger S. et al. Keyframe-based visual–inertial odometry using nonlinear optimization // Int. J. Robot. Res. 2015. Vol. 34, iss. 3. P. 314–334. DOI: 10.1177/0278364914554813
- 12. Kerl C., Sturm J., Cremers D. Dense visual SLAM for RGB-D cameras // IROS 2013 – IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo: IEEE, 2013. P. 2100–2106. DOI: 10.1109/IROS.2013.6696650
- 13. Engel J., Stückler J., Cremers D. Large-scale direct SLAM with stereo cameras // IROS 2015 – IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE Press., 2015. P. 1935–1942. DOI: 10.1109/IROS.2015.7353631
- 14. Mur-Artal R., Tardós J.D. Visual-Inertial Monocular SLAM with Map Reuse // IEEE Robot. Autom. Lett. 2017. Vol. 2, iss. 2. P. 796–803. DOI: 10.1109/LRA.2017.2653359
- 15. Schneider T. et al. Maplab: An Open Framework for Research in Visual-Inertial Mapping and Localization // IEEE Robot. Autom. Lett. 2018. Vol. 3, iss. 3. P. 1418–1425. DOI: 10.1109/LRA.2018.2800113
- 16. Schlegel D., Colosi M., Grisetti G. ProSLAM: Graph SLAM from a Programmer’s Perspective // ICRA 2018 – IEEE International Conference on Robotics and Automation. 2018. P. 3833–3840. URL: https://www.proceedings.com/40565.html
- 17. Zubizarreta J., Aguinaga I., Montiel J.M.M. Direct Sparse Mapping // IEEE Trans. Robot. 2020. Vol. 36, iss. 4. P. 1363–1370. DOI: 10.1109/TRO.2020.2991614
- 18. Rosinol A. Kimera: an Open-Source Library for RealTime Metric-Semantic Localization and Mapping // ICRA 2020 – IEEE International Conference on Robotics and Automation. Paris, France: IEEE, 2020. P. 1689–1696. URL: www.proceedings.com/content/055/055762webtoc.pdf
- 19. Campos C. et al. ORB-SLAM3: An Accurate OpenSource Library for Visual, Visual Inertial, and Multimap SLAM // IEEE Trans. Robot. 2021. Vol. 37, iss. 6. Р. 1874–1890. DOI: 10.1109/TRO.2021.3075644
- 20. Gao X. et al. LDSO: Direct Sparse Odometry with Loop Closure // IROS 2018 – IEEE/RSJ International Conference on Intelligent Robots and Systems. 2018. P. 2198–2204. URL: https://www.proceedings.com/42518.html
- 21. Usenko V. et al. Visual-Inertial Mapping With Non-Linear Factor Recovery // IEEE Robot. Autom. Lett. 2020. Vol. 5, iss. 2. P. 422–429. DOI: 10.1109/LRA.2019.2961227
- 22. Forster C. et al. SVO: Semidirect Visual Odometry for Monocular and Multicamera Systems // IEEE Trans. Robot. 2017. Vol. 33, iss. 2. P. 249–265. DOI: 10.1109/TRO.2016.2623335
- 23. Qin T., Li P., Shen S. VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator // IEEE Trans. Robot. 2018. Vol. 34, iss. 4. P. 1004–1020. DOI: 10.1109/TRO.2018.2853729
- 24. Гаврилов Д.А. Исследование применимости сверточной нейронной сети U-Net к задаче сегментации изображений авиационной техники // Компьютерная оптика. 2021. Т. 45, № 4. С. 575–579. DOI: 10.18287/2412-6179-CO-804
- 25. Гаврилов Д.А., Ловцов Д.А. Автоматизированная переработка визуальной информации с помощью технологий искусственного интеллекта // Искусственный интеллект и принятие решений. 2020. № 4. С. 33–46. DOI: 10.14357/20718594200404
- 26. Geiger A., Lenz P., Urtasun R. Are we ready for autonomous driving? The KITTI vision benchmark suite // 2012 IEEE – Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012. P. 3354–3361. DOI: 10.1109/CVPR.2012.6248074
- 27. Yang G. et al. DrivingStereo: A Large-Scale Dataset for Stereo Matching in Autonomous Driving Scenarios // 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach, CA, USA: IEEE, 2019. P. 899–908. DOI: 10.1109/CVPR.2019.00099
- 28. Wenzel P. et al. 4Seasons: A Cross-Season Dataset for Multi-Weather SLAM in Autonomous Driving // Proceedings of the German Conference on Pattern Recognition (GCPR), 2020. P. 404–417. DOI: 10.1007/978-3-030-71278-5_29
- 29. Лапушкин А.Г., Гаврилов Д.А. Программное обеспечение для создания синтезированных данных и симулятор с обратной связью для тестирования алгоритмов машинного обучения // Научное приборостроение. 2023. Т. 33, № 1. С. 95–108. URL: http://iairas.ru/mag/2023/abst1.php#abst8
- 30. Лапушкин А.Г., Гаврилов Д.А., Щелкунов Н.Н., Бакеев Р.Н. Основные подходы к подготовке визуальных данных для обучения нейросетевых алгоритмов // Искусственный интеллект и принятие решений. 2021. № 4. С. 62–74. DOI: 10.14357/20718594210406
