Жестовое управление полетом малого беспилотного летательного аппарата
Автор: Абрамов Н.С., Саттарова В.В., Фраленко В.П., Хачумов М.В.
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Искусственный интеллект и машинное обучение
Статья в выпуске: 2 (61) т.15, 2024 года.
Бесплатный доступ
Рассмотрена задача построения жестовых команд для управления малым беспилотным летательным аппаратом, таким как квадрокоптер. Получаемые видеокамерой команды идентифицируются классификатором на основе сверточной нейронной сети, а мультимодальный интерфейс управления, оснащенный интеллектуальным решателем, преобразует их в команды управления квадрокоптером. Нейронные сети из библиотеки моделей нейронных сетей Ultralytics позволяют выделять целевые объекты в кадре в режиме реального времени. Команды управления квадрокоптером поступают в специализированную программу на смартфоне, разработанную на базе симулятора полетов DJI SDK, которая посылает команды по радиоканалу дистанционного управления. Исследовано качество распознавания разработанных жестовых команд для квадрокоптеров DJI Phantom 3 standard edition. Представлено краткое руководство в виде сценариев работы оператора с беспилотными транспортными средствами. Раскрыты перспективы жестового управления несколькими транспортными средствами в экстремальных условиях с учётом сложностей безопасности совместного полета и взаимодействия летательных аппаратов в ограниченном пространстве.
Беспилотный летательный аппарат, управление, жесты, сверточная нейронная сеть, ultralytics, интеллектуальный интерфейс, распознавание
Короткий адрес: https://sciup.org/143183241
IDR: 143183241 | DOI: 10.25209/2079-3316-2024-15-2-21-36
Список литературы Жестовое управление полетом малого беспилотного летательного аппарата
- Абрамов Н. С., Талалаев А. А., Фраленко В. П., Хачумов М. В. Система мультимодального управления и визуализации полета беспилотного летательного аппарата // Авиакосмическое приборостроение.– 2023.– №9.– С. 3–11. https://doi.org/10.25791/aviakosmos.9.2023.1358
- Алфимцев А. Н. Разработка и исследование методов захвата, отслеживания и распознавания динамических жестов, Диссертация на соискание ученой степени кандидата технических наук.– М..– 2008.– 167 с.
- Нагапетян В. Э. Методы распознавания жестов руки на основе анализа дальностных изображений, Диссертация на соискание ученой степени кандидата физико-математических наук.– М..– 2008.– 117 с.
- Oikonomidis I., Kyriazis N., Argyros A. A. Efficient model-based 3D tracking of hand articulations using Kinect // Proceedings of the 22nd British Machine Vision Conference 2011, BMVC’11 (Dundee, UK, August 29–September 2, 2011).– 2011.– ISBN 1-901725-43-X.– 11 pp.
- Shaowei C., Tanaka J. Interacting with a self-portrait camera using motion-based hand gestures // Proceedings of the 11th Asia-Pacific Conference on Computer-Human Interaction 2013, APCHI’13 (Bangalore, India, September 24–27, 2013), New York: ACM.– 2013.– ISBN 978-1-4503-2253-9.– Pp. 93–101. https://doi.org/10.1145/2525194.2525206
- Maraqa M. R., Al-Zboun F., Dhyabat M., Zitar R. A. Recognition of Arabic Sign Language (ArSL) using recurrent neural networks // Journal of Intelligent Learning Systems and Applications.– 2012.– Vol. 4.– No. 1.– Pp. 41–52. https://doi.org/10.4236/jilsa.2012.41004
- Pugeault N., Bowden R. Spelling it out: real-time ASL fingerspelling recognition // Proceedings of the IEEE International Conference on Computer Vision Workshops 2011, ICCV’11 (Barcelona, Spain, 06–13 November 2011).– 2011.– Pp. 1114–1119. https://doi.org/10.1109/ICCVW.2011.6130290
- Zhao R., Wang K., Divekar R., Rouhani R., Su H., Ji Q. An immersive system with multi-modal human-computer interaction // Proceedings of the 13th IEEE International Conference on Automatic Face & Gesture Recognition 2018 (Xi’an, China, 15–19 May 2018).– 2018.– Pp. 517–524. https://doi.org/10.1109/FG.2018.00083
- Sanna A., Lamberti F., Paravati G., Manuri F. A kinect-based natural interface for quadrotor control // Entertainment Computing.– 2013.– Vol. 4.– No. 3.– Pp. 179–186. https://doi.org/10.1016/j.entcom.2013.01.001
- Нагапетян В. Э., Хачумов В. М. Распознавание жестов руки в задаче бесконтактного управления беспилотным летательным аппаратом // Автометрия.– 2015.– Т. 51.– №2.– С. 103–109. [РИНЦ]
- Абрамов Н. С., Емельянова Ю.Г., Талалаев А. А., Фраленко В. П., Хачумов М. В. Архитектура мультимодального интерфейса для управления беспилотным летательным аппаратом // Известия высших учебных заведений. Авиационная техника.– 2022.– №3.– С. 55–63. [РИНЦ]
- Hu M. K. Visual pattern recognition by moment invariants // IRE Transactions on Information Theory.– 1962.– Vol. 8.– No. 2.– Pp. 179–187. https://doi.org/10.1109/TIT.1962.1057692
- Hochreiter S., Schmidhuber J. Long short-term memory // Neural Computation.– 1997.– Vol. 9.– No. 8.– Pp. 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
- Жуковская В. А., Пятаева А. В. Рекуррентная нейронная сеть для распознавания жестов русского языка с учетом языкового диалекта Сибирского региона // ГрафиКон 2022: материалы 32-й Международной конференции по компьютерной графике и машинному зрению (Рязань, 19–22 сентября 2022 г.).– 2022.– С. 538–547. UhtRtpLs://www.graphiconh.rtut/phs:t/m/ld/o2i0.o2r2g//p1a0p.2e0rs9/4p8a/pgerarph0i5c5o.np-d2f022-538-547
- Булыгин Д. А., Мамонова Т. Е. Распознавание жестов рук в режиме реального времени // Научный вестник НГТУ.– 2020.– №1(78).– С. 25–40. https://doi.org/10.17212/1814-1196-2020-1-25-40
- Zhao Y., Lv W., Xu S., Wei J., Wang G., Dang Q., Liu Y., Chen J., DETRs beat YOLOs on real-time object detection.– 2023.– 14 pp. arXivarXiv 2304.08069 [cs.CV] https://doi.org/10.48550/arXiv.2304.08069
