Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой

Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой

Автор: Кудинов Игорь Алексеевич, Никифоров Михаил Борисович, Холопов Иван Сергеевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 4 т.45, 2021 года.

Бесплатный доступ

Приведены аналитические выражения для расчета количества элементарных вычислительных операций, требуемых для формирования по двум альтернативным стратегиям нескольких персональных областей интереса пользователей панорамной обзорной системы технического зрения с распределённой апертурой: стратегия 1 - формирование полного панорамного кадра с последующим выделением персональных областей интереса, стратегия 2 - непосредственное формирование области интереса для каждого пользователя. Параметрами аналитических выражений являются количество камер распределённой системы, количество пользователей, разрешение кадров панорамы и пользователя. Полученные формулы для заданных параметров позволяют определить оптимальную по критерию минимума количества элементарных операций стратегию для формирования нескольких персональных областей интереса. Формирование области интереса основано только на априорной информации о внутренних и внешних параметрах камер, полученной в результате их фотограмметрической калибровки по универсальному тест-объекту, и не учитывает информации о сюжетных соответствиях на пересечениях их полей зрения.

Еще

Панорамное изображение, калибровка камеры, кватернионы

Короткий адрес: https://sciup.org/140290254

IDR: 140290254   |   DOI: 10.18287/2412-6179-CO-846

Список литературы Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой

  • Лазаренко, В.П. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами / В.П Лазаренко, Т.С. Джамийков, В.В. Коротаев, С.Н. Ярышев // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - Т. 16, № 1. - C. 46-53.
  • Прудников, Н.В. Панорамные оптико-электронные устройства кругового и секторного обзора / Н.В. Прудников, В.Б. Шлишевский // Вестник СГУГиТ. - 2016. - Т. 33, Вып. 1. - С. 148-161.
  • Павлов, О.В. Определение пространственного положения шлема в нашлемной информационно-управляющей системе / О.В. Павлов // Известия Тульского государственного университета. Технические науки. - 2018. -№ 9. - С. 126-136.
  • Helmet-mounted displays: sensation, perception, and cognition issues / ed. E.T. Rash, M.B. Russo, T.R. Letowski, E.T. Schmeisser. - 1st ed. - Fort Rucker: U.S. Army Aero-medical Research Laboratory, 2009. - 590 p.
  • Еремеев, С.В. Алгоритм совмещения пространственных объектов разномасштабных карт на основе топологического анализа данных / С.В. Еремеев, Д.Е. Андрианов, В.С. Титов // Компьютерная оптика. -2019. - Т. 43, № 6. - С. 1021-1029. - DOI: 10.18287/24126179-2019-43-6-1021-1029.
  • Визильтер, Ю.В. Сравнение изображений по форме с использованием диффузной морфологии и диффузной корреляции / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Рубис, О.В. Выголов // Компьютерная оптика. -2015. - Т. 39, № 2. - С. 265-274. - DOI: 10.18287/01342452-2015-39-2-265-274.
  • Araujo, S.A. Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast / S.A. Araùjo, H.Y. Kim // IEEE Pacific-Rim Symposium on Image and Video Technology. - 2007. - Vol. 4872. -P. 100-113.
  • Бессмельцев, В.П. Быстрый алгоритм совмещения изображений для контроля качества лазерной микрообработки / В.П. Бессмельцев, Е.Д. Булушев // Компьютерная оптика. - 2014. - Т. 38, № 2. - С. 343-350. - DOI: 10.18287/0134-2452-2014-38-2-343-350.
  • Гошин, Е.В. Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов / Е.В. Гошин, А.П. Котов // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 446453. - DOI: 10.18287/2412-6179-CO-683.
  • Brown, M. Automatic panoramic image stitching using invariant features / M. Brown, D. Lowe // International Journal of Computer Vision. - 2007. - Vol. 74, Issue 1. - P. 59-73.
  • Гошин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений // Е.В. Гошин, А.П. Котов, В.А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 886-891. - DOI: 10.18287/0134-2452-2014-38-4-886-891.
  • Ефимов, А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. -2016. - Т. 40, № 2. - С. 258-265. - DOI: 10.18287/24126179-2016-40-2-258-265.
  • Donon, Y. Blur-robust image registration and stitching / Y. Donon, R. Paringer, A. Kupriyanov, Y. Goshin // Journal of Physics: Conference Series. - 2019 - Vol. 1368, Issue 5. - 052043. - DOI: 10.1088/1742-6596/1368/5/052043.
  • Кудинов, И.А. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. - В кн.: Информационные технологии и нанотехнологии ИТНТ-2017: сборник трудов III международной конференции и молодежной школы. - Самара: Новая техника, 2017. - С. 1580-1586.
  • Кудинов, И. А. Формирование видеопанорамы по информации от разноспектральных камер / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. - В кн.: Информационные технологии и нанотехнологии ИТНТ-2018: сборник трудов IV международной конференции и молодежной школы. - Самара: Новая техника, 2018. - С. 568-575.
  • Kudinov, LA Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. - 2019 - Vol. 1368, Issue 3. -032009. - DOI: 10.1088/1742-6596/1368/3/032009.
  • Совмещение изображений в корреляционно-экстремальных навигационных системах / под ред. Л.Н. Костяшкина, М.Б. Никифорова. - М.: Радиотехника, 2015. - 208 с.
  • Обработка изображений в авиационных системах технического зрения / под ред. Л.Н. Костяшкина и М.Б. Никифорова. - М.: Физматлит. 2016. - 234 c.
  • Brown, M. Multi-spectral SIFT for scene category recognition / M. Brown, S. Susstrunk // Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'11). - 2011. - P. 177-184. - DOI: 10.1109/CVPR.2011.5995637.
  • Efimov, AL Image superimposition technique in computer vision systems using contour analysis methods / A.I. Efimov, A.I. Novikov, V.A. Sablina // Proceedings of 5th Mediterranean Conference on Embedded Computing. -2016. - P. 132-137. - DOI: 10.1109/METO.2016.7525721.
  • Efimov, AL Digital multispectral images superimposition based on preliminary calibration or contour analysis: advantages and disadvantages / A.I. Efimov, I.A. Kudinov, O.V. Melnik, M.B. Nikiforov, I.S. Kholopov // Proceedings of ELEKTRO 2020 Conference. - 2020. - P. 1-6. - DOI: 10.1109/ELEKTRO49696.2020.9130339.
  • Szeliski, R. Image alignment and stitching: a tutorial / R. Szeliski // Foundations and Trends in Computer Graphics and Vision. - 2006. - Vol. 2, Issue 1. - P. 1-104.
  • Lkeda, S. High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system / S. Ikeda, T. Sato, N. Yokoya // Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI'2003). - 2003. -P. 155-160. - DOI: 10.1109/MFI-2003.2003.1232649.
  • Rehder, J. Camera/IMU calibration revisited / J. Rehder, R. Siegwart // IEEE Sensors Journal. - 2017. - Vol. 17, Issue 11. - P. 3257-3268.
  • Xiao, Y. Online IMU self-calibration for visual-inertial systems / Y. Xiao, X. Ruan, J. Chai, X. Zhang, X. Zhu // Sensors. - 2019. - Vol. 19, Issue 1624. - P. 1-26.
  • Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 р. - DOI: 10.1017/CBO9780511811685.
  • Li, J. A solution method for image distortion correction model based on bilinear interpolation / J. Li, J. Su, X. Zeng // Computer Optics. - 2019. - Vol. 43(1). - P. 99-104. -DOI: 10.18287/2412-6179-2019-43-1-99-104.
  • Челноков, Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения / Ю.Н. Челноков. - М.: Физматлит, 2006. - 512 с.
  • Kuipers, J.B. Quaternions and rotation sequences: A primer with applications to orbits, aerospace and virtual reality / J.B. Kuipers. - 5th ed. - Princeton, Oxford: Princeton University, 2002. - 400 p.
  • Patent CN 204287725. Device employing checkerboard for calibrating visible light camera and thermal infrared imager camera / D. Ming, W. Zhang, H. Zhong, H. Qi, S. Di, C. Yongfei, J. Xudong, C. Guojun, L. Fengyang, H. Ting, W. Hui, published of April 22, 2015.
  • Patent CN 204301863. Novel parameter combined calibration board for visible light camera and infrared thermal im-ager camera / J.X. Zhang, W. Zhong, H. Qi, S. Di, C. Yongfei, D. Ming, C. Guojun, L. Fengyang, W. Jian, H. Ting, W. Hui, published of April 29, 2015.
  • Vidas, S. A mask-based approach for the geometric calibration of thermal-infrared cameras / S. Vidas, R. Lakemond, S. Denman, C. Fookes, S. Sridharan, T. Wark // IEEE Transactions on Instrumentation and Measurement. - 2012. - Vol. 61, Issue 6. - P. 1625-1635. - DOI: 10.1109/TIM.2012.2182851.
  • U.S. Patent 9,621,823 H04 N 5/33, H04 N 17/002, 34.8/164. Thermal camera calibration / D. Ramegowda, M.I. Mohideen, L.R. Boregowda, B. Sai, V.G. Venkoparao, filed of September 16, 2010, published of April 11, 2017.
  • Choinowski, A. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard / A. Choinowski, D. Dahlke, I. Ernst, S. Pless // Proceedings of the Int. Archives of the Photo-grammetry, Remote Sensing and Spatial Information Sciences. - 2019. - Vol. XLII-2/W13. -P. 1631-1635. - DOI: 10.5194/isprs-archives-XLII-2-W13-1631-2019.
  • Alekseev, A.P. Visual-inertial odometry algorithms on the base of thermal camera / A.P. Alekseev, E.V. Goshin, N.S. Davydov, N.A. Ivliev, A.V. Nikonorov // CEUR Workshop Proceedings. - 2019. - Vol. 2416. - P. 183-188. - DOI: 10.18287/1613-0073-2019-2416-183-188.
  • St-Laurent, L. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images / L. St-Laurent, M. Mikhnevich, A. Bubel, D. Prevost // Quantitative InfraRed Thermography Journal. - 2017. - Vol. 14, Issue 2. -P. 193-205. - DOI: 10.1080/17686733.2017.1319529.
  • Пат. 2672466 Российская Федерация G 06 T 7/80. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения / Куди-нов И.А., Павлов О.В., Холопов И.С., № 2017145444, заявл. 22.12.2017, опубл. 14.11.2018, Бюл. № 32.
  • Chen, Y. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera / Y. Chen, F.-y. Huang, F.-m. Shi, B.-q. Liu // Applied Optics. - 2019. - Vol. 58, Issue 4. - P. 744-751. - DOI: 10.1364/AO.58.000744.
  • Zoetgnande, Y.W.K. Robust low-resolution thermal stereo camera calibration / Y.W.K. Zoetgnande, A.-J. Fougeres, G. Cormier, J.L. Dillenseger: Proceedings of SPIE. - 2018. - Vol. 11041. - 110411D. - DOI: 10.1117/12.2523440.
  • Patent CN 204695399. Camera calibration template / H. Wu, J. Zhang, Y. Zhao, X. Yu, B. He, published of October 07, 2015.
  • Brightnite™ [Электронный ресурс]. - URL: https://elbitsystems.com/media/Brightnite_2016.pdf (дата обращения 20.09.2020).
  • Макет видеопанорамы из 5 камер и тепловизора [Электронный ресурс]. - URL: https: //www.y outube. com/watch?v=HHdj 0 JcKpI8 (дата обращения 22.04.2021).
Еще
Статья научная
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp