Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой

Кудинов Игорь Алексеевич; Никифоров Михаил Борисович; Холопов Иван Сергеевич; Kudinov Igor Alekseevich; Nikiforov Mikhail Borisovich; Kholopov Ivan Sergeevich

doi:10.18287/2412-6179-CO-846

Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой

Автор: Кудинов Игорь Алексеевич, Никифоров Михаил Борисович, Холопов Иван Сергеевич

Журнал: Компьютерная оптика @computer-optics

Рубрика: Обработка изображений, распознавание образов

Статья в выпуске: 4 т.45, 2021 года.

Бесплатный доступ

Приведены аналитические выражения для расчета количества элементарных вычислительных операций, требуемых для формирования по двум альтернативным стратегиям нескольких персональных областей интереса пользователей панорамной обзорной системы технического зрения с распределённой апертурой: стратегия 1 - формирование полного панорамного кадра с последующим выделением персональных областей интереса, стратегия 2 - непосредственное формирование области интереса для каждого пользователя. Параметрами аналитических выражений являются количество камер распределённой системы, количество пользователей, разрешение кадров панорамы и пользователя. Полученные формулы для заданных параметров позволяют определить оптимальную по критерию минимума количества элементарных операций стратегию для формирования нескольких персональных областей интереса. Формирование области интереса основано только на априорной информации о внутренних и внешних параметрах камер, полученной в результате их фотограмметрической калибровки по универсальному тест-объекту, и не учитывает информации о сюжетных соответствиях на пересечениях их полей зрения.

Еще

Панорамное изображение, калибровка камеры, кватернионы

Короткий адрес: https://sciup.org/140290254

IDR: 140290254 | DOI: 10.18287/2412-6179-CO-846

Strategies for generating panoramic video images without information about scene correspondences for multispectral distributed aperture systems

We derive analytical expressions for calculating the number of elementary computational operations required to generate several personal regions of interest in a panoramic computer-vision distributed-aperture system using two alternative strategies: strategy 1 involves acquisition of a complete panoramic frame, followed by the selection of personal regions of interest, while with strategy 2 the region of interest is directly formed for each user. The parameters of analytical expressions include the number of cameras in the distributed system, the number of users, and the resolution of panorama and user frames. The formulas obtained for the given parameters make it possible to determine a strategy that would be optimal in terms of a criterion of the minimum number of elementary computational operations for generating multiple personal regions of interest. The region of interest is generated using only a priori information about the internal and external camera parameters, obtained as a result of their photogrammetric calibration with a universal test object, and does not take into account information about scene correspondences at the boundaries of intersecting fields of view.

Еще

Список литературы Стратегии формирования панорамного видеоизображения без учёта информации о сюжетных соответствиях в мультиспектральных системах с распределённой апертурой

Лазаренко, В.П. Метод создания сферических панорам из изображений, полученных всенаправленными оптико-электронными системами / В.П Лазаренко, Т.С. Джамийков, В.В. Коротаев, С.Н. Ярышев // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - Т. 16, № 1. - C. 46-53.
Прудников, Н.В. Панорамные оптико-электронные устройства кругового и секторного обзора / Н.В. Прудников, В.Б. Шлишевский // Вестник СГУГиТ. - 2016. - Т. 33, Вып. 1. - С. 148-161.
Павлов, О.В. Определение пространственного положения шлема в нашлемной информационно-управляющей системе / О.В. Павлов // Известия Тульского государственного университета. Технические науки. - 2018. -№ 9. - С. 126-136.
Helmet-mounted displays: sensation, perception, and cognition issues / ed. E.T. Rash, M.B. Russo, T.R. Letowski, E.T. Schmeisser. - 1st ed. - Fort Rucker: U.S. Army Aero-medical Research Laboratory, 2009. - 590 p.
Еремеев, С.В. Алгоритм совмещения пространственных объектов разномасштабных карт на основе топологического анализа данных / С.В. Еремеев, Д.Е. Андрианов, В.С. Титов // Компьютерная оптика. -2019. - Т. 43, № 6. - С. 1021-1029. - DOI: 10.18287/24126179-2019-43-6-1021-1029.
Визильтер, Ю.В. Сравнение изображений по форме с использованием диффузной морфологии и диффузной корреляции / Ю.В. Визильтер, В.С. Горбацевич, А.Ю. Рубис, О.В. Выголов // Компьютерная оптика. -2015. - Т. 39, № 2. - С. 265-274. - DOI: 10.18287/01342452-2015-39-2-265-274.
Araujo, S.A. Grayscale template-matching invariant to rotation, scale, translation, brightness and contrast / S.A. Araùjo, H.Y. Kim // IEEE Pacific-Rim Symposium on Image and Video Technology. - 2007. - Vol. 4872. -P. 100-113.
Бессмельцев, В.П. Быстрый алгоритм совмещения изображений для контроля качества лазерной микрообработки / В.П. Бессмельцев, Е.Д. Булушев // Компьютерная оптика. - 2014. - Т. 38, № 2. - С. 343-350. - DOI: 10.18287/0134-2452-2014-38-2-343-350.
Гошин, Е.В. Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов / Е.В. Гошин, А.П. Котов // Компьютерная оптика. - 2020. - Т. 44, № 3. - С. 446453. - DOI: 10.18287/2412-6179-CO-683.
Brown, M. Automatic panoramic image stitching using invariant features / M. Brown, D. Lowe // International Journal of Computer Vision. - 2007. - Vol. 74, Issue 1. - P. 59-73.
Гошин, Е.В. Двухэтапное формирование пространственного преобразования для совмещения изображений // Е.В. Гошин, А.П. Котов, В.А. Фурсов // Компьютерная оптика. - 2014. - Т. 38, № 4. - С. 886-891. - DOI: 10.18287/0134-2452-2014-38-4-886-891.
Ефимов, А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений / А.И. Ефимов, А.И. Новиков // Компьютерная оптика. -2016. - Т. 40, № 2. - С. 258-265. - DOI: 10.18287/24126179-2016-40-2-258-265.
Donon, Y. Blur-robust image registration and stitching / Y. Donon, R. Paringer, A. Kupriyanov, Y. Goshin // Journal of Physics: Conference Series. - 2019 - Vol. 1368, Issue 5. - 052043. - DOI: 10.1088/1742-6596/1368/5/052043.
Кудинов, И.А. Алгоритм формирования видеопанорамы и его программная реализация c применением технологии CUDA / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. - В кн.: Информационные технологии и нанотехнологии ИТНТ-2017: сборник трудов III международной конференции и молодежной школы. - Самара: Новая техника, 2017. - С. 1580-1586.
Кудинов, И. А. Формирование видеопанорамы по информации от разноспектральных камер / И.А. Кудинов, О.В. Павлов, И.С. Холопов, М.Ю. Храмов. - В кн.: Информационные технологии и нанотехнологии ИТНТ-2018: сборник трудов IV международной конференции и молодежной школы. - Самара: Новая техника, 2018. - С. 568-575.
Kudinov, LA Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. - 2019 - Vol. 1368, Issue 3. -032009. - DOI: 10.1088/1742-6596/1368/3/032009.
Совмещение изображений в корреляционно-экстремальных навигационных системах / под ред. Л.Н. Костяшкина, М.Б. Никифорова. - М.: Радиотехника, 2015. - 208 с.
Обработка изображений в авиационных системах технического зрения / под ред. Л.Н. Костяшкина и М.Б. Никифорова. - М.: Физматлит. 2016. - 234 c.
Brown, M. Multi-spectral SIFT for scene category recognition / M. Brown, S. Susstrunk // Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'11). - 2011. - P. 177-184. - DOI: 10.1109/CVPR.2011.5995637.
Efimov, AL Image superimposition technique in computer vision systems using contour analysis methods / A.I. Efimov, A.I. Novikov, V.A. Sablina // Proceedings of 5th Mediterranean Conference on Embedded Computing. -2016. - P. 132-137. - DOI: 10.1109/METO.2016.7525721.
Efimov, AL Digital multispectral images superimposition based on preliminary calibration or contour analysis: advantages and disadvantages / A.I. Efimov, I.A. Kudinov, O.V. Melnik, M.B. Nikiforov, I.S. Kholopov // Proceedings of ELEKTRO 2020 Conference. - 2020. - P. 1-6. - DOI: 10.1109/ELEKTRO49696.2020.9130339.
Szeliski, R. Image alignment and stitching: a tutorial / R. Szeliski // Foundations and Trends in Computer Graphics and Vision. - 2006. - Vol. 2, Issue 1. - P. 1-104.
Lkeda, S. High-resolution panoramic movie generation from video streams acquired by an omnidirectional multi-camera system / S. Ikeda, T. Sato, N. Yokoya // Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI'2003). - 2003. -P. 155-160. - DOI: 10.1109/MFI-2003.2003.1232649.
Rehder, J. Camera/IMU calibration revisited / J. Rehder, R. Siegwart // IEEE Sensors Journal. - 2017. - Vol. 17, Issue 11. - P. 3257-3268.
Xiao, Y. Online IMU self-calibration for visual-inertial systems / Y. Xiao, X. Ruan, J. Chai, X. Zhang, X. Zhu // Sensors. - 2019. - Vol. 19, Issue 1624. - P. 1-26.
Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 р. - DOI: 10.1017/CBO9780511811685.
Li, J. A solution method for image distortion correction model based on bilinear interpolation / J. Li, J. Su, X. Zeng // Computer Optics. - 2019. - Vol. 43(1). - P. 99-104. -DOI: 10.18287/2412-6179-2019-43-1-99-104.
Челноков, Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения / Ю.Н. Челноков. - М.: Физматлит, 2006. - 512 с.
Kuipers, J.B. Quaternions and rotation sequences: A primer with applications to orbits, aerospace and virtual reality / J.B. Kuipers. - 5th ed. - Princeton, Oxford: Princeton University, 2002. - 400 p.
Patent CN 204287725. Device employing checkerboard for calibrating visible light camera and thermal infrared imager camera / D. Ming, W. Zhang, H. Zhong, H. Qi, S. Di, C. Yongfei, J. Xudong, C. Guojun, L. Fengyang, H. Ting, W. Hui, published of April 22, 2015.
Patent CN 204301863. Novel parameter combined calibration board for visible light camera and infrared thermal im-ager camera / J.X. Zhang, W. Zhong, H. Qi, S. Di, C. Yongfei, D. Ming, C. Guojun, L. Fengyang, W. Jian, H. Ting, W. Hui, published of April 29, 2015.
Vidas, S. A mask-based approach for the geometric calibration of thermal-infrared cameras / S. Vidas, R. Lakemond, S. Denman, C. Fookes, S. Sridharan, T. Wark // IEEE Transactions on Instrumentation and Measurement. - 2012. - Vol. 61, Issue 6. - P. 1625-1635. - DOI: 10.1109/TIM.2012.2182851.
U.S. Patent 9,621,823 H04 N 5/33, H04 N 17/002, 34.8/164. Thermal camera calibration / D. Ramegowda, M.I. Mohideen, L.R. Boregowda, B. Sai, V.G. Venkoparao, filed of September 16, 2010, published of April 11, 2017.
Choinowski, A. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard / A. Choinowski, D. Dahlke, I. Ernst, S. Pless // Proceedings of the Int. Archives of the Photo-grammetry, Remote Sensing and Spatial Information Sciences. - 2019. - Vol. XLII-2/W13. -P. 1631-1635. - DOI: 10.5194/isprs-archives-XLII-2-W13-1631-2019.
Alekseev, A.P. Visual-inertial odometry algorithms on the base of thermal camera / A.P. Alekseev, E.V. Goshin, N.S. Davydov, N.A. Ivliev, A.V. Nikonorov // CEUR Workshop Proceedings. - 2019. - Vol. 2416. - P. 183-188. - DOI: 10.18287/1613-0073-2019-2416-183-188.
St-Laurent, L. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images / L. St-Laurent, M. Mikhnevich, A. Bubel, D. Prevost // Quantitative InfraRed Thermography Journal. - 2017. - Vol. 14, Issue 2. -P. 193-205. - DOI: 10.1080/17686733.2017.1319529.
Пат. 2672466 Российская Федерация G 06 T 7/80. Тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения / Куди-нов И.А., Павлов О.В., Холопов И.С., № 2017145444, заявл. 22.12.2017, опубл. 14.11.2018, Бюл. № 32.
Chen, Y. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera / Y. Chen, F.-y. Huang, F.-m. Shi, B.-q. Liu // Applied Optics. - 2019. - Vol. 58, Issue 4. - P. 744-751. - DOI: 10.1364/AO.58.000744.
Zoetgnande, Y.W.K. Robust low-resolution thermal stereo camera calibration / Y.W.K. Zoetgnande, A.-J. Fougeres, G. Cormier, J.L. Dillenseger: Proceedings of SPIE. - 2018. - Vol. 11041. - 110411D. - DOI: 10.1117/12.2523440.
Patent CN 204695399. Camera calibration template / H. Wu, J. Zhang, Y. Zhao, X. Yu, B. He, published of October 07, 2015.
Brightnite™ [Электронный ресурс]. - URL: https://elbitsystems.com/media/Brightnite_2016.pdf (дата обращения 20.09.2020).
Макет видеопанорамы из 5 камер и тепловизора [Электронный ресурс]. - URL: https: //www.y outube. com/watch?v=HHdj 0 JcKpI8 (дата обращения 22.04.2021).

Еще