Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов
Автор: Гошин Егор Вячеславович, Котов Антон Петрович
Журнал: Компьютерная оптика @computer-optics
Рубрика: Численные методы и анализ данных
Статья в выпуске: 3 т.44, 2020 года.
Бесплатный доступ
В настоящей работе исследуются методы определения параметров движения камеры по набору соответствующих точек. В отличие от традиционного подхода, соответствующие точки в настоящей работе используются не для определения фундаментальной матрицы, а непосредственно для определения параметров съёмки. Кроме того, в настоящей работе используется модель формирования разноракурсных изображений, основанная на представлении трёхмерных изображений и параметров съёмки в виде кватернионов. В настоящем исследовании приведены варианты реализации предложенного метода, в том числе с отбором наиболее свободных от шума соответствий с использованием метода RANSAC. В исследовании приведены результаты эксперимента на тестовых наборах «Middlebury» и «ETH3D», представляющих собой набор изображений с зафиксированными точными значениями параметров съёмки. С использованием разработанной на языке Python программы проведён сравнительный эксперимент по оценке точности и надёжности оценок, полученных с помощью предложенного метода, в условиях малого числа соответствующих точек и малой глубины сцены. В ходе экспериментальных исследований было показано, что в поставленных условиях надёжность определения параметров с использованием предложенного метода значительно превышает надёжность традиционных методов оценки параметров движения, основанных на вычислении фундаментальной матрицы.
Эпиполярная геометрия, кватернионы, параметры движения камеры
Короткий адрес: https://sciup.org/140250010
IDR: 140250010 | DOI: 10.18287/2412-6179-CO-683
Method for camera motion parameter estimation from a small number of corresponding points using quaternions
In this paper, we study methods for determining parameters of camera movement from a set of corresponding points. Unlike the traditional approach, the corresponding points in this paper are not used to determine the fundamental matrix, but directly to determine motion parameters. In addition, in this work, we use a multi-angle image formation model based on the representation of three-dimensional images and motion parameters in the form of quaternions. We propose method for determining motion parameters, including the selection of the most noise-free matches using the RANSAC method. The study presents results of an experiment on the “Middlebury” and “ETH3D” test kits, which contains a set of images with known values of the motion parameters. Using a program written in Python, a comparative experiment was conducted to evaluate the accuracy and reliability of the estimates obtained using the proposed method under conditions of a small number of corresponding points and a shallow depth of the scene. In the course of experimental studies, it was shown that under the above-described conditions, the reliability of parameter determination using the proposed method significantly exceeds the reliability of traditional methods for estimating motion parameters based on the calculation of the fundamental matrix.
Список литературы Метод оценки параметров движения камеры по малому числу соответствующих точек с использованием кватернионов
- Мясников, В.В. Исследование зависимости точности одновременной реконструкции сцены и позиционирования камеры от погрешностей, вносимых датчиками мобильного устройства / В.В. Мясников, Е.А. Дмитриев // Компьютерная оптика. - 2019.- Т. 43, № 3. - C. 492-503. - DOI: 10.18287/2412-6179-2019-43-3-492-503
- Lee, B. Online self-supervised monocular visual odometry for ground vehicles / B. Lee, K. Daniilidis, D.D. Lee // IEEE International Conference on Robotics and Automation (ICRA). - 2015. - P. 5232-5238.
- Fu, C. Efficient visual odometry and mapping for unmanned aerial vehicle using ARM-based stereo vision pre-processing system / C. Fu, A. Carrio, P. Campoy // International Conference on Unmanned Aircraft Systems (ICUAS). - 2015. - P. 957-962.
- Kudinov, I.A. Camera and auxiliary sensor calibration for a multispectral panoramic vision system with a distributed aperture / I.A. Kudinov, M.B. Nikiforov, I.S. Kholopov // Journal of Physics: Conference Series. - 2019. - Vol. 1368, Issue 3. - 032009.
- Кирш, Д.В. Алгоритм реконструкции трёхмерной структуры кристалла по двумерным проекциям / Д.В. Кирш, А.С. Широканев, А.В. Куприянов // Компьютерная оптика. - 2019. - Т. 43, № 2. - С. 324-331. - DOI: 10.18287/2412-6179-2019-43-2-324-331
- Ruchay, A.N. Fusion of information from multiple Kinect sensors for 3D object reconstruction / A.N. Ruchay, K.A. Dorofeev, V.I. Kolpakov // Computer Optics. - 2018. -Vol. 42(5). - P. 898-903. -
- DOI: 10.18287/2412-6179-2018-42-5-898-903
- Troiani, C. 2-point-based outlier rejection for camera-imu systems with applications to micro aerial vehicles / C. Troiani, A. Martinelli, C. Laugier, D. Scaramuzza // IEEE International Conference on Robotics and Automation (ICRA). - 2014. - P. 5530-5536.
- Cadena, C. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age / C. Cadena, et al. // IEEE Transactions on Robotics. - 2016.- Vol. 32, Issue 6. - P. 1309-1332.
- Rebecq, H. EVO: A geometric approach to event-based 6-DOF parallel tracking and mapping in real time / T. Horstschäfer, G. Gallego, D. Scaramuzza // IEEE Robotics and Automation Letters. - 2016. - Vol. 2, Issue 2. - P. 593-600.
- Zhang, Y. Robust orientation estimate via inertial guided visual sample consensus / Y. Zhang, W. Liang, Y. Li, H. An, J. Tan // Personal and Ubiquitous Computing. - 2018.- Vol. 22, Issue 2. - P. 259-274.
- Rebecq, H. Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization / H. Rebecq, T. Horstschaefer, D. Scaramuzza // British Machine Vision Conference (BMVC). - 2017.
- Liang, J. Experimental Evaluation of Direct Monocular Visual Odometry Based on Nonlinear Optimization / J. Liang, X. Cheng, Y. He, X. Li, H. Liu // WRC Symposium on Advanced Robotics and Automation (WRC SARA). - 2019. - P. 291-295.
- Von Stumberg, L. Direct sparse visual-inertial odometry using dynamic marginalization / L. Von Stumberg, V. Usenko, D. Cremers // IEEE International Conference on Robotics and Automation (ICRA). - 2018. - P. 2510-2517.
- Leutenegger, S. Keyframe-based visual-inertial SLAM using nonlinear optimization / S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, P. Furgale // Proceedings of Robotics Science and Systems (RSS). - 2013.
- Rosten, E. Machine learning for high-speed corner detection / E. Rosten, T. Drummond // European Conference on Computer Vision (ECCV). - 2006. - P. 430-443.
- Li, R. UnDeepVO: Monocular visual odometry through unsupervised deep learning / R. Li, S. Wang, Z. Long, D. Gu // IEEE International Conference on Robotics and Automation (ICRA). -2018. - P. 7286-7291.
- Fursov, V.A. Prediction of estimates' accuracy for linear regression with a small sample size / V.A. Fursov, A.V. Gavrilov, A.P. Kotov // 41st International Conference on Telecommunications and Signal Processing (TSP). - 2018. - P. 679-685. -
- DOI: 10.1109/TSP.2018.8441385
- Hartley, R. Multiple view geometry in computer vision / R. Hartley, A. Zisserman. - Cambridge: Cambridge University Press, 2003. - 271 p.
- Karlsson, L. Algorithms for hessenberg-triangular reduction of fiedler linearization of matrix polynomials / L. Karlsson, F. Tisseur // SIAM Journal on Scientific Computing. - 2015. - Vol. 37, Issue 3. - P. C384-C414.
- Гошин, Е.В. Метод определения внешних параметров камеры по паре изображений с использованием дуальных кватернионов / Е.В. Гошин, И.Р. Усеинова // Мехатроника, автоматизация, управление. - 2017. - Т. 18, № 4. - C. 279-284. -
- DOI: 10.17587/mau.18.279-284
- Тестовая последовательность изображений "Dino" из набора "Middlebury" [Электронный ресурс]. - URL: http://vision.middlebury.edu/mview/data/data/dino.zip/ (дата обращения 07.10.2019).
- Bay, H. Surf: Speeded up robust features / H. Bay, T. Tuytelaars, L. Van Gool. - In: Computer Vision - ECCV 2006 / ed. by A. Leonardis, H. Bischof, A. Pinz. - Berlin, Heidelberg: Springer, 2006. - P. 404-417. -
- DOI: 10.1007/11744023_32
- Rublee, E. ORB: An efficient alternative to SIFT or SURF / E. Rublee, V. Rabaud, K. Konolige, G.R. Bradski // International Conference on Computer Vision (ICCV). - 2011. -P. 2564-2571.
- Lowe, D.G. Object recognition from local scale-invariant features / D.G. Lowe // Proceedings of the Seventh IEEE International Conference on Computer Vision. - 1999. - Vol. 2. - P. 1150-1157.
- Библиотека обработки изображений OpenCV [Электронный ресурс]. - URL: http://opencv.org/ (дата обращения 07.10.2019).
- Moré, J.J. The Levenberg-Marquardt algorithm: Implementation and theory / J.J. Moré. - In: Numerical analysis / ed. by G.A. Watson. - Berlin, Heidelberg: Springer, 1978. - P. 105-116.
- Csurka G. Characterizing the uncertainty of the fundamental matrix / G. Csurka, C. Zeller, Z. Zhang, O. Faugeras // Computer Vision and Image Understanding. - 1997. - Vol. 68, Issue 1. - P. 18-36.
