Калибровка взаимного расположения стереокамеры и трёхмерного сканирующего лазерного дальномера
Автор: Абраменко Александр Андреевич
Журнал: Компьютерная оптика @computer-optics
Рубрика: Дифракционная оптика, оптические технологии
Статья в выпуске: 2 т.43, 2019 года.
Бесплатный доступ
В работе описан метод, позволяющий решать задачу определения взаимного положения многолучевого лидара и стереокамеры. Метод не накладывает никаких ограничений на место, в котором должна проводиться калибровка. Калибровка осуществляется с использованием калибровочного щита, который представляет собой плоский прямоугольник со специальными маркерами. Для калибровки используются трёхмерные соответствия. Вначале осуществляется поиск трёхмерных координат угловых точек калибровочного щита в системах координат камер стереопары, а также в системе координат лидара. Далее с помощью оптимизационных методов осуществляется вычисление параметров калибровки. Проведена серия виртуальных и натурных экспериментов, результаты которых показывают, что предложенный метод позволяет осуществить калибровку с точностью, сравнимой с погрешностью сенсоров. Предлагаемый метод позволяет улучшить точность калибровки за счёт одновременного использования информации с двух камер стереопары и подходит для лидаров как с низкой, так и с высокой плотностью точек.
Стереокамера, лидар, внешняя калибровка, комплексирование данных
Короткий адрес: https://sciup.org/140243282
IDR: 140243282 | DOI: 10.18287/2412-6179-2019-43-2-220-230
Extrinsic calibration of stereo camera and three-dimensional laser scanner
The paper describes an approach that allows solving the problem of extrinsic calibration of a multi-beam lidar and a stereo camera. The approach does not impose any restrictions on the place in which calibration should be performed. Calibration is performed using a calibration board, which is a flat rectangle with special markers. Three-dimensional correspondences are used for calibration. First, a search for the three-dimensional coordinates of the corner points of the calibration board in the coordinate systems of the stereo pair cameras as well as in the coordinate system of the lidar is made. Next, using the optimization methods, calibration parameters are calculated. The results of a series of virtual and real experiments show that the algorithm allows the calibration to be performed with an accuracy comparable to that of sensors. The proposed approach allows one to improve the calibration accuracy due to the simultaneous use of information from two cameras of the stereo pair and is suitable for lidars with both the low and high point density.
Список литературы Калибровка взаимного расположения стереокамеры и трёхмерного сканирующего лазерного дальномера
- Гошин, Е.В. Реконструкция 3D-сцен по разноракурсным изображениям при неизвестных внешних параметрах съёмки/Е.В. Гошин, В.А. Фурсов//Компьютерная оптика. -2015. -Т. 39, № 5. -С. 770-776. - DOI: 10.18287/0134-2452-2015-39-5-770-775
- Минаев, Е.Ю. Высокоточная реконструкция пространственного положения пассивного цветового маркера по видеопоследовательности/Е.Ю. Минаев, А.В. Никоноров//Компьютерная оптика. -2012. -Т. 36, № 4. -C. 611-616.
- Zhang, Q. Extrinsic calibration of a camera and laser range finder (improves camera calibration)/Q. Zhang, R. Pless//2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). -2004. -Vol. 3. -P. 2301-2306. - DOI: 10.1109/IROS.2004.1389752
- Unnikrishnan, R. Fast extrinsic calibration of a laser rangefinder to a camera/R. Unnikrishnan, M. Hebert. -Technical Report CMU-RI-TR-05-09. -Pittsburgh, PA: Robotics Institute, 2005.
- Pandey, G. Extrinsic calibration of a 3D laser scanner and an omnidirectional camera/G. Pandey, J. McBride, S. Savarese, R. Eustice//IFAC Proceedings Volumes. -2010. -Vol. 43, Issue 16. -P. 336-341. - DOI: 10.3182/20100906-3-IT-2019.00059
- Huang, L. A novel multi-planar LIDAR and computer vision calibration procedure using 2D patterns for automated navigation/L. Huang, M. Barth//2009 IEEE Intelligent Vehicles Symposium. -2009. -P. 117-122. -
- DOI: 10.1109/IVS.2009.5164263
- Geiger, A. Automatic camera and range sensor calibration using a single shot/A. Geiger, F. Moosmann, Ö. Car, B. Schuster//2012 IEEE International Conference on Robotics and Automation. -2012. -P. 3936-3943. -
- DOI: 10.1109/ICRA.2012.6224570
- Pusztai, Z. Accurate calibration of LiDAR-camera systems using ordinary boxes/Z. Pusztai, L. Hajder//2017 IEEE International Conference on Computer Vision Workshops (ICCVW). -2017. -P. 394-402. -
- DOI: 10.1109/ICCVW.2017.53
- Gong, X. Extrinsic calibration of a 3D LIDAR and a camera using a trihedron/X. Gong, Y. Lin, J. Liu//Optics and Lasers in Engineering. -2013. -Vol. 51, Issue 4. -P. 394-401. -
- DOI: 10.1016/j.optlaseng.2012.11.015
- Fremont, V. Circular targets for 3d alignment of video and lidar sensors/V. Fremont, S.A. Rodriguez F, P. Bonnifait//Advanced Robotics. -2012. -Vol. 26, Issue 18. -P. 2087-2113. -
- DOI: 10.1080/01691864.2012.703235
- Park, Y. Calibration between color camera and 3D LIDAR instruments with a polygonal planar board/Y. Park, S. Yun, C.S. Won, K. Cho, K. Um, S. Sim//Journal of Sensors. -2014. -Vol. 14, Issue 3. -P. 5333-5353. -
- DOI: 10.3390/s140305333
- Dhall, A. LiDAR-Camera Calibration using 3D-3D Point correspondences. /A. Dhall, K. Chelani, V. Radhakrishnan, K.M. Krishna//arXiv preprint arXiv:1705.09785. -2017. -URL: arxiv.org/pdf/1705.09785.pdf (дата обращения 15.10.2018).
- Veľas, M. Calibration of rgb camera with velodyne lidar /M. Veľas, M. Španěl, Z. Materna, A. Herout. -2014. -URL: pdfs.semanticscholar.org/ed15/5d1a146e0cba6be98fd7128461439f88732a.pdf (дата обращения 15.10.2018).
- Levinson, J. Automatic online calibration of cameras and lasers/J. Levinson, S. Thrun//Proceedings of Robotics: Science and Systems. -2013. -
- DOI: 10.15607/RSS.2013.IX.029
- Taylor Z. Automatic calibration of lidar and camera images using normalized mutual information/Z. Taylor, J. Nieto//2013 IEEE International Conference on Robotics and Automation (ICRA). -2013. -
- DOI: 10.1109/ICVES.2015.7396923
- Taylor, Z. Automatic calibration of multi-modal sensor systems using a gradient orientation measure/Z. Taylor, J. Nieto, D. Johnson//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). -2013. -P. 1293-1300. -
- DOI: 10.1109/IROS.2013.6696516
- Pandey, G. Automatic extrinsic calibration of vision and lidar by maximizing mutual information/G. Pandey, J.R. McBride, S. Savarese, R.M. Eustice//Journal of Field Robotics. -2015. -Vol. 32, Issue 5. -P. 696-722. -
- DOI: 10.1002/rob.21542
- John, V. Automatic calibration and registration of lidar and stereo camera without calibration objects/V. John, Q. Long, Z. Liu, S. Mita//2015 IEEE International Conference on Vehicular Electronics and Safety (ICVES). -2015. -P. 231-237. -
- DOI: 10.1109/ICVES.2015.7396923
- Garrido-Jurado, S. Automatic generation and detection of highly reliable fiducial markers under occlusion/S. Garrido-Jurado, R. Muñoz-Salinas, F.J. Madrid-Cuevas, M.J. Marín-Jiménez//Pattern Recognition. -2014. -Vol. 47, Issue 6. -P. 2280-2292. -
- DOI: 10.1016/j.patcog.2014.01.005
- Кудинов, И.А. Реализация алгоритма определения пространственных координат и угловой ориентации объекта по реперным точкам, использующего информацию от одной камеры/И.А. Кудинов, О.В. Павлов, И.С. Холопов//Компьютерная оптика. -2015. -Т. 39, № 3. -С. 413-419. -
- DOI: 10.18287/0134-2452-2015-39-3-413-419
- Гошин, Е.В. Решение задачи автокалибровки камеры с использованием метода согласованной идентификации/Е.В. Гошин, В.А. Фурсов//Компьютерная оптика. -2012. -Т. 36, № 4 -С. 605-610.
- Zhang, Z. A flexible new technique for camera calibration//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2000. -Vol. 22, Issue 11 -P. 1330-1334. -
- DOI: 10.1109/34.888718
- Lepetit, V. EPnP: An accurate O(n) solution to the PnP problem/V. Lepetit, F. Moreno-Noguer, P. Fua//International Journal of Computer Vision. -2009. -Vol. 81, Issue 2. -P. 155. -
- DOI: 10.1007/s11263-008-0152-6
- Gao, F. Implementing the Nelder-Mead simplex algorithm with adaptive parameters/F. Gao, L. Han//Computational Optimization and Applications. -2012. -Vol. 51, Issue 1. -P. 259-277. -
- DOI: 10.1007/s10589-010-9329-3
- Fischler, M.A. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography/M.A. Fischler, R.C. Bolles//Communications of the ACM. -1981. -Vol. 24, Issue 6. -P. 381-395. -
- DOI: 10.1145/358669.358692
- Kabsch, W. A discussion of the solution for the best rotation to relate two sets of vectors//Acta Crystallographica. -1978. -Vol. 34, Issue 5. -P. 827-828. -
- DOI: 10.1107/S0567739478001680
- Sorkine-Hornung, O. Least-squares rigid motion using svd /O. Sorkine-Hornung, M. Rabinovich. -2017. -URL: igl.ethz.ch/projects/ARAP/svd_rot.pdf (дата обращения 15.10.2018).
- Rohmer, E. V-REP: A versatile and scalable robot simulation framework/E. Rohmer, S.P.N. Singh, M. Freese//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). -2013. -P. 1321-1326. -
- DOI: 10.1109/IROS.2013.6696520
- Bradski, G. Learning OpenCV: Computer vision with the OpenCV library/G. Bradski, K. Adrian. -O'Reilly Media, Inc., 2008.
- Hirschmuller, Н. Stereo processing by semiglobal matching and mutual information/Н. Hirschmuller//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2008. -Vol. 30, Issue 2. -P. 328-341. -
- DOI: 10.1109/TPAMI.2007.1166
