3d-картирование в виртуальной эндохирургии с использованием slam-алгоритма

В последнее время появляются исследования SLAM-задач, направленных на использование монокулярных камер как уникального сенсорного входа. Это получает большое практическое значение как в построении 3D-моделей органов брюшной полости в реальном времени для последующего использования полученной модели в симуляции операций, так и в перспективных работах по созданию самоориентирующихся роботизированных устройств. Задача SLAM (симультанная локализация и картирование) является классической для мобильной робототехники: мобильный сенсор перемещается по неизвестной траектории в неизвестной среде, и одновременно идет построение карты 3D-точек для определении позиции сенсора. Работы по созданию двухкамерных эндоскопов ведутся, однако высокая

стоимость данных разработок не предполагает широкого и быстрого внедрения этих прототипов в медицинскую практику. Именно поэтому интерес представляет использование монокулярной камеры. Текстурированные 3D-модели позволяют проводить синтез в панораме, которая расширяет ограниченное поле зрения эндоскопа. Наконец, то, как камера движется по отношению к 3D-карте, известно точно и в режиме реального времени.

ЦЕЛЬ ИССЛЕДОВАНИЯ

Оценивая положительный опыт [1], разработавших систему с частотой 30Гц, генерирующую 3D-карту и позиционирующую камеру относительно нее, необходимо определить пути реализации данного алгоритма в условиях медицинской виртуализации.

МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ

Нами изучена возможность применения в реальных условиях камеры эндоскопа как источника данных для SLAM-алгоритма [4] с его использованием в медицинских целях. Данная работа представляет метод 3D моделирования на основе реализации эндоскопической последовательности с получением плотной 3D реконструкции в режиме реального времени. По сравнению с прошлыми работами, мы экспериментально продемонстрировали, что наш монокулярный SLAM алгоритм включает надежные показатели реального времени при обработке реальных изображений эндоскопа.

Основными допущениями при этом являются следующие:

• -    полость жесткая;

• -    эндоскопическая камера входит без вращательных движений.

Эти условия в частности достижимы при выполнении таких операций как лапароскопическая герниопластика.

Был разработан ряд методов для последовательной эндоскопической 3D реконструкции полости. Реконструкция выполняется с использованием стереоэндоскопов [6,7]. В обеих работах стереоэндоскоп для получения 3D структуры органа всегда указывает на одну область в полости даже при его перемещении. Стереоэндоскопы были успешно использованы в работе визуальной SLAM [8], где анализируются различные особенности визуализации медицинских изображений. Тем не менее, мы можем иметь дело с монокулярными изображениями.

Монокулярные методы SLAM предполагают восстановление карты до неизвестного масштабного фактора, подразумевая, что однозначно могут быть измерены только относительные расстояния. Однако на практике, зная размер введённого в брюшную полость и визуализированного в ней инструмента, можно обеспечить измерение неизвестного масштабного фактора и, следовательно, реальные расстояния могут быть определены. Учитывая вероятностный характер SLAM карт, тем не менее, возможна погрешность в определении расстояний. Поэтому относительные расстояния вместе с соответствующими оценками ошибки должны вычистятся в реальном времени.

Карта должна использоваться как основа для построения фотореалистичных моделей реального времени, чтобы облегчить 3D визуализацию полости.

Что касается монокулярной компьютерной визуализации для определения эндоскопической последовательности 3D моделей [9], основой служит вычисление полости 3D структуры в соответствие с моделью полости на КТ-снимках. Совсем недавно [10], для визуализации использовали RANSAC + уравнивание с корректиров- кой основы изображения для определения 3D структуры.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Монокулярный SLAM правильно находит опорные точки и компенсирует движения камеры на частоту кадров [2, 11]. В данной работе мы показывает, что AR может быть поддержан, когда монокулярный SLAM адаптирован к медицинским изображениям.

Говоря о SLAM монокуляре, мы ориентируемся на EKF+ID+JCBB. В монокулярном SLAM первоначально был предложен EKF (Продленный фильтр Калмана) [1]. ID (обратная глубина) используется для кодирования точки на карте [4], улучшает линейность измерений уравнения и, следовательно, общую эффективность оценки. JCBB (совместное отделение совместимости и границы) [12] оказалось существенно более важным значением для определения степени жесткости. Эта комбинация была впервые использована в монокулярных камерах [13].

Предполагается, что основой является Гаус-стеровский вектор X, кодирующий локализацию камеры на карте, X_v, точки на карте кодируются с учетом обратной глубины, Y_i. Плавное движение камеры кодируется в модели с постоянной скоростью. По этой причине расположение камеры (X_v), включает в себя: перевод (r^w), ориентация определяется кавернионом (q^rw), скорость (v^w) и угловую скорость (w^R). Гауссеровский вектор определяется средним значением x и ˆ ^{^} = (x_v^{^} y₁^{^} y₂^{^}…), и ковариацией, P. Монокуляр последовательно обрабатывает и восстанавливает 3D структуры до необходимого масштабного коэффициента. Чтобы исключить величину трансформации первая камера определяется как абсолютная начальная точка, W (см. рис. 1).

ID точки кодирования [4] улучшают линей-

Рис. 1. Камера (1) определяет границы кадра, W. Особенности, определяемые по отношению к положению камеры (2), (x_i, y_i, z_i)^T, используется расстояние между камерой (2) и функцию, d_i= 1/p_i, и направляющий вектор, m ( п,п), определяется азимут и угол его увеличения.

ность измерения, и, следовательно, EKF производительности при низком параллаксе, когда функция глубины больше перевода камеры. В результате, ID повышает производительность для карты, состоящей только из близких функций. ID функция 6 параметров вектора:

• У1 = Ш 2г 6i фг Pi) . (1)

Проекция точки луча на карте при первом наблюдении кодируется как: xi, yi, zi (место на камере, где точка наблюдалась в первый раз), si и xi(азимут и угол его увеличения), которые определяют в устройстве луч вектора, m (si,xi). Точка глубины кодируются обратно pi = 1/di, точкой, определяющей положение является xi (см. рис.1):

• (ХЛ /$Л 1 равфчзтбЛ

¹ I I ' + О, " " ^ ( ¹ ■^{l |}) I ^’ I (2) \2i) \Zi) Р' уСО5^СО89;У

Качество данных SLAM-реконструкции зависит от состояния данных ассоциации. Монокуляр SLAM сочетает точные геометрические показатели с оценкой корреляции изображения. EKF инновации определяет для каждой функции местоположение и эллиптическую неопределенность области на карте. Корреляция с текстурой патч внутри этой области, в нашем случае это 11x11 пикселей, определяется в первой точке на карте и меняется относительно перемещения камеры. Все точки связаны посредством положения камеры, совместимость их проверяется с помощью JCBB. Если нет, ветви и связанный с ними алгоритм применяют для определения несовместимых точек до обновления EKF.

Монокуляр SLAM в робототехнике использует корреляцию оценки, основанную на яркости, игнорируя информацию о цвете. Тем не менее внутренние образы имеют высокое красное и низкое синее содержание, поэтому мы используем зеленую полосу, высококонтрастную для редактора и хорошую текстуру для получения отличительных патчей для распознавания.

Для инициализации точки на карте применяется детектор значимости Харриса. В эндоскопе источник сета крепится к камере, что приводит к ошибочному отражению. Это происходит при производстве высокого уровня серых пикселей. Мы предполагаем, что если любой пиксель превышает порог патч, точка будет отклонена. Мы используем потоки 140-255.

Монокуляр SLAM фиксирует на 3D-карту редкие движения камеры вместе с соответствующими ковариациями. Мы предлагаем использовать карты SLAM, как геометрическую основу для поддержки информации в медицинских приборах.

На верхней части SLAM карты построена сетка из треугольных упругих текстурированных плиток. Предложен общий метод для трехмерной мозаики [14]. Стандартные 2D-плитки определяются методом триангуляции Делоне в проекции 3D-карты на плоскости, XY, с абсолютной величиной, W. Текстура 3D треугольника собирается из образов, который полностью повторяет соответствующий 3D треугольник. На рис. 2 показаны эскизы моделирования фотореалистичного процесса.

Так как триангуляции представляют собой живой процесс, точки на карте и, следовательно, треугольники непрерывно создаются, стираются, и их значения меняются. Выполняется операция сопоставления новых и старых треугольников и воспроизведения изображения по мере оценки SLAM.

Измерение расстояния необходимо для некоторых хирургических операций, например, при пластики вентральной грыжи необходимо определить размер сетки для пластики. Учитывая вероятностный масштабный коэффициент 3D карты, для элемента известного размера, например, инструмент, наряду с оценками погрешности измерения, можно рассчитать реальное расстояние между точками на карте.

На SLAM карте были измерены две опорные точки (r1, r2) на известном расстоянии, которые определяют коэффициент масштабирования (s), расстояние между двумя точками на карте является (I, j):

ah, = s——------

^m(ri, Г2)  ,  (3)

где dm(I, j) и dm(r1, r2) евклидово расстояние между точками на которые ссылаются опорные точки (r1, r2).

Так как расстояние зависит от положения вектора SLAM (x), оценка ковариации расстояния распространяется линейно от SLAM ковариации с помощью матрицы Якоби (J):

где все функции кодируются в ID. Так как d(I, j) зависит только от I, j, r1, и r2, J является редким значением и заменяется на (Jr) и ковариация (Pr) – матрицы используются для вычисления оценки погрешности изменений

Уг1Уг2

Уг2Уг2

Рис. 2. а) особенности 3D, текущее изображение в плоскости x-y. b) особенности проецирования на плоскости x-y и триангуляции в этой плоскости. c) триангуляция изображений обратного проецирования для получения текстур. d) конечная фотореалистичная реконструкция

Для AR-аннотации изображения в эндоскопе необходимы точные оценки движения камеры в режиме реального времени. Монокулярный SLAM оказался способен обеспечить движения камеры в режиме реального времени на 30 Гц, [2, 11], для недвижимых объектов основываясь на изображениях сделанных фотоаппаратом. AR полезен в лапараскопической хирургии, поскольку позволяет визуализировать значения других модальных изображений, такие как 3D-модели КТ или МРТ.

Наш вклад в том, чтобы показать, что EKF в SLAM монокуляре может успешно поддерживать AR-аннотации, используя для ввода последовательность изображений, соответствующих реальной эндоскопической картине брюшной полости.

Экспериментальная проверка выполняется на реальных изображениях (360x288) при 25 Гц сделанными при визуализации брюшной полости ручным монокулярным эндоскопом, последовательности изображений являются исходными данными для алгоритма. Режим реального вре- мени соблюдается во всех экспериментах. Внутренние параметры эндоскопа были откалиброваны с использованием стандартного плоского калибровочного шаблона - метод, основанный на растворе Zhang с последующим уравниванием. Была применена модель с искажением двух радиальных параметров.

На рис. 3 и 4 показана модель текстурированной треугольной сетки. Несмотря на малое количество точек, фотореалистичная модель обеспечивает простое понимание структуры 3D полости. На рис. 4 показан еще один пример фотореалистичной модели, соответствующей брюшной стенке во время операции герниопла-стики. Расстояния, вместе с погрешностями, были рассчитаны по отношению к шкале. Немедленный переход к реальным расстояниям возможен, если известно реальное расстояние между двумя точками в реконструкции (см. рис. 3). Рис. 3 (б) показывает оценку расстояний и погрешности. Первоначально, погрешность неопределенности является большой, но так как камера перемещается, точка расположения погрешнос-

Рис. 3. Ручной эндоскоп, 341 последовательный кадр. (а) несколько кадров. (c,d) фотореалистичная модель с оценкой расстояния 2с, 95% погрешности интервала. (b) Прошлые расстояния и оценки погрешностей. Обратите внимание на сокращение погрешности при движении камеры и сбора информации с разных точек, обеспечивающих получение высокого параллакса

Рис. 4. Ручным эндоскопом снята последовательно брюшная стенка:

(а) несколько кадров. (c,d,e) фотореалистичная 3D модель и цилиндрическая вставка расширенной реальности; (b) AR-цилиндр с наложением эндоскопического изображения

ти уменьшается, и, следовательно, погрешность расстояния также уменьшается. Поскольку неопределенность рассчитывается в режиме реального времени с обратной визуальной связью, это дает возможность хирургу самому перемещать камеру в необходимом направлении для того чтобы сократить погрешность в расстоянии.

Так как 3D-карты и расположение камеры по отношению к карте доступны в режиме реального времени, можно закрепить AR-аннотации для сопоставления точек. На рис. 4 показан трехмерный AR-цилиндр с наложением эндоскопического изображения. Виртуальные вставки крепятся к карте и отмечаются в реальном месте даже когда находятся вне поля зрения камеры FOV. Мы показали, как исследовать полость с помощью ручного монокулярного эндоскопа. Некоторые функции 3D-карты и движения камеры рассчитываются в режиме реального времени на 25 Гц с помощью эндоскопа, также было показано, как, основываясь на SLAM-карте, вычислить фотореалистичную модель полости в режиме реального времени. 3D-карта обеспечивает основу AR-аннотации и измерению 3D расстояния. Наша работа состоит в том, чтобы показать эти возможности на реальных изображениях, полученных при исследовании брюшной полости монокулярнымэндоскопом.

С помощью предложенного алгоритма ведутся работы по созданию, не имеющего аналогов в мире, аппаратно-программного комплекса «Виртуальный хирург» для 3D моделирования операционного процесса и учебно-методических модулей для системного обучения врача-хирурга методикам открытой хирургии с небольшим размером операционного поля, методикам эндоваскулярной хирургии и эндоскопической хирургии на этапах додипломного и последипломного образования.

ВЫВОДЫ

Как только мы протестировали возможности основной техники, некоторые области будущей работы оказались весьма перспективными. Эксперименты, проводимые в рамках работы для проверки точности медицинских изображений, будут весьма перспективны. Кроме того, сотрудничество между инженерами и врачами необходимо для определения медицинских операций, в которых применение технологии монокулярного SLAM наиболее выгодно; до сих пор мы сосредоточены на брюшной полости.

Данные алгоритмы предполагают: 1) сцены жесткости, 2) плавные движения эндоскопа, 3) низкие помехи движению. Эти предположения не имеют общей медицинской картины: жесткость, в основном, не преобладает, внезапные движения и инструменты вызывают значительный беспорядок. Данная работа основана на решении данных проблем. Перемещение алгоритмов может обеспечить устойчивость движениям [16,17].

Работы осуществляются при финансовой поддержке Министерства образования и науки Российской Федерации.