Метод получения трехмерных цифровых моделей технических объектов, основанный на применении искусственных текстур

Трехмерные модели технических объектов могут быть созданы различными методами прямого моделирования, а также методами обратного моделирования – получением трехмерных моделей по существующим физическим объектам или имеющимся компьютерным моделям. Первым этапом обратного моделирования обычно является процесс 3D-сканиро-вания, позволяющий с высокой точностью определить геометрию объекта. Технология 3D-сканирования существует более 14 лет, но только в последнее время возможности программно-аппаратного обеспечения сделали ее доступной для различных областей применения. При выборе метода измерения важны следующие критерии:

– точность – степень соответствия данных измерения реальному физическому объекту;

– уровень шума – хаотическое отклонение точек от измеряемой поверхности;

– разрешение – оно должно быть менее половины размера самой мелкой существенной детали объекта. Прямой связи разрешения с точностью не существует;

– диапазон измерений – минимальное и максимальное расстояние от объекта до сканера. Если размер объекта превышает диапазон, необходимо сделать множество измерений. Близкий критерий: покрытие – возможность измерять труднодоступные участки;

– универсальность – возможность измерять объекты различных размеров, форм и оптических свойств в различных условиях освещения. Позволяет уменьшить количество необходимого оборудования;

– мобильность системы сканирования, включая расчёт времени измерения;

– время измерения – состоит из времени установки (включая время на калибровку сканера, а также время на подготовку объекта) и времени сканирования;

– простота применения – возможность подготовить объект и провести сканирование персоналом, не имеющим специальных знаний и навыков. При этом степень контроля над процессом сканирования и соответственно качество измерения снижается;

– безопасность использования – некоторые типы измерительного оборудования вредны для органов зрения и должны применяться с соблюдением правил безопасности.

3D-сканирование нашло применение в различных областях.

В промышленном производстве с помощью 3D-сканирования осуществляется:

– контроль точности изготовления – устанавливается степень отличия от проектной документации;

– обратная инженерия (Reverse engineering) – раскрытие дизайна, функционирования и способа производства продукции конкурентов;

– цифровое архивирование для воспроизводства устаревших компонентов, изделий с утерянной конструкторской документацией, а также геометрических моделей из устаревших систем проектирования без необходимости повторного проектирования;

– разработка компонентов для существующих товаров и изделий, разработка упаковки по форме физического объекта (переоборудование и вторичный рынок);

– репродукция в масштабе существующих объектов (модели и макеты);

– производство оснастки для ремонта, обновления и замены изношенных деталей.

3D-сканирование широко применяется в дизайне. Это обеспечивает эргономичность – т. е. сочетание проектируемого изделия в CAD-системе с формой тела человека, траекторией движения конечностей и заданным расположением относительно органов чувств; эстетичность – объекты, созданные дизайнером вручную, сканируются для получения цифровой модели (например, глиняные модели, используемые при проектировании корпусов автомобилей). В промышленном дизайне отсканированный объект используется для дизайнерской работы. Отсканированные данные отправляются в 3D CAD-программу, где они становятся базой или ссылкой для проектировочных изменений.

В области искусства и развлечения с помощью 3D-сканирования создаются изображения для трехмерного кино и телевидения, а также 3D-цифровые объекты для игр, анимации, спецэффектов и презентаций.

3D-сканирование применяется также в медицине для репродукции человеческой анатомии для изделий, изготовленных на заказ, или вспомогательных изделий, таких как протезы, слуховые аппараты, мос-ты/коронки, при создании имплантатов и хирургических инструментов.

3D-сканирование может сыграть важную роль в сохранении культурного наследия, поскольку с его помощью осуществляется каталогизация, сохранение или восстановление культурных артефактов, скульптур, исторически значимых объектов, зданий, архитектурных орнаментов, а также археологических находок.

Для получения 3D-моделей в настоящее время применяются различные методы измерения формы

(рис. 1) [1]. Среди бесконтактных методов измерения наибольшее распространение получили активные методы с применением источников света в виде лазерных сканеров или структурированного света, а также пассивный метод стереоскопического соответствия.

Особенности, область применения, достоинства и недостатки этих методов измерения см. в таблице.

Рис. 1. Основные методы измерения, применяемые для получения трехмерных моделей

Бесконтактные методы измерения формы объекта

Метод	Лазерное сканирование	Структурированный свет	Стереоскопическое соответствие
Принцип работы (рис. 2) [2]	На измеряемый объект проецируется лазерный луч (в виде точек, линии или сетки). Проекция луча снимается камерой и обрабатывается (рис. 2, а )	На объект проецируется набор изображений в виде полос с помощью проектора. Изображение снимается камерой и обрабатывается (рис. 2, б )	Используется множество камер (или одна камера и разные точки съемки). Координаты точек получаются в результате компьютерной обработки
Основное использование	В системах автоматизированного контроля на производстве	Для измерения лица, частей тела человека, предметов искусства	Для измерения любых, обычно крупных объектов, которые можно снять фотокамерой
Основные недостатки	Большое время сканирования. Сложно измерять подвижные объекты. Опасно для зрения	Невозможна работа вне помещений, желательно затемнение	Трудно автоматизировать. Большие вычислительные ресурсы, множество камер или точек съемки
Основные преимущества	Возможность сканирования очень маленьких объектов и измерений в различных условиях освещения. Простая калибровка	Высокая скорость сканирования – миллионы точек в секунду. Лучший метод измерения подвижных объектов, людей. Безопасно для зрения	Единственный метод измерения, если установка проектора или лазера невозможна. Возможно измерение выбранных точек большого объекта
Точность измерения	Высокая	Высокая	Высокая
Разрешение	Высокое, если время сканирования велико	Высокое, зависит от разрешения проектора	Зависит от разрешения камеры
Универсальность	Требуется различное аппаратное обеспечение для каждой размерной зоны. Качество сильно зависит от оптических свойств объекта	Требуется различное аппаратное обеспечение для каждой размерной зоны. Качество сильно зависит от оптических свойств объекта	Измеряются только точки-маркеры на объекте. Мало зависит от оптических свойств объекта

Окончание таблицы

Метод	Лазерное сканирование	Структурированный свет	Стереоскопическое соответствие
Диапазон измерений	От миллиметров до десятков метров	От 50 мм до 10 м	Не ограничен
Мобильность	Низкая. Существуют мобильные исполнения	Средняя	Высокая. Достаточно камеры и калибров
Время измерения	Большое (от десятков секунд до нескольких минут на измерение)	Очень малое, от миллисекунд до десятка секунд	Время сканирования мало, но время и ресурсы последующей обработки велики
Простота применения	Средняя	Низкая	Высокая
Уровень шумов	Низкий	Средний	Средний
Безопасность	Низкая	Средняя	Высокая

а

б

Рис. 2. Принцип работы лазерного сканирования ( а ) и сканирования с применением источника структурированного света ( б )

Современное оборудование объемного сканирования имеет ряд существенных недостатков: высокую цену, низкую универсальность, чувствительность к условиям освещения и оптическим свойствам измеряемых объектов. Проанализировав недостатки трех основных методов, применяемых для 3D-сканиро-вания, авторами статьи предлагается новый метод получения трехмерной геометрии тел сложной формы. Метод основан на усовершенствовании существующего метода стереоскопического соответствия [3; 4].

Суть метода заключается в следующем.

Проводится предварительная подготовка измеряемого объекта путем нанесения на него искусственной текстуры, состоящей из разреженных точек и линий (полученных аэрографией, фломастером и т. п.), дополнительно к опорным меткам, применяемым в исходном методе [4]. Текстура должна быть контрастна объекту и может быть многоцветной. Нанесение текстуры не слишком усложнит подготовку объекта. Обычно при измерении активными методами на объект наносится матовое белое покрытие.

Затем определяются координаты центров опорных меток, далее – геометрия пространственных кривых (рис. 3) и, наконец, строится плотное облако точек по искусственной текстуре.

При использовании данного метода возможно два основных варианта измерений:

– со свободной камерой. Кроме измеряемого объекта в кадре может находиться одна или несколько калибровочных поверхностей со специально нанесенным рисунком для предварительного грубого определения положения камеры в пространстве и уменьшения объема последующих вычислений;

– с использованием поворотного стола и устройства точного позиционирования камеры. В этом случае размеры объекта будут ограничены размерами устройств позиционирования, но точность существенно вырастет.

Для получения опорных точек объект обклеивается кодированными метками с размерами 1…2,5 % зоны измерения. Метка представляет собой напечатанные на принтере грубо нарезанные квадратики с разноцветными углами. Центральная часть метки – это окружность с двумя черными и двумя белыми секторами. При обработке снимков центр метки находится с субпиксельной точностью по изображению окружности и точки пересечения секторов. Задача нахождения соответствия кодированных меток решается путем распознавания отдельных меток по цветам их углов с помощью библиотеки OpenCV (URL: .

Для вычисления координат точки искусственной текстуры необходимо обработь минимум два снимка, большее количество снимков повышает точность измерения за счет использования обработки методами математической статистики. Для измерения установим объект в фиксированной системе координат. Положение опорной точки A (XAYAZA) определяется в глобальной системе координат XYZ, связанной с объектом, или a (xayaza) в фотограмметрической системе координат xyz (рис. 4).

а

б

Рис. 3. Процесс получения первичных опорных точек ( а ) и кривых на поверхности объекта ( б )

вторичные оси x , y , z (оси базовой системы координат) (рис. 4, а ) [3].

Если переместить начало координат на расстояние T_x , T_y , T_z и применить масштаб K , то получим семь параметров трансформации T x , T y , T z , to , ф , X , K [4]. Принцип центральной перспективной проекции показан на рис. 4, б . Точка на изображении светочувствительной матрицы камеры a ( x a , y a , – f ) с фокусным расстоянием f , центр перспективы 0 ( X ₀ Y ₀ Z ₀) и соответствующая точка объекта A ( X A Y A Z A ) находятся на одной прямой A 0 a . Уравнение колинеарности позволяет найти координаты изображения ( x a , y a ) по координатам объекта ( X A Y A Z A ).

_    ( Гц ( X A - X 0 ) + Г 12 ( Y A - Y ) + Г 1з ( Z A - Z 0 ).

X_n = - f                                                ;

a ^J ( Г 31 ( X A - X o ) + r ,2 ( Y A - Y o ) + Г 33 ( Z A - Z 0 )

= _ _f ( Г 21 ( X A - X 0 ) + Г 22 ( Y a - Y 0 ) + Г 23 ( Z A - Z 0 )

ya Ч Г31 (Xa - X0 ) + Г32 ( Ya - Y0 ) + Г33 (Za - Z0), где rij – элементы матрицы вращения R, для которой необходимо определить углы поворота, т. е. нужно решить уравнение для плоской проекции точки на матрицу камеры. Техника взаимного соответствия изображений дает возможность одновременного нахождения положения камеры относительно объекта и исправления искажений оптики (калибровки). Эти уравнения могут быть записаны в виде

F ( x , b , a ) = 0

или

Матрица трансформации вращения R может быть определена как

cos ф cos X

R = - cos ф sin X

sin to sin ф cos X + cos to sin x - sin to sin ф sin X + cos to cos X

x ₁

b y b_x

y ₁

b z

bx

- f = 0,

x ₂ y ₂    z ₂

sin ф         - sin to cos ф

- cos to sin ф cos X + sin to sin X cos to sin ф cos X + sin to cos X cos tocosф где to, ф, x — последовательные трансформации вращения первичных осей x′, y′, z′ (оси модели) во где bx, by и bz – расстояния между центром проекции двух фотографий (рис. 4, в) в системе XYZ; x1, y1 – координаты точки на проекции первой камеры; f – фокусное расстояние; x2, y2, z2 – координаты точки на проекции второй камеры относительно координатной системы первой.

а                                    б                                            в

Рис. 4. Матрица трансформации вращения ( а ); центральная перспективная проекция на сенсор камеры ( б ); проекция трехмерной точки A в точки а ₁ и а ₂ на два различных снимка с различными положениями камеры ( в )

С учетом матриц вращения и перемещения получим

* 2		Г * 2 1		Г b * 1
У 2	= R	' У 2	+	b y	.                         (5)
^ 2		_ z 2 _		_ bz _

Здесь R определяется из уравнения (1). После определения положения координат камеры по первому снимку положение остальных снимков будет определяться в системе координат первого.

Чтобы определить положение в абсолютной системе координат сцены, нужно описать геометрию опорных точек объекта в глобальной системе координат с помощью ориентации. Положение оси Z определяется как нормальное к плоскости, на которой располагается измеряемый объект. Масштабный фактор определяется по данным обработки множества снимков с элементом геометрии с известным размером. Выравнивание объекта достигается вращением относительно осей X и Z (т. е. ф = 0 в матрице вращения).

Уравнения трансформации для фотограмметрической системы ( xyz ) относительно глобальной системы координат ( XYZ ) примут вид

где ( X 0 Y 0 Z 0 ) – координаты камеры в глобальной системе координат измеряемого объекта; K – предварительно вычисленный для данной камеры масштабный коэффициент (при измерениях со свободной камерой вычисляется обработкой изображений калибра с известной геометрией); R – матрица вращения с углами вращения ю и % , полученными ранее ( ф = 0). Координаты любой опорной точки в системе координат ( XYZ ) будут вычисляться из уравнения (6).

Для варианта со свободной камерой ее координаты вычисляются по фотограмметрическим меткам, в варианте с позиционирующим механизмом все угловые положения камеры на снимках известны (возможна дополнительная калибровка по объектам простой формы с известной точной геометрией).

На последнем этапе получаем плотные облака точек в системах координат реперных точек и кривых при помощи сопоставления множества изображений с искусственными текстурами, используя модификацию метода Patch-based Multi-view Stereo [5]. Модификация заключается в использовании компенсации искажений оптики методом Tsai [6] и применении разных весов точек в изображениях точек на матрице. Для обеспечения большей точности и разрешения дополнительно производится съемка выбранных зон с большим увеличением и разрешением.

Метод был испытан при измерении двух объектов, сложных для измерения обычными оптическими методами – стальной полированной сферы с диаметром 50 мм и прозрачного акрилового кубика с размером стороны 50 мм. На объекты были нанесены по 24 опорных метки (очень тонкая пленка 3 × 3 мм) и текстуры из капелек черной туши с плотностью около 0,6 мм. При обработке снимков искуственной текстуры было выявлено около 36 800 точек на кубике и 19 400 на сфере. Погрешность измерения опорных точек со свободной камерой после обработки 72 снимков c разрешением 12 Mpix не превысила 0,02 мм (0,04 %). Погрешность измерения искуственных точек текстуры составила не более 0,05 мм (0,1 %).

Новый метод получения трехмерных цифровых моделей технических объектов, основанный на применении искусственных текстур, отличается следующими достоинствами:

– низкой стоимостью оборудования для сканирования – достаточно использовать обычные цифровые фото или видеокамеры с набором распечатанных меток и подготовить объект путем нанесения искусственных текстур;

– возможностью получения качественных результатов на объектах со сложными оптическими свойствами поверхностей – с высокой отражающей способностью, прозрачностью, высокой степенью поглощения света;

– возможностью съемки подвижных и быстро деформируемых или колеблющихся объектов в условиях естественного освещения;

– простотой последующей обработки. После сканирования другими методами требуется трудоемкая обработка, включающая в себя получение частичных облаков точек, объединение облаков точек в единую модель, наложение на модель сетки кривых и обтягивание ее лоскутами поверхностей. При использовании нового метода сразу получаем геометрическую единую модель объекта, возможно, с нанесенной сеткой кривых. Нанесение кривых на этапе подготовки объекта проще, чем на этапе обработки компьютерной модели;

– возможностью сохранения естественного цвета и текстуры объектов за счет нанесения разреженной структуры и неполного окрашивания;

– возможностью проработки очень мелких деталей путем нанесения более густого облака точек в выбранных областях и дополнительной съемки этих мест.

Планируется дальнейшая последующая обработка облака точек с целью получения поверхностных и твердотельных NURBs-моделей.