Подготовка изображений прозрачных объектов сложной формы при обнаружении дефектов системой технического зрения

Исследования в области технического зрения [1, 2] позволили достичь в последние годы существенного прогресса в практическом применении его в медицине, промышленности, транспорте, сфере общественной безопасности и т. д. Классификация задач, решаемых техническим зрением, позволила выбирать оптимальные алгоритмы для каждой конкретной проблемы. Однако при практической реализации конкретных алгоритмов возникает вопрос о выборе оптимальных параметров алгоритмов и (или) о предварительной обработке изображений. Предварительная обработка изображений позволяет улучшить эффективность работы алгоритмов, но последовательность обработки существенно зависит от конкретной рассматриваемой задачи [3-6].

Работа с изображениями прозрачных объектов также имеет определенные особенности. Исследования по обнаружению дефектов в прозрачных телах показывают, что принципиальную роль играет расположение источников освещения при фиксации изображений [7]. На фотографии прозрачных тел могут присутствовать достаточно близкие изображения объектов, не являющихся дефектами. В работе [8] для того чтобы отличать изображения капель воды на поверхности стекла от дефектов на границе стекла, была применена нейронная сеть SqueezeNet. Для изображений прозрачных объектов сложной формы также выявление дефектов выполняется на фоне изображений конструктивных деталей исследуемого объекта. Из-за малой разности показателей преломления внутреннего дефекта и материала детали на изображении контрастность дефектов [9] мала, что дополнительно осложняет их обнаружение.

Существует ряд методов повышения контрастности растровых изображений [10]. Одним из наиболее часто используемых методов для усиления визуального восприятия резкости является

Коржов А.В., Сурин В.А., Лонзингер П.В., Подготовка изображений прозрачных объектов Сафонов В.И., Бушмелев Я.В., Белов К.Н. сложной формы при обнаружении дефектов… метод нерезкого маскирования ( unsharp mask ) [11]. Однако его нежелательно использовать в системах анализа данных из-за чрезмерного усиления шумов. Наиболее часто используемым методом повышения контрастности изображений в технических системах является адаптивный метод эквализации гистограммы CLAHE ( Contrast limited adaptive histogram equalization ) [12] и его различные модификации [13]. Метод заключается в выравнивании яркости по гистограмме не на всём изображении разом, а в рамках некоторого окна заданного размера. Это позволяет добиться восстановления контрастности даже мелких деталей на изображении.

Частотная фильтрация также позволяет увеличить контрастность. Однопиксельная визуализация (SPI) имеет преимущества широкой полосы пропускания и возможности отображать объекты за пределами поля зрения. Однако основной проблемой SPI является большое количество требуемых шаблонов освещения [14]. При двухмерном преобразовании Фурье вклад в каждую комплексную амплитуду пространственных гармоник определяется всеми пикселями исходного изображения, что усложняет поиск универсального варианта частотной фильтрации Фурье-образов. В [15, 16] для обнаружения дефектов в матрицах LCD/TFT дисплеев применено одномерное преобразование Фурье по одной из декартовых координат, вдоль которой располагались изображения элементов конструкции. В работе [16] показано, что частотная фильтрация одномерного преобразования Фурье позволяет убрать из изображения элементы фонового объекта и повысить контрастность дефектов.

Целью настоящей работы является исследование особенностей частотной фильтрации для изображений объектов сложной формы и выявление условий, в которых рассматриваемый метод имеет преимущества перед другими методами подготовки изображений для систем технического зрения.

Получение изображений

Экспериментальная установка включает в себя равномерный источник света, исследуемый прозрачный объект, камеру для регистрации прямого изображения и ЭВМ с программным обеспечением, позволяющим сохранять изображения. На рис. 1, а показана принципиальная схема установки, на рис. 1, б – фотография прототипа, используемого для апробации в условиях производства изоляторов ПС-70Е.

В качестве равномерного источника освещения использовался источник белого света (4000 К) размером 300×300 мм со световым потоком 2350 Лм, что позволило получить набор изображений стеклянных деталей изоляторов ПС-70Е с дефектами. Изображения объекта регистрировались на цифровую камеру (SUFCO SU100-HB), после чего передаются в компьютер.

Установка позволяет получить только одно изображение детали вместо набора фотографий с различных ракурсов. Принципиальная схема установки (см. рис. 1, а ) выбрана максимально простой, что позволило использовать ее для прототипа системы машинного зрения на производстве (см. рис. 1, б ). Набор изображений изоляторов ПС-70Е с дефектами был получен на экспериментальной установке (см. рис. 1) при апробации системы машинного зрения.

а)                                                             б)

Рис. 1. Экспериментальная установка: а) принципиальная схема, б) фотография прототипа

Метод обработки изображений

Для анализа изображений объектов сложной формы разделим исходное изображение на набор линий, проведенных вдоль изображения элементов конструкции детали (перпендикулярно градиенту интенсивности изображения детали без дефекта). Эти линии замкнутые, и для набора пикселей, располагающихся вдоль линии, можно применить одномерное Фурье-преобразование. Поскольку линии располагаются вдоль изображения элемента конструкции, то интенсивность в пикселях будет отличаться незначительно на всех участках, кроме места пересечения с дефектами, что значительно облегчает фильтрацию изображения конструкции и выявления дефектов.

Математика

Для формирования одномерных функций можно применить следующий алгоритм. Для точки 1 изображения следующая точка 2 выбирается так, чтобы вектор перемещения был перпендикулярен градиенту интенсивности в точке 1. Если проекция шага на направление, перпендикулярное градиенту, будет менее одного пикселя, точка 2 принадлежит ранее выбранной кривой, из точки 2 процедура выбора повторяется и находится точка 3. Расстояние между точками 1 и 3 не должно превышать 1 пиксель. После замыкания кривой делается шаг на один пиксель в сторону внешней границы изображения и начинается аналогичное построение следующей кривой. Алгоритм начинается из центра изображения объекта и заканчивается на одном из его краев. В общем случае под центром объекта подразумевается точка пересечения двух перпендикуляров, каждый из которых пересекает все контуры на изображении.

Для изображения стеклянной детали изолятора ПС-70Е, обладающей осевой симметрией, применение описанного алгоритма позволило разделить изображение на концентрические окружности с центром в середине изображения. В силу дискретности изображения реальные кривые найдены как их приближения по алгоритму Бресенхэма [17]. Алгоритм Бресенхэма применен для увеличения производительности алгоритма при переходе с одного пикселя на другой в рамках одной замкнутой кривой.

Применим преобразование Фурье к каждой из полученных дискретных функций. В Фурье-образе преобладают низкие гармоники, соответствующие изображению элементов детали, и высокие гармоники, соответствующие дефекту. После частотной фильтрации верхних гармоник выполним обратное одномерное преобразование Фурье. На последнем шаге проведем сборку двумерного изображения объекта из набора одномерных изображений.

Результат обработки изображений

Проиллюстрируем применение описанного подхода на примере изображения стеклянной детали изолятора ПС-70Е в оттенках серого с разрешением 1024^1024 пикселей. Участок изображения с двумя дефектами (пузыри воздуха диаметром 1 мм) показан на рис. 2, а для расположения дефектов на монотонном и контрастном фоне. Результат применения описанного выше алгоритма показан на рис. 2, б . Расположение дефектов дополнительно помечено красной рамкой на каждом рисунке.

а)                                      б)                                             в)

Рис. 2. Участок изображения стеклянной детали изолятора ПС-70Е с дефектом: а) исходное изображение, б) изображение после частотной фильтрации, в) попиксельная разность изображений

Для оценки эффективности метода на рис. 2, в построены значения разностей модулей для пикселей исходного изображения (см. рис. 2, а ) и соответствующих пикселей изображения после частотной фильтрации (см. рис. 2, б ) [5]. Положительные значения разностей соответствуют уменьшению контрастности по отношению к фону всего объекта, отрицательные - ее увеличению. Из представленных данных можно заключить, что изображения элементов объекта подверглись ощутимому уменьшению контрастности, в то время как контрастность дефектов увеличилась или не изменилась.

Из анализа рис. 2 можно сделать вывод, что визуально контрастность дефектов увеличилась, но шум после обратного преобразования Фурье сохранился (см. рис. 2, б ). В результате не была достигнута полная фильтрация изображения дефекта. Поэтому также было проведено исследование применения алгоритма шумоподавления (медианный фильтр с ядром 3) [18] и детектор границ Canny [19] после преобразования Фурье. Результаты показаны на рис. 3 после последова-

Коржов А.В., Сурин В.А., Лонзингер П.В., Подготовка изображений прозрачных объектов Сафонов В.И., Бушмелев Я.В., Белов К.Н. сложной формы при обнаружении дефектов… тельного применения к исходному изображению (рис. 3, а ) преобразования Фурье (рис. 3, б ), шумоподавления (рис. 3в), обнаружения границ (рис. 3, г ). Настраиваемые параметры детектора Canny для дефекта на контрастном фоне: максимальный порог равен 250, минимальный – 200. Для дефекта на белом фоне соответствующие параметры равны 50 и 0.

a)

в)

г)

Рис. 3. Участок изображения стеклянной детали изолятора ПС-70Е с дефектом: а) исходного, б) после частотной фильтрации, в) после шумоподавления, г) после обнаружения границ

б)

Следует отметить, что, по сравнению с исходным изображением (см. рис. 3, а ), для дефекта на контрастном фоне размер в пикселях на конечном изображении (см. рис. 3, г ) несколько уменьшился, но на рис. 3, г все остальные элементы изолятора уже отсутствуют. Другой результат получился для объекта на монотонном фоне. Преобразование Фурье фактически не изменило контрастность дефекта по отношению к фону вблизи дефекта. Определение границ позволило выявить оба дефекта (см. рис. 3, г ).

Для оценки эффективности каждого из этапов преобразования была оценена медианная освещенность (средняя освещенность, вычисленная как медиана всех яркостей изображения) участков изображения: для дефектов на контрастном (участок 1) и монотонном фоне (участок 2), для участка с деталью изолятора (участок 3), для участка вне детали изолятора (участок 4). Расположение анализируемых участков изображения (см. рис. 3, а ) одинаково и на рис. 3, б - г . Эквивалентную контрастность оценивали как сумму модулей разности освещенностей участков 3 и 4 по отношению к участку 1 и для участка 2 по отношению к участку 4. Результаты представлены в табл. 1.

Таблица 1

Медианная освещенность и эквивалентная контрастность

Изображение	Рис. 3, а	Рис. 3, б	Рис. 3, в
Участок 1	210	163	163
Участок 2	233	240	242
Участок 3	146	238	226
Участок 4	249	255	255
Контрастность дефекта 1 на общем фоне (участок 4)	103	167	155
Контрастность дефекта 2 на фоне изображения детали объекта (участок 3)	16	15	13

Работа нейросетевого метода с изображениями различной контрастности

Для определения области применения рассмотренной выше методики обработки изображений было проведено исследование влияния контрастности изображения на эффективность обнаружения дефектов разработанным ранее нейросетевым методом, который использует CLAHE для предобработки изображений [9]. Оценка степени влияния контрастности выполнена путем численных экспериментов над изображениями, полученными методом цифровой обработки исходного изображения [20]. За 100 % контрастности взято изображение с дефектами различного размера со стандартным уровнем шума. Новые изображения с ослабленной контрастностью генерируется на основе сужения гистограммы яркостей к значению 128 по всем трем каналам цвета [21]. Изображения имели уровень контрастности 80, 60, 40 и 20 процентов относительно исходного изображения (рис. 4).

Зависимости размера обнаруживаемого дефекта (мм) при различной контрастности изображения и различном качестве изображения показаны в табл. 2 для монотонного фона (рядом с

Математика

изображением дефекта нет изображений конструкции детали) и в табл. 3 – для контрастного фона (изображение дефекта на фоне элемента конструкции прозрачной детали, см. рис. 3).

Таблица 2

100%         80%          60%          40%         20%

Рис. 4. Участок изображения с различным уровнем контрастности

Медианная освещенность и эквивалентная контрастность

Контрастность / Size	100 %	80 %	60 %	40 %	20 %
1024 (4 пикс/мм)	1	1	1,5	2	2,5
2048 (8 пикс/мм)	1	1	1	1,5	2
4096 (16 пикс/мм)	0,5	0,5	1	1	1,5

Таблица 3

Размер обнаруживаемого дефекта для контрастного фона

Контрастность / Size	100 %	80 %	60 %	40 %	20 %
1024 (4 пикс/мм)	2	2	3,5	4,5	4,5
2048 (8 пикс/мм)	1,5	2,5	2,5	3,5	3,5
4096 (16 пикс/мм)	1,5	1,5	2	2,5	3

Анализ данных в табл. 2 и 3 показывает, что для более контрастного изображения нейросетевой метод уверенно обнаруживает дефекты меньшего размера. Для всех рассмотренных разрешений (1024×1024, 2048×2048 и 4096×4096) повышение контрастности с 20 до 100 % позволяло выявлять дефект с размерами в 2–2,5 раза меньше. Улучшение качества изображения, естественно, позволяет выявлять дефекты меньшего размера. При неизменном размере дефекта, который должен быть выявлен системой технического зрения, уверенная работа нейросетевого метода достигается на менее качественных изображениях объектов.

Обсуждение результатов

Предварительная обработка изображений при использовании различных алгоритмов выявления дефектов может быть произведена различными способами. Нужно определить общий критерий целесообразности указанных преобразований.

Цифровое изображение объекта сложной формы можно представить в виде суммы подмножества пикселей D , соответствующих дефекту, и подмножества пикселей O , соответствующих элементам объекта. После проведения преобразований для повышения контрастности значения элементов соответствующих групп будут D' - для дефекта и O ' - для объекта. Преобразование будет считаться эффективным, если выполняются следующие условия:

'O ‘- O < 0 (1)

< D '- D | < | O '- O | если D'-D > 0

round( D ') >  m + 3 • a .

В (1) round( D') - элементы матрицы, округленные до целых; m и а - математическое ожидание и дисперсия матрицы преобразованного изображения. Преобразование эффективно, только если в алгоритме не использовалась априорная информации о типе, размерах и расположении дефекта.

Данные на рис. 2, в позволяют говорить о том, что при проведенном преобразовании соблюдаются первое и второе условия в (1), а именно контрастность дефекта ослабляется сильнее контрастности объекта на общем фоне.

В качестве примера для оценки соответствия третьему условию из изображения было выделено окно в виде квадрата 10×10 пикселей, в центре которого расположен центр тяжести дефекта на контрастном фоне. Для данного окна m + 3 ^a = 8,19 + 3 ^ 19,67 = 67,21. При этом диапазон значений пикселей дефекта лежит в пределах от 80 до 117,83, что позволяет выделять дефект на фо-

Коржов А.В., Сурин В.А., Лонзингер П.В., Подготовка изображений прозрачных объектов Сафонов В.И., Бушмелев Я.В., Белов К.Н. сложной формы при обнаружении дефектов… не шума. Таким образом, все три условия (1) выполнены, что говорит об эффективности проведенной частотной фильтрации для дефектов на контрастном фоне.

В результате рассмотренной в работе модификации на основе преобразования Фурье общая контрастность изображения дефекта на контрастном фоне стала выше по сравнению с элементом детали изолятора и с пространством между деталями (см. табл. 1). Основной эффект заключается в том, что значения пикселей для дефекта стали отличаться от пикселей для остального изображения (см. рис. 3, в ), что позволило создать алгоритм обнаружения границ и выделить только дефекты (см. рис. 3, г ). Таким образом, последовательное применение алгоритмов позволило повысить вероятность выявления дефектов на контрастном фоне при помощи алгоритмов технического зрения. Следует отметить, что это было достигнуто подбором параметров алгоритмов фильтрации, например алгоритма определения границ. Если снизить порог, то на изображении появятся отдельные пиксели, не относящиеся к дефектам. Но даже в этом случае дефекты будет состоять из нескольких пикселей (8 пикселей на рис. 3, г ) и могут быть выявлены по своему размеру.

Для дефекта на монотонном фоне значения пикселей практически не изменились. Также практически не изменилась и относительная контрастность изображения дефекта. Следовательно, обработка изображений должна отличаться для случая монотонного и контрастного фона. Например, параметры алгоритма выделения границ могут зависеть от средней интенсивности фона и могут определяться на основе априорной информации о прозрачном объекте.

Рассмотренный метод частотной фильтрации одномерных Фурье образов можно применить к другим объектам сложной формы, поскольку он не накладывает каких-либо ограничений на их геометрию, типы и форму дефектов. Для эффективного применения метода необходимо, чтобы размер дефекта на изображении составлял несколько пикселей, чтобы отличить дефект от шума. Допустимый уровень шума в исходном изображении для эффективного применения метода является предметом дальнейших исследований. Необходимо оценить изменение эффективности разработанного нейросетевого метода [9], когда в качестве входной информации поступают изображения, обработанные описанным методом.

Если изображение получено в свете, прошедшем через объект, то в результате обработки можно выявлять внутренние и поверхностные дефекты. Для изображений в отраженном свете метод позволяет выявлять только поверхностные дефекты. Также несложно обобщить указанный метод на цветные изображения и проводить анализ только для отдельного цветового диапазона

Данные об эффективности работы нейросетевого метода с имитацией изменения контрастности изображения (см. табл. 2 и 3) показывают, что предложенный алгоритм обработки изображений будет иметь свою собственную область эффективного применения. Выигрыш может достигаться за счет выявления дефектов меньшего размера при обработке более качественного изображения. Выигрыш по используемым вычислительным ресурсам может достигаться за счет выявления дефектов необходимого размера по изображениям среднего или низкого качества. Какой критерий будет определяющим, зависит от конкретного использования системы машинного зрения. Согласно данным [22], полученным для изоляторов ПС-70Е, выявление дефектов размером менее 1 мм может оказаться необходимым, но разработанный нейросетевой метод не справляется с выявлением этого дефекта из-за малой контрастности и низкого разрешения изображения.

Выводы

Предложен алгоритм предварительной обработки изображений для выявления дефектов системами технического зрения, основанный на разбиении двумерного изображения на набор одномерных изображений. Особенность алгоритма в том, что частотная фильтрация применяется для каждого из одномерных изображений. Алгоритм может применяться для широкого класса изображений прозрачных объектов с дефектами, в которых конструктивные детали находятся поблизости с изображением дефектов.

На примере изображения изолятора ПС-70Е продемонстрировано, что применение алгоритма позволяет увеличить контрастность изображения дефекта на фоне изображения конструктивных элементов изолятора, а также и на внешнем белом фоне.

Показано, что контрастность и разрешение изображения являются одними из определяющих факторов, влияющих на эффективность работы нейросетевого метода обнаружения дефектов.

Математика

Применение рассмотренного метода повышения контрастности позволит либо увеличить эффективность работы системы технического зрения, либо уменьшить требования к аппаратному обеспечению, необходимому для построения системы.

Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации (государственное задание на выполнение фундаментальных научных исследований №FENU-2023-0025 (2023025ГЗ)).