Разработка алгоритма обнаружения дефектов в стеклянных изоляторах на основе компьютерного зрения с использованием нейросетевого подхода

Изоляторы являются одной из важнейших частей электрических сетей. Любой дефект, расположенный внутри или на поверхности изделия, может повлиять на механические и электроизоляционные качества этого изделия. В настоящее время для определения наличия дефектов, включающих пузыри, сколы, складки, нарушение формы, используется визуальный осмотр человеком. В условиях конвейерного производства такой способ вносит определенные ограничения на производительность линии ввиду большого объема операций, выполняемых персоналом при осмотре заготовки, и температуры заготовки после закалки.

Для увеличения производительности при осмотре обнаруживают и фиксируют только первый дефект, по которому заготовку можно отнести к браку. Соответственно, полной картины дефектов в заготовках в таких условиях получить невозможно. Дополнительно влияет человеческий фактор, к которому можно отнести, например, усталость глаз. Добиться постоянно высокого уровня внимательности сотрудника, осуществляющего проверку заготовок, невозможно.

Автоматизация процесса контроля качества на основе компьютерного зрения обладает рядом преимуществ перед ручной проверкой [1]. Теоретически такой подход позволит увеличить скорость проверки дефектов. Отсутствие в процессе проверки человеческого фактора решает ряд ранее указанных проблем. Все обнаруженные компьютерным зрением дефекты будут фиксироваться, что позволит получать более полную картину о дефектах в заготовках, возникающих во время процесса отливки, формовки и закалки изоляторов.

Задачи обнаружения объектов на изображении в настоящее время наиболее эффективно решаются с помощью нейронных сетей [2]. Стандартный метод действий для детекции объектов

Математика

при обучении нейронных сетей заключается в сборе исходных данных и их разметки. Однако рассматриваемые в данной статье объекты являются прозрачными. При получении цифрового изображения прозрачного объекта возникает ряд проблем, которые требуется учитывать.

Особую роль играет освещение, которое, отражаясь от объекта съемки, проходит через объектив цифровой камеры и формирует изображение на светочувствительной матрице. Прозрачные объекты отражают свет не полностью, остальной свет проходит сквозь прозрачный объект. Поэтому снимки прозрачных объектов будут характеризоваться низкой контрастностью. Контрастность характеризует степень отличимости некоторого объекта от фона и является одной из основных характеристик изображений [3]. Чем выше контрастность, тем проще отличить дефект на фоне окружающей его области прозрачного объекта, соответственно, задача обнаружения упрощается. Следовательно, требуется подбирать вариант освещения, при котором контрастность прозрачного объекта и деталей этого объекта на получаемом изображении будет высокой. При этом стоит избегать засвеченных участков изображения (бликов), яркость которых выше предела чувствительности цифровой матрицы при выбранных вручную или автоматически камерой параметров съемки. Блики появляются вследствие отражения поверхностью объекта света от источника прямо в объектив камеры.

Появление бликов можно избежать, правильно выстроив свет при съемке изображения, но другие помехи также могут стать проблемой при последующем анализе изображений. К помехам, которые могут стать препятствием к поиску и идентификации дефектов, можно отнести цифровой шум, низкую контрастность, геометрические искажения и низкое качество изображений. Их исправление в некоторых случаях является необходимостью перед использованием методов и алгоритмов поиска и идентификации дефектов.

Таким образом, наличие шумов может существенно ухудшить качество анализа, а недостаточная контрастность, особенно при работе с прозрачными объектами, усложняет процесс обнаружения дефектов [4]. Одним из способов повышения контрастности изображений является применение методов компьютерной обработки. Тем не менее увеличение контрастности может привести к росту уровня шумов, что создает необходимость в использовании методов шумоподавления [5]. Следовательно, процесс улучшения изображений для обнаружения дефектов требует сбалансированного подхода: с одной стороны, необходимо усилить контраст для более точного выявления дефектов, а с другой стороны, минимизировать возникающие при этом шумы, чтобы избежать ошибок анализа.

Сбор данных и предобработка

Данные представляют собой набор изображений изоляторов с дефектами различного типа.

Так как расположение и форма дефектов могут отличаться, то для увеличения набора данных кроме реальных изображений использовались сгенерированные данные [6], а также применялась аугментация с поворотом изображений. Растяжение и сжатие использовать недопустимо, так как геометрия заготовки меняться не должна.

Перед обучением нейронной сети каждое изображение обрабатывалось в несколько этапов для уменьшения шумов и увеличения контрастности (рис. 1). Полученные фотографии преобразовывались из формата RGB в формат HSV, который состоит из тона, насыщенности и яркости ⁽ y hsv = \\y ij\ I - где ( i’j ) [ y i,j = ( h ij ’ ^sij ^-vj ) ^- h,s,v... ] ). Преимуществом модели HSV является возможность раздельной работы с каналами яркости и цвета, что позволяет отдельно работать с каждым из них. Канал яркости представляет собой двумерную матрицу, элементами которой являются числа в пределах от 0 до 255.

Существующие методы шумоподавления чаще всего применяются для изображений в градациях серого или RGB-изображений. Однако сигнал, поступающий с цифровых матриц,

Рис. 1. Основной алгоритм обучения нейронной сети с предобработкой изображений

Коржов А.В., Сурин В.А., Ческидова М.А., Лонзингер П.В., Сафонов В.И., Белов К.Н.

имеет иную структуру и отличается от стандартных форматов хранения изображений в компьютерах. Получаемые изображения на цифровой матрице называются RAW-изображениями. При работе с необработанными изображениями, получаемыми напрямую с матрицы камеры, каждое изображение содержит большее количество бит, выделенных на кодирование цвета. Это позволяет получить больше информации об объекте, что может положительно сказаться на эффективности методов борьбы с шумом и повышения контраста.

Для повышения контрастности изображений использовался метод фильтрации изображений на основе обобщенного метода наименьших модулей (ОМНМ) [6], который рассчитывается по следующей формуле:

yij = argmin ^ Ромнм(I Уік - a I),i = [1: n], J = [1,m]) , (1) a (і, k )Uj где yˆij – сглаженные с помощью ОМНМ-фильтра значения яркостей пикселей изображения раз- мером N ×M пикселей; Uij – окрестность сглаживаемой точки yij ; l и k – координаты пикселя в области Uj ; yk - фактические значения яркости пикселя; a - искомый сигнал; дОМНМ (x) = arctg(| x |а/в), a > 0 и в > 0 - параметры на основе характеристик изображения и перепада, вычисляемые по формулам (2)–(3):

0,7, A = 0, a = <

(3а - A\   ^(,   3а - A\

0,7           + 1,6 1 —         ,0 <  A <  3а,

I 3 а J Ц    3 а )

1,6, A > 3а, в = 10 к +

а һ 100 k ’

где σ – среднеквадратическое отклонение (уровень) шума в выбранной области изображения; A - нижняя граница уровня яркости перепада; к = 64 - умножающий коэффициент для максимально допустимой 14-битной глубины яркости цвета. На производствах чаще всего используется 10- или 12-битные матрицы, для них коэффициент k будет равен 4 или 16 соответственно.

Для нормализации гистограммы изображения применялся алгоритм CLAHE (Contrast Limited Adaptive Histogram Equalization) при помощи функции cv.createCLAHE , содержащейся в библиотеке OpenCV. Подбор оптимального размера блока для работы алгоритма CLAHE может быть сложной задачей в случае произвольных изображений. Однако для анализа изображений определенных объектов можно зафиксировать параметры съемки, такие как освещение, светочувствительность и выдержка. Поскольку исследуемые объекты являются однотипными, был подобран наиболее подходящий размер блока для алгоритма и применялся ко всем последующим изображениям данного типа с одинаковыми параметрами. В результате применения алгоритма CLAHE контрастность изображения увеличивается, что значительно упрощает дальнейшую обработку (рис. 2).

Собранный набор реальных данных был обработан для повышения контрастности и составил 236 изображений размером 2048 х 2048 пикселей. В наборе данных имелись изоляторы с дефектами типа скол, пузырь, вкрапление. Также имелось незначительное количество дефектов других типов, но их количество было сильно меньше. В дальнейшем проводилась разметка реальных данных. Все дефекты

были помечены как единый класс.                       Рис. 2. Сравнение контрастности изображе ний после применения алгоритма CLAHE

Алгоритм обучения и работы нейронной сети

В результате разметки собранного набора данных были созданы маски, содержащие дефекты. Для проверки структурной целостности объекта и выявления дефектов типа скол, пузырь, вкрапление был разработан нейросетевой алгоритм на основе нейронной сети YOLOv8.

Математика

Традиционный подход при обнаружении объектов в изображении заключается в свертке изображения до оптимального разрешения используемой нейронный сети. При этом при понижении разрешения теряется информация, что не подходит для обнаружения дефектов малых размеров. Предлагаемый алгоритм позволяет избежать потери информации при работе нейронной сети, но при этом значительно увеличивает время обработки одного изображения.

Каждое изображение и соответствующая маска разбиваются на фрагменты следующим образом. Задается окно, вырезающее фрагмент размером 1024 х 1024. Данные фрагменты вырезаются с шагом 512 и преобразуются к размеру 64 х 64 пикселей. Затем размер окна и шага уменьшается в два раза. Данный процесс повторяется до тех пор, пока размер окна не достигнет необходимого размера фрагментов 64 х 64 пикселей, так как дефекты могут иметь небольшой размер относи- тельно всего объекта (рис. 3).

а)                                       б)                                       в)

Рис. 3. Процесс разбиения изображений:

а) исходное изображение; б) полученные фрагменты; в) детекция дефекта

На каждом фрагменте маски подсчитывается количество пикселей, содержащих дефект. Если их количество не превышает 70 % от общего количества дефекта, расположенного в этих координатах, то фрагмент оригинального изображения удаляется. На рис. 4 показан пример разбиения, в котором в первый фрагмент не сохранится, так как содержит малую часть определяемого дефекта. В результате каждое изображение разбивается на фрагменты, содержащие от 70 % дефекта, либо фрагменты, не содержащие дефекта вовсе.

Рис. 4. Пример разбиения на фрагменты

Для увеличения обучающей выборки использовались изображения, сгенерированные по чертежам при помощи программы Blender3D [7]. Было сгенерировано 60 изображений стеклянных изоляторов. Такой подход позволил расширить местоположение и форму рассматриваемых дефектов в собранном наборе данных. Полученные изображения разбивались на обучающую, тес-

Коржов А.В., Сурин В.А., Ческидова М.А., Разработка алгоритма обнаружения дефектов Лонзингер П.В., Сафонов В.И., Белов К.Н. в стеклянных изоляторах … товую и валидационную выборки в соотношении 70:20:10 и подавались на вход нейронной сети для обучения. В валидационной выборке смоделированные изображения отсутствуют.

Процесс обнаружения дефектов с помощью обученной нейронной сети также включает разбиение на фрагменты исходного изображения и не требует наличия маски (рис. 5).

Рис. 5. Алгоритм нахождения дефектов при помощи нейронной сети

Результатом работы нейронной сети становится набор кандидатов на дефекты, каждому из которых соответствует уровень уверенности нейронной сети и координаты в пикселях этого кандидата на изображении. Уверенность о наличии дефекта измеряется в диапазоне от 0 до 1. При уверенности, достигающей некоторого порога, который был выбран равным 0,8, алгоритм считает кандидата за дефект и отображает на изображении. На валидационной выборке при указанном пороге точность обнаружения дефектов составила 96 %.

Разработанный алгоритм позволяет обнаруживать дефекты в стеклянных изоляторах размером от 1,8 мм при исходном разрешении изображения 2048 х 2048 пикселей и физическом диаметре стеклодетали 255 мм, что составляет примерно 8 пикселей/мм. Таким образом, наименьший обнаруженный дефект составил 15 пикселей в диаметре. При увеличении соотношения разрешения к реальному размеру исследуемого объекта могут быть обнаружены дефекты меньшего размера.

Увеличение разрешения при неизменных размерах исследуемого объекта позволит обнаруживать дефекты малого размера, при этом вычислительная сложность алгоритма увеличится пропорционально увеличению количеству пикселей изображения. Скорость вычисления для изображения размером 2048 х 2048 пикселей составила 7 сек на 1 изображение при выполнении алгоритма на CPU с пиковой производительностью 2,15 TFlops. Перевод вычислений на GPU сократит время выполнения.

Заключение

В статье представлен алгоритм поиска дефектов в стеклянных изоляторах на основе нейронной сети. Использованы алгоритмы предварительной обработки изображения для повышения контрастности и уменьшения шумов перед подачей его на вход нейронной сети. Предложен вариант разбиения исходного изображения на более мелкие участки, который позволил не терять полезную информацию, присутствующую на изображении исследуемого объекта. Это дало возможность обучить нейронную сеть, которая легла в основу алгоритма обнаружения дефектов.

Математика

Обучение происходило на реальных и смоделированных данных. Расширение обучающей выборки за счет синтетических данных дало положительный результат, и в дальнейшем планируется увеличивать количество синтетических данных в обучающей выборке.

Благодаря разбиению на фрагменты разработанный алгоритм позволяет обнаруживать дефекты различной формы и размеров. Минимальный обнаруженный на изображении дефект имеет размер 15 пикселей по длинной стороне. Физический размер обнаруживаемых дефектов зависит от соотношения разрешения и реального размера исследуемого объекта. Дальнейшее развитие алгоритма состоит в разбиении единого класса дефектов на несколько классов, что позволит не только их обнаруживать, но и классифицировать.

Исследование выполнено при финансовой поддержке Министерства науки и высшего образования Российской Федерации (государственное задание на выполнение фундаментальных научных исследований № FENU-2023-0025 (2023025ГЗ)).