Применение нейронной сети Yolo для определения дефектов на бесшовных кольцах

В настоящее время нейронные сети пользуются большой популярностью в различных сферах: машиностроении, металлургии, медицине и др.

Свёрточные нейронные сети бывают сегментированные, разметочные и классификационные.

Классификационные сети – выполняют задачу классификации изображений, а именно, извлечения классов информации из многоканального растрового изображения [1]. К таким нейросетям относятся AlexNet, ZFNet и др.

Разметочные сети – выполняют задачу обнаружения объектов, то есть определение местоположения и класса объектов в изображении или видеопотоке [2]. К разметочным сетям относятся следующие архитектуры: R-CNN, Fast R-CNN и др.

Сегментационные сети – разбивают изображение на области, соответствующие раз- личным объектам [3]. Сегментационные сети выполняют одну из ключевых задач в компьютерном зрении, они позволяют машине точно понимать где находится объект, чем просто классификация или обнаружение объектов. Виды нейронных сетей: U-Net, FCN, DeepLab.

Принцип работы системы AI.SEE следующий: изделие сканируется роботом (который оснащен специальной оптической системой), робот передает информацию нейронной сети, она сопоставляет полученное изображение со специальной базой данных и делает вывод о качестве продукции. Использование такой системы позволяет существенно повысить эффективность визуального осмотра, а именно обеспечить 100%-ный контроль продукции.

К сожалению, не все отечественные предприятия в данный момент могут позволить себе подобные системы контроля, так как это направление достаточно новое в России и возникает недостаток квалифицированных специалистов. Поэтому на отечественных предприятиях визуальный осмотр производят специально обученные люди, контролёры ОТК (отдел технического контроля), который не могут обеспечить 100%-ный контроль продукции.

Если заказчик получит негодное изделие и на этапе сборки не заметит дефект, то это может привести к преждевременному выходу из строя механизма или даже к аварийной ситуации. Поэтому определение дефекта на этапе производства – это важная задача.

Рассмотрим в качестве примера производство бесшовных колец. Эти кольца используются в авиационных двигателях, поэтому качественное изготовление детали является ключом к надежной эксплуатации машины [5].

Бесшовные кольца получают с помощью двух формообразующих операций штамповки и раскатки. Обычно на этапе штамповки получают полупродукт (поковку), которую в дальнейшем обрабатывают на раскатной машине. Принцип раскатки (рис. 1) следующий: исходную заготовку 3 устанавливают на раскатной валок 4, затем нажимной валок 1 нажимает на заготовку и, вращая, обжимает ее. Направляющий ролик 2 служит для формирования правильного круга, а контрольный ро- лик 5 фиксирует достижение заданного размера [6].

Рис. 1. Раскатка кольца Fig. 1. Ring rolling

Одним из наиболее частых дефектов при производстве бесшовных колец является «след от заусенца». Заусенец (рис. 2) – это остаток металла, который возникает в результате неправильной конструкции штампа, некачественной наладки оборудования или износа штамповой оснастки [7].

Из-за длинного заусенца происходит сле- дующее: в момент соприкосновения кольца и упорного ролика происходит срезание заусенца и последующее его наматывание на центральный валок, вследствие чего по внутреннему диаметру возникают глубокие следы, которые представлены на рис. 3.

Применение нейронной сети позволит организовать работу персонала таким образом,

Рис. 2. Дефект «заусенец» Fig. 2. The “burr” defect

Рис. 3. Дефект «след от заусенца» Fig. 3. Defect “deburr mark”

что при появлении дефекта персонал сможет устранить причину появления дефектов.

Задачей работы являлась разработка модели (на основе компьютерного зрения), способной определять и визуализировать наличие дефекта на бесшовных кольцах.

Для оценки возможности применения компьютерного зрения для распознавания дефекта «след от заусенца» было проведено обучение нейронной сети при помощи выборки изображений с дефектами, состоящей из 100 фотографий. Для расширения датасета была проведена аугментация (искусственное расширение датасета). Были выполнены следующие преобразования: вертикальный и горизонтальный повороты, а также расширение изображений. В конечном итоге для обучения нейронной сети использовался датасет из 400 фотографий.

В качестве нейронной сети использовалась архитектура YOLO (you-only-look-once), а именно YOLOv8. Данная нейросеть представляет собой двухуровневую нейронную сеть преимущественно со свёрточными слоями. По сравнению с предыдущими версиями, модель YOLOv8 работает быстрее и точнее, восьмая версия позволяет не только обнаруживать объекты, но и сегментировать и классифицировать их [8].

Также модель YOLO в каждой категории (сегментация, обнаружение и классификация) имеет по пять предварительно обученных моделей, а использование предварительно обученной модели значительно экономит время и вычислительные ресурсы.

На рис. 4 представлены предварительно обученные модели Segment. Из приведенных моделей видно, что модель YOLOv8х-seg де-

Модель	Размер (пикселей)	mAPbox 50-95	mAPmask 50-95	Скорость CPU ONNX (mc)	Скорость A100 TensorRT (mc)	params (M)	FLOPs (E)
YOLOv8n-seg	640	36.7	30.5	96.1	1.21	3.4	12.6
YOLOv8s-seg	640	44.6	36.8	155.7	1.47	11.8	42.6
YOLOv8m-seg	640	49.9	40.8	317.0	2.18	27.3	110.2
YOLOv8l-seg	640	52.3	42.6	572.4	2.79	46.0	220.5
YOLOv8x-seg	640	53.4	43.4	712.1	4.02	71.8	344.1

Рис. 4. Характеристики предварительно обученных моделей Fig. 4. Characteristics of pre-trained models монстрирует лучшие показатели точности. Однако она наиболее требовательна с точки зрения вычислительных ресурсов и работает медленнее других моделей.

Наиболее подходящим вариантом служит YOLOv8m-seg, у нее высокая скорость обработки, меньшие требования к вычислительным ресурсам и по сравнению с YOLOv8х-seg – незначительная разница в точности распознавания. Поэтому модель YOLOv8m-seg является предпочтительнее.

Обучение проводилось на языке Python, обучающие параметры представлены на рис. 5.

Показатели обученной модели представлены на рис. 6. Анализ результатов – это важный этап, именно с помощью анализа можно понять насколько хорошо модель справляется с поставленной задачей, особенно в наборах данных с разнообразными категориями объектов.

После процесса обучения получились следующие результаты (см. рис. 6).

Box (P, R, mAP50, mAP50-95) – эта метрика используется для анализа производительности модели в обнаружении объектов [9], где:

mAP50-95 – значение точности, которое рассчитывается при различных значениях loU (от 0,5 до 0,95). С помощью этого параметра можно понять, как будет работать модель на разных уровнях сложности обнаружения.

P(Precision) – точность обнаружения.

R(Recall) – способность модели идентифицировать объекты на изображении.

mAP50 – показатель, который определяет производительность модели на «лёгких» уровнях сложности обнаружения.

Из полученных результатов следует, что модель YOLOv8m-seg имеет высокую точностью (P) и способность идентификации (R), что указывает на ее способность качественно определять объекты. Такие результаты являются приемлемыми, однако для определении дефектов с более высокой точностью модель потребует дальнейшей настройки, а также обучения на более объёмном датасете.

Рис. 5. Код для обучения нейронной сети Fig. 5. Code for neural network training

Ultralytics Y0L0v8.1.9 ^ Python-3.10.12 torch-2.1.0+cul21 CUDA:0 (Tesla T4, 15102MiB)

Y0L0v8m-seg summary (fused): 245 layers, 27222963 parameters, 0 gradients, 110.0 GFLOPs

R mAP50 ШАР50-95):

0.6      0.676       0.27

Class     Images  Instances      Box(P          R      mAP50  mAP50-95)     Mask(P all          6         10          1      0.749      0.853       0.48      0.953

Speed: 0.3ms preprocess, 18.7ms inference, 0.0ms loss, 1.2ms postprocess per image

Results Saved to runs/segment/train

Рис. 6. Результаты обучения модели Fig. 6. Results of model training

Рис. 7. Распознование дефектов с помощью нейросети № 1

Fig. 7. Defect recognition using neural network No. 1

Рис. 8. Распознование дефектов с помощью нейросети № 2

Fig. 8. Defect recognition with the help of neural network No. 2

Количество красных пикселей: 52524, что составляет 17.10% от общего числа пиксел ей. БРАК! ! !

Рис. 9. Оценка качества изделия

Fig. 9. Product quality assessment которых была обучена, с высокой точностью 80…90 %.

Да лее сле д ов ал п о д с че т к оли че с тв а п и кселей дефекта относительно об щ его к оли чества пи к се л е й п о к овк и , если зн а че н и е п ик с елей превышало 10 %, то мод е ль оп р е д елял а поковку как брак и на панели п ояв лял а с ь п редупредительная фраза (рис. 9).

Заключение

В ходе работы было выявлено следующее: на основе полученных данных, а именно точности нейронной сети, следует вывод, что модель можно применять для организации работы персонала. Точность обученной модели составляет 80…90 %, это очень высокие показатели. Использование данной системы может своевременно информировать персонал о появлении дефектной продукции.

Несмотря на все вышесказанное, модель требует ряд доработок. Необходимо провести эксперименты с использованием других нейронных сетей, также стоит расширить датасет и применить больше аугментационных функций.