Оценка эффективности методов компьютерного зрения на основе машинного обучения и классической обработки изображений для задач автоматического контроля

Введение . Автоматизация является ключевым драйвером повышения эффективности, точности и экономической целесообразности технологических процессов. Ее универсальный характер подтверждается применением в разнородных отраслях – от машиностроения и АПК до легкой промышленности, к примеру использование робота-манипулятора для выполнения погрузочно-разгрузочных работ [1], применение автоматизированного комплекса для регулирования содержания CO2 [4] или программно-информационная система для автоматизированного построения базовых выкроек одежды [2]. Это свидетельствует о том, что почти любую повторяющуюся операцию можно описать точными правилами и поручить задачу машинам.

Автоматизация контроля печатных плат – важная задача. Для ее решения существуют два подхода: классический (алгоритмический) и на основе машинного обучения [7]. Классические методы, основанные на сравнении с эталоном, хорошо изучены [6, 5], а нейросетевые подходы активно развиваются [7]. Однако их прямое практическое сравнение недостаточно освещено. Цель нашей работы – провести такое сравнение на примере детекции дефектов. В электронной промышленности, где требования к качеству и надежности продукции крайне высоки, особая значимость отводится контролю монтажа и целостности печатных плат. В подавляющем большинстве эта задача возлагается на операторов, которые проводят визуальную инспекцию. Однако данный метод обладает существенными ограничениями: человеческое восприятие подвержено утомлению, что ведет к снижению концентрации и пропуску дефектов при длительной и монотонной работе, а субъективность оценки может приводить к разной интерпретации одного и того же недостатка. Внедрение системы автоматического визуального контроля призвано расширить возможности операторов, такая автоматизация позволяет минимизировать влияние человеческого фактора, обеспечить стабильность, повысить пропускную способность производственной линии и гарантировать объективность контроля. Согласно исследованиям, в области производственной безопасности, от 70% до 80 % всех несчастных случаев на производстве происходят по причине человеческого фактора [3], именно поэтому автоматизация важных и рутинных операций становится необходимым условием для обеспечения стабильного качества, безопасности и эффективности современного производства.

Материалы и методы исследования. В рамках данного исследования были разработаны и подвергнуты сравнительному анализу два принципиально различных метода автоматизации оптического контроля монтажа радиоэлектронных компонентов на печатных платах с целью оценки их практической применимости.

На первом этапе был создан экспериментальный стенд для оптического контроля на основе машинного обучения. Конструкция стенда представляет собой комплекс следующих модулей: Шаговые двигатели и подвижный стол для сканируемой платы (номера 1 и 3 на рисунке 1), модуль ESP32-CAM (номер 2 на рисунке 1), драйвера для управления шаговыми двигателями на микросхеме А4988 и понижающий DC-DC преобразователь (номера 4 и 5 на рисунке 1).

Рисунок 1 – Макет с обученной моделью

Для получения каких-либо данных при сканировании печатной платы была разработана программа для взаимодействия с персональным компьютером. Возможности программы: подключение ПК к макету (область 1 на рисунке 2), ручное управление макетом и ввод данных печатной платы (области 2 и 3 на рисунке 2), вывод информации в виде массивов (область 4 на рисунке 2).

Рисунок 2 – Программа для взаимодействия ПК с макетом

В результате тестирования макета с моделью, обученной на платформе Edge Impulse, были получены следующие результаты, точность обнаружения дефектов составила 85% (модель идентифицирует 6 из 7 предъявленных дефектов).

Рисунок 3 – Опытный образец (А); Найденные дефекты (Б)

Переходя к рассмотрению ограничений и недостатков, следует отметить, что данный метод относительно долгий, время сканирования маленькой платы (25 на 25 мм) составляет 30 секунд, но это с учетом времени на передвижения камеры макета и отделения ошибочных данных. Само фактическое сканирование происходит практически мгновенно.

Существенным технологическим ограничением подхода является его узкая специализация: модель детектирует исключительно дефект «перемычка». Расширение ее функционала (выявления других типов дефектов) потребует значительных дополнительных трудозатрат и времени на сбор нового набора данных и повторное обучение.

В качестве альтернативного подхода был разработан алгоритм машинного зрения на языке Python с помощью библиотеки OpenCV. Данный метод основан исключительно на классических способах обработки изображений и не предполагает применения моделей машинного обучения. В основе алгоритма лежит метод сравнения по абсолютной разности двух изображений (идеальной платы без дефектов и тестируемой с возможными отклонениями). Его работа реализуется следующим циклом обработки:

• 1.    Загрузка и предобработка. Исходные изображения эталонной и тестируемой платы загружаются, конвертируются в единый формат и преобразуются в черно-белый формат.

• 2.    Сегментация и анализ. Оба изображения разбиваются на идентичные матрицы ячеек. Для каждой пары соответствующих ячеек выполняется попиксельное сравнение яркости (значения в диапазоне 0-255, где 0 – черный, 255 – белый).

• 3.    Принятие решений. Для каждой ячейки вычисляется среднее значение абсолютной разности пикселей. Если этот показатель превышает заданный порог, ячейка классифицируется как содержащая дефект.

Для проверки алгоритма использовались тестовые изображения, включая искусственно смоделированные дефекты, созданные с помощью графических редакторов.

Рисунок 4 – Изображение с обозначенными дефектами (а); Изображение идеальной платы

Рисунок 5 – Результат работы алгоритма

Рисунок 5 демонстрирует высокую чувствительность алгоритма, детектировавшего все внесенные дефекты. Однако в условиях реального производства такая чувствительность становится недостатком, так как технологические допуске при монтаже приводят к естественным вариациям в позиционировании компонентов, что делает полную идентичность плат невозможной. Как следствие алгоритм интерпретирует эти допустимые отклонения как дефекты, генерируя ложные срабатывания. Данный метод имеет очень сложную и долгую настройку, так как для каждой платы нужно подбирать собственный порог допустимого отклонения.

Данный метод сканирует изображение платы целиком из-за чего процесс сканирования не превышает 5-10 секунд (в зависимости от размера изображения), с учетом времени на отбор ложных данных, а фактическое сканирование также происходит почти мгновенно.

Выводы. Проведенное исследование позволяет сделать вывод о принципиальном различии между двумя подходами к автоматизации оптического контроля.

Классический алгоритмический подход на основе OpenCV, при всей его относительной простоте в разработке, демонстрирует критичные для промышленного применения недостатки. Он требует трудоемкой ручной настройки параметров допустимого порога под каждый новый тип изделия и оказывается чрезмерно чувствительным к естественным производственным вариациям, что ведет к большому числу ложных срабатываний. Применение данного метода к визуальному контролю монтажа радиоэлектронных компонентов считаем не целесообразным, однако возможно применение к контролю топологии печатных плат.

Модель машинного обучения, разработанная с использованием Edge Impulse, представляет собой полную противоположность. Ее создание сопряжено с высокими начальными трудностями и затратами, обусловленными необходимостью сбора и разметки обширного набора данных, а также повторным обучением модели. Однако ключевым преимуществом данного подхода являестя его универсальность и адаптивность, обученная модель способна выявлять довольно сложные дефекты без необходимости указания жёстких правил и тонкой ручной настройки. Применение данного метода считаем целесообразным.