Онтологическая декомпозиция задачи технического зрения в дискретном производстве

Современное машиностроительное производство характеризуется высокой степенью гибкости и широкой номенклатурой выпускаемой продукции. Гибкие производственные системы обеспечивают автоматизацию процессов планирования и контроля, однако остаются уязвимыми к ошибкам, связанным с человеческим фактором при учёте материальных потоков и состояния производственных переделов. Это особенно важно в дискретном производстве, где партии деталей перемещаются в тарах, а автоматическая прослеживаемость каждой детали внутри тары затруднена из-за изменения размеров деталей в процессе обработки и необходимости маркировать каждую единицу.

Системы управления производством оперируют неявными, распределёнными по людям знаниями, что приводит к высокой проектной неопределённости и ошибкам. Отсутствует явная формализация знаний субъектов проектирования (технологов, операторов, конструкторов) о структуре и возможных состояниях производственных объектов и процессов [1, 2]. В онтологии проектирования рассматриваются методы формализации знаний о проектируемых объектах, процессах и среде их функционирования [3]. Формирование онтологических моделей предметной области (ПрО) позволяет систематизировать знания экспертов [4] и использовать их при создании интеллектуальных систем поддержки принятия решений и автоматизации проектной и производственной деятельности [5].

Активно развиваются исследования, связанные с применением онтологических моделей в задачах технического зрения (ТЗр) и интеллектуального производства. В [6] предложен подход к применению систем ТЗр на производстве, в котором результаты ТЗр семантически связываются с онтологической моделью производственных событий. Показано, что использование семантического уровня позволяет повысить интерпретируемость результатов распознавания и упростить интеграцию систем ТЗр с информационными системами.

В [7] разработана онтология производственных процессов, предназначенная для формального представления структуры производственного потока, оборудования и операций; показана возможность использования онтологий для динамического управления производственными сценариями и повышения согласованности данных между различными уровнями цифрового производства.

В [8] предложен онтологически ориентированный конвейер построения цифровых двойников производственных систем. Онтология используется как средство формализации структуры оборудования, параметров процессов и взаимосвязей между компонентами системы.

В [9] онтологии используются для интеграции данных сенсорных систем и ТЗр в промышленной среде. Онтологическое описание объектов и процессов позволило унифицировать данные от различных источников и повысить устойчивость системы к неопределённости и шуму.

В [10] проведён анализ производственных онтологий в Индустрии 4.0, включая семантическое описание оборудования, маршрутов обработки, логистики и интеллектуальных систем контроля качества.

В [11] предложен подход к объединению методов ТЗр и семантических связей для анализа производственных сцен. Семантическая интерпретация позволяет распознавать объекты, выполнять логическую проверку корректности наблюдаемых состояний и выявлять нештатные ситуации.

Целью настоящей статьи является описание разработки и экспериментального обоснования онтологически ориентированного подхода к автоматизации учёта состояния производственного передела в дискретном производстве на основе каскадного алгоритма (КА) машинного обучения (МО), обеспечивающего высокую точность идентификации при ограниченных объёмах данных. В данной статье онтологическая модель используется как средство формального описания производственного объекта и как основа для онтологически ориентированной декомпозиции задачи ТЗр на иерархию специализированных моделей МО.

1    Онтологическая декомпозиция задачи технического зрения

На рисунке 1 приведена схема онтологии задачи автоматизированной идентификации содержимого производственных тар (ПТ). Онтология ПТ включает:

• ■    модель объекта (классы «тара», «ячейка», «деталь», «маркер», атрибуты типоразмера, материала, допустимого содержимого);

• ■    модель состояний (пустая/занятая ячейка, наличие/отсутствие маркера, ориентация);

• ■    модель отношений (однозначное соответствие: «ID детали - ID тары - номер ячейки», «тара - технологический маршрут», «ячейка - допустимый класс детали»);

• ■    модель неопределённости и «информационного шума» (классы отклонений: освещённость, угол поворота, частичное перекрытие, посторонние объекты).

Онтология объекта (Производственная тара как артефакт)

Классы

Тара (тип: пластиковая/деревянная, ID, геометрия)

Ячейка (номер, позиция, состояние: пустая/занятая)

Деталь (класс/тип, ID, допустимые состояния)

Маркер (ArUco, QR-код – онтологический якорь)

Отношения:

Тара – содержит – N ячеек (1:N)

Ячейка - содержит – Деталь (0:1)

Тара – имеет – Маркеры (угловые)

Деталь – соответствует – ID_тары + N_ячейки (однозначное)

Онтология процесса (Идентификация и прослеживаемость)

Сценарии:

Размещение тары в зоне видимости

Перемещение деталей (вход – обработка – выход)

Активация/деактивация подсистем

Регистрация событий в MES

Правила:

Если обнаружены маркеры – активировать каскад

По QR/ArUco – загрузить подонтологию типа тары

По состоянию ячеек – обновить статус партии

Онтология неопределённости («Информационный шум»)

Классы отклонений:

Освещённость (низкая/высокая/неравномерная)

Ориентация тары (угол поворота, наклон)

Положение (не на столе, частично в кадре)

Посторонние объекты (руки, люди, оборудование)

Брак/выпадение деталей

Меры компенсации:

Автоматическая подсветка

Специализированные модели для каждого класса

Аугментация данных

Рисунок 1 - Схема онтологии задачи автоматизированной идентификации содержимого производственных тар

Для формализации ПрО разработана прикладная онтология ПТ, описывающая классы объектов, их свойства и ограничения. Основные элементы онтологии приведены в таблице 1.

Онтология позволяет выполнять семантические запросы к состоянию производственного передела. Примеры запросов: определить все занятые ячейки тары заданного типа; проверить соответствие типа детали типу тары; выявить случаи отсутствия маркеров; определить изображения с высоким уровнем неопределённости.

Таблица 1 - Основные классы и свойства онтологии производственной тары

Класс	Описание	Обозначения свойств на формальном языке	Ограничения
Тара	Производственная тара с фиксированной геометрией	hasCell, hasMarker, containerType	Тара должна содержать не менее одной ячейки
Ячейка	Локальная область хранения детали	containsPart, cellID, cellState	Ячейка может содержать не более одной детали
Деталь	Деталь определённого типа	partType, partID	Тип детали должен соответствовать типу тары
Маркер	Визуальный идентификатор	markerType, markerID	Каждый маркер принадлежит только одной таре
	Маркер пространственной ориентации ArUco	activatesCascade	Используется для активации каскада
	Маркер типа тары QR -код	containerTypeID	Определяет допустимый набор деталей

На схеме (см. рисунок 1) используется иерархическая онтология, где каждый уровень соответствует онтологии объекта, процесса и неопределённости. Маркеры используются как онтологические якоря, обеспечивающие активацию онтологий и моделей.

Под онтологической декомпозицией понимается функциональное разделение задачи ТЗр на последовательность подзадач (детектирование маркеров - выбор специализированных моделей - детектирование ячеек - классификация содержимого) и формализацию взаимосвязей между уровнями обработки данных, объектами ПрО и соответствующими моделями.

Использованы следующие принципы построения онтологии задачи ТЗр:

• ■    Разделение по уровням абстракции. На верхнем уровне рассматривается ПТ как целостный объект производственного процесса. На нижних уровнях выделяются маркеры, ячейки и отдельные детали. Каждому уровню соответствует модель МО.

• ■    Инкапсуляция знаний о классе объектов . Для каждого типа тары формируется фрагмент онтологии, включающий типы ячеек, деталей и состояний.

• ■    Наследование свойств и ограничений . Тип тары, определяемый по QR -маркеру, задаёт ограничения для последующих этапов обработки: допустимые типы ячеек, наборы деталей и сценарии эксплуатации.

• ■    Композиция результатов распознавания . Итоговое состояние ПТ формируется путём объединения результатов отдельных моделей в единую семантическую структуру: Тара ^ Ячейка ^ Деталь ^ Состояние ячейки ^ Состояние тары .

2 Онтологически управляемый каскадный алгоритм

В разработанном КА МО вместо использования одной универсальной модели на всём множестве классов ПрО используется многоуровневая онтология задачи (см. рисунок 2).

Предложенный каскад представляет собой формализацию знаний эксперта-технолога о процессе идентификации в виде иерархии решающих правил и специализированных моделей. QR -код и ArUco -маркеры позволяют в реальном времени подгружать нужный фрагмент онтологии ПрО и активировать соответствующие процедуры детектирования. Онтология используется для динамической валидации распознанных состояний ПТ и проверки согласованности результатов работы КА. После завершения этапов детектирования и классификации формируется семантическое описание текущего состояния тары в виде набора фактов:

{ Тара_i , Ячейка_i , Деталь , Состояние^ .

Уровень 1: Детектирование маркеров (YOLO-ArUco + YOLO-QR)

ЕЕ- Определение типа тары - Загрузка подонтологии

Уровень 2: Детектирование ячеек (YOLO – ячейки определенного типа тары)

ЕЕ-Локализация N ячеек

Уровень 3: Классификация содержимого (VGG19 - детали типа)

ЕЕ- Формирование словаря состояний {ячейка: класс детали}

Рисунок 2 - Многоуровневая онтология задачи

Полученные факты проверяются на соответствие ограничениям ПрО, заданным в онтологии. В частности, выполняется контроль:

• ■    соответствия типа детали типу тары;

• ■   допустимости размещения детали в конкретной ячейке;

• ■    отсутствия одновременно нескольких деталей в одной ячейке;

• ■   технологического маршрута партии;

• ■   наличия обязательных маркеров идентификации.

Например, если после распознавания система получает состояние: Ячейка₁₂ ^ Деталь Б , а онтология определяет, что для тары типа Ячейка ₁₂ допустимы только детали типа Деталь А , формируется сообщение о логическом противоречии и событие классифицируется как нештатная ситуация.

Онтология может использоваться для поддержки оператора производственного участка. При обнаружении противоречивых состояний система способна автоматически формировать рекомендации: проверить корректность загрузки тары; выполнить повторное сканирование; удалить посторонний объект из зоны видимости; направить тару на дополнительную проверку и др. В разработанном комплексе онтология определяет декомпозицию задачи и выполняет функцию семантической верификации состояний производственного передела.

Пусть для одного изображения X нужно принять четыре решения (метку):

• ■    Y 1 - есть ли ArUco на таре (число возможных состояний K₁ =2).

• ■    Y 2 - есть ли QR -код на таре ( К₂ =2).

• ■    Y 3 - детектировать ячейки тары ( K 3 =2).

• ■    Y 4 - заполненность ячейки типом детали по QR -коду или пустая ячейка ( K 4 =2).

Декомпозиция задачи ТЗр приводит к снижению требуемого объёма обучающих данных за счёт факторизации исходной многомерной задачи распознавания на иерархию более про- стых и онтологически однородных подзадач. В традиционной постановке одна нейронная сеть обучается аппроксимации совместного апостериорного распределения:

P ( Y ,..., Y 4 | X ) = PXY iz Y H Y ri Y .

Число возможных состояний такой совместной метки растёт мультипликативно, что приводит к экспоненциальному увеличению требуемого объёма обучающих данных.

В предложенном подходе структура задачи определяется онтологией объекта и процесса, что позволяет аппроксимировать факторизованное распределение вида:

P ( Y ,..., Y 4 I X >П P ( Yi I X , 3 ) ,                           (2)

i = 1

где O i - соответствующий фрагмент онтологии (тип тары, класс деталей, структура ячеек). Такая факторизация отражает физический и технологический смысл процесса и реализуется в виде каскада специализированных моделей.

Использование ArUco - и QR -кодов дополнительно снижает энтропию подзадач, поскольку тип тары и допустимые классы деталей определяются маркером. В результате каждая специализированная модель обучается в узком, семантически однородном подпространстве без смешения геометрий, масштабов и типов объектов.

3 Решение экспериментальных задач

В МО автоматическому распознаванию используются нескольких видов деталей, находящихся в ячейках ПТ. Детали перемещались в ПТ с обрешёткой, в каждой ячейке могла находиться одна деталь. Необходимо выделить и классифицировать ячейки ПТ как пустые или содержащие детали, а также определить ArUco - и QR -коды.

Исходные данные представляли собой набор видеозаписей с двумя типами ПТ с ячейками, в каждой из которых могла находиться одна из множества деталей или же ячейка могла быть пустой. Каждый видеокадр использовался для обучения модели, где важно было распознать присутствие деталей, учесть их тип, а также тип QR -кодов (обычный или ArUco- ). Обучение нейронных сетей проводилось с использованием видеокарты NVIDIA GeForce GTX 1080 Ti c 12Гб видеопамяти.

В разработанном программно-аппаратном комплексе для съёмки использовались Web -камера Logitech и IP -камера DH-IPC-HFW5442EP-ZE . Аппаратная часть комплекса включала также: системный блок Hiper M9 Cel G5905 (3.5) 4Gb SSD128Gb UHDG 610; штатив Hama Action 165 3D для закрепления камер; коммуникационный модуль для включения автоматической подцветки и сигнала оператору; сигнальную лампу и светодиодную лампу подцветки. В качестве устройства ввода-вывода использован персональный компьютер, а коммуникационный модуль представлял собой аппаратное устройство, подключаемое к компьютеру по USB -порту и выполняющее включение/выключение светодиодной и сигнальной ламп.

• 3.1    Набор данных

• 3.2    Подход с универсальной моделью нейронной сети

В экспериментах использовались изображения ПТ двух типов, оснащённых QR - и ArUco -кодами, с размещёнными внутри ПТ тремя типами деталей. В таблице 2 приведены данные для обучения моделей YOLO [12], используемых для детектирования ПТ.

Таблица 2 – Используемые данные

Параметр	Одна модель			Каскад моделей
Объём выборки/ тип объекта	100%	60%	30%	ArUco	QR	Ячейка тары 1	Ячейка тары 2
Обучение	287	146	86	20	20	27	19
Тест	34			8	9	10	7
Проверка	145			28	36	53	28

Исходный набор данных включал 466 уникальных изображений, содержащих различные комбинации положения ПТ, освещённости, и заполненности ячеек. Изображения были поделены в пропорции 69 % и 31 %. Первая группа изображений разделена на обучающую и тестовую выборки в соотношении 90 % и 10 % для универсальной модели детектирования всех классов объектов. Для анализа влияния объёма данных дополнительно формировались обучающие подвыборки, содержащие 30 % и 60 % исходной обучающей выборки. Формирование подвыборок осуществлялось случайным образом с сохранением пропорций классов объектов и типов тар. Вторая группа изображений использовалась как проверочная (не участвующая в обучении) выборка.

Для каскадной модели использовались те же исходные изображения, однако обучающие подвыборки формировались отдельно для каждой специализированной модели. Поскольку каждая модель решала узкую задачу (детектирование только ArUco-маркеров, только QR-кодов либо ячеек определённого типа тары), из общего набора выбирались только изображения, содержащие соответствующий объект. Таким образом, обучающие выборки каскадной модели являлись специализированными подмножествами единого исходного набора данных. Обучающая выборка составила 30% от данных, используемых в универсальной модели. Те- стовая и проверочная выборка оставались в прежнем объёме. Для классификации содержимого ячеек выбрана архитектура VGG19 [13], и для её обучения использовано 1100 взятых фрагмента из изображений, участвующих в обучении и тестировании YOLO. На фрагментах изображена ячейка тары с содержимым. 90% составили обучающую выборку, 10% – тестовую. Кроме того, использованы 375 фрагментов фотографий для проверочной выборки, не участвующей в обучении. При формировании подвыборок обеспечивалась сбалансированность по типам тар, типам деталей, состояниям ячеек (пустая/заполненная) и условиям съёмки (освещённость, угол поворота).

В рамках первого эксперимента обучались универсальные модели YOLOv5 [14], позволяющие одновременно детектировать маркеры, ячейки тары и детали. Рассматривались три варианта архитектуры, различающиеся числом параметров и вычислительной сложностью: YOLOv5s ( small ) – компактная и быстрая модель; YOLOv5m ( medium ) – модель средней ёмкости; YOLOv5l ( large ) – наибольшая по числу параметров и потенциальной способности. Указанные варианты далее обозначаются соответственно как Y5-S, Y5-M и Y5-L . Обучение проводилось отдельно для каждого объёма обучающей выборки.

Для оценки точности результатов детектирования использовалась метрика mAP {50} ( Mean Average Precision ) являющаяся средним значением всех детектируемых классов C (количество N C ) на изображении для метрик AP ( Average Precision ) для каждого класса. Рассчитывалась AP для порога уверенности IoU ( Intersection over Union ) [15] равного 0,5.

mAP = — У AAP_C .                         (3)

N C

Результаты расчёта приведены в таблице 3.

Таблица 3 – Результаты по точности и производительности подхода с универсальной моделью

Модель	Доля обучающей выборки	mAP , %			Время на кадр, с
		Обучение	Тест	Проверочная
Y5-S	30%	0,840	0,791	0,785	0,073
	50%	0,912	0,870	0,866
	100%	0,945	0,907	0,895
Y5-M	30%	0,826	0,786	0,767	0,143
	50%	0,949	0,856	0,874
	100%	0,922	0,902	0,886
Y5-L	30%	0,937	0,828	0,842	0,266
	50%	0,921	0,855	0,860
	100%	0,954	0,897	0,879

Увеличение времени детектирования между версиями YOLOv5 коррелирует с ростом количества параметров и вычислительной сложности каждой модели. Между Y5-S и Y5-M время детектирования увеличивается примерно в 2 раза. Это связано с тем, что модель Y5-M имеет почти в 3 раза больше параметров, чем Y5-S . Между Y5-M и Y5-L время детектирования возрастает ещё в 1,9 раза. В среднем время выросло между Y5-S и Y5-L в 3,6 раза. С ростом модели растёт точность, а при разном объёме выборки точность снижается: для модели Y5-M на 11,9%, для модели Y5-L – на 3,7%. Полученные результаты показывают, что для используемого объёма данных применение более сложных архитектур не обеспечивает статистически значимого прироста качества по сравнению с компактной моделью Y5-S , тогда как время обработки кадра возрастает более чем в 3,5 раза.

• 3.3    Подход с использованием онтологически ориентированного каскада моделей

Во втором эксперименте применялся каскад специализированных моделей, структура которого определялась онтологией объекта и процесса: Y5-S для детектирования QR -кодов, ArUco -кодов и ячеек тары (отдельная модель для каждого типа тары); VGG19 для классификации содержимого ячеек (отдельная модель для каждого типа деталей).

Каждая модель обучалась на наборе данных (п. 3.1), соответствующем своей онтологически однородной подзадаче. Для моделей детектирования использовалась метрика mAP (3), для классификационных моделей – точность работы ac , как отношение количества правильно классифицированных изображений N t к их общему количеству N all :

ac=N t / N all .                                         (4)

В таблице 4 приведены результаты расчётов точности и затрат времени отдельно обученных моделей, входящих в онтологически ориентированный каскад.

Таблица 4 – Результаты по точности и производительности моделей каскадного подхода

Подзадача	Модель	mAP			Время на кадр, с
		Обучение	Тест	Проверочная
Детектирование ArUco	Y5-S	0,996	0,991	0,949	0,071
Детектирование QR		0,977	0,869	0,878
Ячейки тары 1		0,965	0,925	0,871
Ячейки тары 2		0,977	0,937	0,844
Подзадача	Модель	ac			Время на кадр, с
		Обучение	Тест	Проверочная
Деталь A	VGG19	0,993	0,933	0,928	0,043
Деталь B		1,000	1,000	0,985
Деталь C		1,000	0,946	0,931

Затраты времени на обработку одного кадра в каскаде складываются из затрат времени трёх сетей YOLO . После детектирования QR используется определённая сеть для конкретного типа тары. Кроме того, производится классификация содержимого каждой ячейки использованием определённой (в соответствии с типом тары и партией в ней) сети VGG каждой ячейки (в рассматриваемых объектах максимум 12 ячеек). Максимальное время для рассматриваемых объектов как сумма затрат времени отдельно обученных моделей, входящих в каскад, составило 0,729 с.

• 3.4    Сравнительный анализ подходов

Для оценки качества каскада моделей в целом введена метрика корректной идентификации ячейки (сквозная точность) – mAP r . Ячейка считалась корректно распознанной, если выполнялись следующие условия:

• ■    проведена корректная активация системы для детектирования по ArUco -коду;

• ■    корректно определён тип тары по QR- коду;

• ■    ячейка была правильно локализована;

• ■    правильно определено состояние ячейки (пустая или содержащая деталь).

Сквозная точность определялась как отношение числа корректно идентифицированных ячеек N c c к общему числу ячеек на тестовой выборке N c all :

mAP r =N c_c / N c_all .                                 (5)

Использована метрика mAP r *, отражающая накопление ошибок между этапами алгоритма и позволяющая оценить влияние качества отдельных подсистем на итоговый результат:

mAP r * = mAP ArUco · mAP QR · mAP cell_obj ,                  (6)

где mAP ArUco – точность детектирования ArUco -кодов; mAP QR – точность детектирования QR -кодов; mAP cell_obj – точность локализации и определения состояния ячейки.

^mAPcell _ obj ^{=       1}      ∑ j ∈ C_cell ∑ i ∈ C_obj^mAPce^jll ^{⋅ ac}i ^{,                         (7)}

cell obj где Ncell – количество типов ячеек из множества Сcell; Nobj – количество типов классов объектов в ячейках из множества Сobj; mAPcell – точность детектирования ячеек.

Итоговая сквозная точность дополнительно рассчитывалась непосредственно на тестовой выборке как доля полностью корректно обработанных ячеек mAP r . В таблице 5 приведено сопоставление подхода с универсальной моделью и онтологически ориентированного подхода по критерию (5) и вычислительной эффективности на проверочной выборке.

Таблица 5 – Сравнение двух подходов по точности и производительности

Подход		Объём обучающих данных	mAP ArUco	mAP QR	mAP cell_obj	mAPr*	mAPr	Время на кадр, с
Универсальная модель	Y5-S	30%	0,823	0,700	0,792	0,457	0,701	0,073
		50%	0,836	0,722	0,880	0,531	0,736
		100%	0,935	0,744	0,912	0,634	0,768
	Y5-M	30%	0,858	0,675	0,783	0,454	0,695	0,143
		50%	0,874	0,734	0,892	0,572	0,742
		100%	0,951	0,758	0,899	0,648	0,781
	Y5-L	30%	0,804	0,710	0,864	0,493	0,714	0,266
		50%	0,890	0,699	0,881	0,548	0,751
		100%	0,929	0,750	0,894	0,623	0,772
Каскад моделей		30%	0,949	0,878	0,815	0,679	0,823	0,729

Каскадный подход обеспечивает более высокую точность на уровне конечной задачи (идентификация состояния ячейки), несмотря на сопоставимые или более низкие значения mAP r на отдельных этапах. Значения экспериментальной сквозной точности mAP r оказались выше оценки mAP r * , вычисляемой как произведение метрик отдельных этапов каскада. Метрика mAP характеризует качество точности и полноты и зависит от распределения порогов уверенности IoU , поэтому её прямое перемножение приводит к консервативной оценке. Этапы КА являются условно зависимыми: успешное обнаружение ArUco - и QR -кодов уменьшает пространство поиска и снижает вариативность задач локализации и классификации.

Полученные результаты (рост точности с 65 % до 68 % по mAP r * и с 77% до 82% по mAP r при снижении объёма обучающих данных более чем в три раза) показывают эффективность онтологически ориентированного подхода к построению систем МО в задачах ТЗр.

Максимальное время обработки одного кадра с использованием разработанного КА детектирования составило 0,729 с. Максимальное время обработки одного кадра при подходе с универсальной моделью составило 0,143-0,266 с. С учётом специфики рассматриваемой производственной системы (движение деталей малыми партиями) подобный рост времени обработки не критичен для автоматизации процесса.

Заключение

В статье рассмотрен онтологически ориентированный подход на основе технологий ТЗр для идентификации содержимого ПТ. Предложен КА, основанный на принципе онтологической декомпозиции задачи, при котором вместо одной универсальной модели используется иерархия специализированных нейронных сетей: модели YOLO применяются для детектирования онтологических якорей ( ArUco - и QR -кодов) и ячеек ПТ, а модель VGG19 – для классификации их содержимого.

Показано, что использование онтологических якорей и декомпозиция задачи позволяют сократить объём требуемой обучающей выборки (на 50-70%) при сохранении точности распознавания и устойчивости к вариациям условий наблюдения.

Разработанный программно-аппаратный комплекс автоматизированной идентификации содержимого ПТ показал возможность практического применения в задачах промышленного ТЗр, обеспечивая повышение эффективности МО в условиях ограниченности данных и высокой вариативности номенклатуры, характерных для дискретного производства.