Исследование точности суррогатных моделей на основе машинного обучения для адаптивного управления производством

Современное машиностроительное производство функционирует в условиях высокой конкуренции, сокращения производственных циклов и необходимости оперативного реагирования на изменения спроса. В этих условиях особую значимость приобретает точное планирование технологических процессов и корректная оценка трудоемкости операций. Достоверный расчет временных параметров производства является основой для формирования производственных планов, расчета себестоимости и обоснованного ценообразования на выпускаемую продукцию и оказываемые услуги. Традиционные методы нормирования и экспертной оценки постепенно дополняются и заменяются методами анализа данных и алгоритмами машинного обучения, позволяющими автоматизировать расчет норм времени и повысить объективность принимаемых решений.

Ключевую роль в трансформации производственных систем играет концепция цифровых двойников, являющаяся фундаментальным элементом киберфизических производственных систем (Cyber-Physical Production Systems, CPPS) [1]. Цифровой двойник представляет собой виртуальную модель физического объекта или процесса, включающую его структурные, функциональные и поведенческие характеристики и синхронизированную с реальной системой на основе актуальных данных [2]. В зависимости от целей применения различают цифровые двойники продукта, процесса и производственной системы в целом. В работе [3] проводится разграничение между виртуальным прототипированием и цифровым двойником физического объекта, подчеркивая, что последний предполагает динамическую связь с реальной средой функционирования. Современные инженерные программные средства поддерживают технологии CPPS и позволяют создавать модели цифровых двойников, ориентированные как на моделирование производственных процессов [4], так и на организацию взаимодействия человека и автоматизированных систем управления [5].

Производственную систему целесообразно рассматривать как мультиагентную среду, в которой оборудование, рабочие центры, производственные заказы, логистические элементы и персонал моделируются в виде автономных взаимодействующих агентов. Поведение такой системы характеризуется сложными нелинейными зависимостями, стохастичностью и высокой вычислительной трудоемкостью при имитационном моделировании [6]. Несмотря на высокую точность детализированных моделей цифровых двойников, их использование в задачах оперативного планирования и оптимизации ограничено значительными временными затратами на расчет.

В этой связи все более широкое распространение получают суррогатные модели на основе методов машинного обучения. Они используются для аппроксимации сложных зависимостей, реализуемых детализированной имитационной моделью, и позволяют существенно сократить время вычислений при сохранении высокой точности прогнозирования. Суррогатные модели могут аппроксимировать как локальное поведение отдельных агентов, так и агрегированные характеристики производственной системы, обеспечивая возможность многократного расчета целевых функций и ограничений за миллисекунды. Это делает возможным применение оптимизационных алгоритмов и реализацию адаптивного управления производством в режиме, близком к реальному времени.

Целью исследования является разработка и апробация подхода к автоматизированному проектированию и планированию производственного участка на основе интеграции детализированной имитационной модели и суррогатных моделей машинного обучения.

Таким образом, интеграция детализированных имитационных моделей и суррогатных моделей машинного обучения формирует основу для построения интеллектуальных цифровых двойников, способных поддерживать автоматизированное проектирование и адаптивное планирование производственных процессов.

ОБЪЕКТ ИССЛЕДОВАНИЯ

В исследовании рассматривался производственный участок, находящийся в лаборатории Самарского университета. Схема производственного процесса на участке приведена на рисунке 1.

Производственный процесс выглядит следующим образом: 1) со стеллажа с заготовками забирается тара с заготовками (партия); 2) тара с заготовками доставляется к обрабатывающему центру и ставится на рабочий стол на вход перед станком; 3) ставится тара с идентичным на стол на выходе из станка; 4) производится обработка деталей, в процессе детали перемещаются из входной тары в выходную; 5) по окончании обработки партии деталей тара на входе убирается на стеллаж с готовыми деталями, затем убирается тара на выходе.

В качестве производственного оборудования выступает токарно-фрезерный обрабатывающий центр Traub TNA 300. Тара, в которой движутся заготовки и детали, имеет девять ячеек, а предметом производства являются детали трех видов . Соответственно тара может быть заполнена не полностью, то есть раз -меры партий колеблются от 3 до 9 штук.

МОДЕЛИ И МЕТОДЫ Реальный процесс

На рисунке 2 представлена методика автоматизированного проектирования производственных процессов на основе суррогатных моделей машинного обучения.

Рис. 1. Схема производственного участка:

1 – обрабатывающее оборудование; 2 – столы для размещения тар с деталями; 3 – персонал;

4 – стеллажи; 5 – персональный компьютер;

Рис. 2. Схема автоматизированного проектирования

6, 7 – тары с заготовками до и после обработки

процессов на основе суррогатных моделей

Методика включает четыре взаимосвязанных блока: реальный производственный процесс, детализированную имитационную модель, суррогатную модель и подсистему автоматизированного проектирования и планирования производства.

В качестве реального процесса рассматривается механическая обработка на участке, функционирующем в условиях дискретного машиностроительного производства. Производственный процесс характеризуется последовательным прохождением партий деталей через технологические операции, наличием очередей, ограниченностью ресурсов и стохастической вариативностью временных параметров.

Следующим этапом является построение детализированной имитационной модели участка в специализированных программных средах [7]. Имитационная модель представляет собой цифровой двойник реального производственного объекта и воспроизводит структуру технологических маршрутов, распределение ресурсов, правила формирования партий, а также стохастический характер выполнения операций. В модели учитываются параметры загрузки оборудования, длины очередей, размер партий, тип деталей, а также логика перемещения тар с заготовками и обработанными изделиями. Результатом выполнения имитационных экспериментов являются временные характеристики прохождения партий через участок, включая показатели обработки отдельных типов деталей и логистических операций. Таким образом имитационная модель задает неизвестное нелинейное отображение вектора входных признаков , характеризующих состояние производственной системы на вектор целевых переменных (временных характеристик производственного процесса):

F : X ^ Y ,                                   (1)

такое что:

У, = ^F ( X ) + E ,                                         (2)

где F ( • ) - сложная стохастическая зависимость, реализуемая имитационной моделью;

E i - случайная составляющая, обусловленная вероятностной природой процесса.

На выходе из имитационной модели формируются наборы данных, содержащие значения входных параметров и соответствующих целевых переменных.

Полученные данные используются для построения суррогатной модели, предназначенной для аппроксимации поведения имитационной модели с существенно меньшими вычислительными затратами. Перед обучением выполняется предварительный анализ данных, включающий оценку распределений, выявление длинных хвостов, анализ дисбаланса категориальных признаков, проверку статистической значимости факторов (F-критерий линейной регрессии, дисперсионный анализ), а также обработку пропусков и масштабирование признаков при необходимости.

Задача построения суррогатной модели таким образом заключается в нахождении приближенного отображения :

Л

F _e : X ^ Y ,                                   (3)

где 9 - гиперпараметры модели машинного обучения.

Подбор гиперпараметров суррогатных моделей осуществлялся с использованием перебора по сетке с кросс-валидацией. Для этапа подбора гиперпараметров качество моделей оценивалось по двум метрикам: коэффициент детерминации R² и средняя абсолютная ошибка МАЕ .

R² — коэффициент детерминации в регрессионном анализе. Он показывает долю вариации зависимой переменной, объясняемую независимыми переменными в модели. МАЕ вычисляется по формуле:

MAE =-£ У , ^- У i ,                             (4)

n i = 1

где n - общее количество наблюдений;

• y_i – прогнозируемые значения;

• У i - наблюдаемые значения.

Заключительным элементом схемы является блок автоматизированного проектирования и планирования производства. В данном блоке суррогатная модель используется в качестве быстродействующего аппроксиматора целевой функции и ограничений при решении задач оптимизации параметров производственного процесса. Это позволяет выполнять многократные расчеты сценариев типа «что-если», оценивать влияние изменения размера партий, загрузки оборудования и структуры плана на итоговые временные показатели, а также формировать адаптивные производственные планы.

Обратная связь реализуется следующим образом: фактические данные реального производственного процесса могут использоваться для актуализации имитационной модели и последующего дообучения суррогатной модели. Таким образом формируется замкнутый контур «реальный процесс – цифровой двойник – суррогатная модель – система планирования», обеспечивающий адаптацию системы управления к изменяющимся условиям функционирования производства.

РЕЗУЛЬТАТЫ

Согласно этапам проектирования процесса на рисунке 2, сначала была создана детализированная имитационная модель производственного участка, а затем – ее суррогатная модель с использованием методов машинного обучения.

Создание детализированной имитационной модели . Детализированная модель рассматриваемого участка (рисунок 1) была создана в среде имитационного моделирования AnyLogic с использованием дискретно-событийного подхода.

Для проведения имитационных экспериментов были предварительно сформированы входные данные в виде файлов формата .xlsx, содержащих последовательности производственных партий заданного объема. Сгенерированные данные загружались в модель с использованием встроенного механизма работы с базами данных AnyLogic, что обеспечило возможность автоматизированного запуска серии вычислительных экспериментов.

Логика функционирования модели отражает реальный технологический процесс. Тара с заготовками поступает на склад входного хранения, затем перемещается на промежуточный стол размещения, после чего направляется к обрабатывающему станку. По завершении обработки детали перемещаются на выходной стол и далее на склад готовой продукции, где размещаются тары с обработанными изделиями. Данный процесс реализован в среде AnyLogic посредством стандартных блоков дискретно-событийной библиотеки (Source, Queue, Service, MoveTo, Sink и др.) и логических связей между ними.

На выходе из модели формируется файл формата *.csv. В этих файлах содержатся значения выбранных параметров, по которым в последствии выполнялось обучение и тестирование суррогатных моделей.

Целевыми сохраняемыми переменными (1) выступают временные показатели выполнения операций обработки различных типов деталей ( L‘ sp , L‘ , L‘_rp ) и их транспортировки ( L ip ).

Для последующего построения и обучения суррогатных моделей из имитационной среды были сохранены параметры, характеризующие состояние производственной системы и оказывающие существенное влияние на временные показатели процесса. К числу входных признаков X (1) относятся: N_p – размер производственной партии; N_{q 1} , N_{q 2} , N_{q 3} – длина очереди перед станком для соответствующих типов деталей; L_m – коэффициент загрузки оборудования; e_p – показатель наличия незаполненных позиций в производственном плане; t_p – тип обрабатываемой партии; P_b – позиция партии в текущем производственном плане; D – временная метка события (характеризует динамику состояния системы).

Таким образом, в сформированных файлах формата *.csv содержатся как входные параметры, описывающие текущее состояние производственного участка, так и целевые переменные — временные показатели выполнения технологических и логистических операций.

Обучение и тестирование суррогатных моделей. Как отмечалось ранее, цель суррогатного моделирования заключается в построении максимально точного приближенного отображения F _e ( x ) , аппроксимирующего зависимость (3), реализуемую детализированной имитационной моделью производственного участка. Иными словами, требуется заменить вычислительно затратную дискретно-событийную модель быстродействующей регрессионной моделью машинного обучения при сохранении высокой точности прогнозирования. Процесс построения суррогатной модели включает четыре взаимосвязанных этапа (рисунок 3).

Рис. 3. Этапы построения суррогатных моделей

Первым этапом является построение плана экспериментов, определяющий в первую очередь объем данных. Далее следует формирование обучающей выборки на основе результатов моделирования детализированной модели (извлечение входных параметров и целевых переменных). В третьем блоке выполняется выбор и настройка алгоритмов машинного обучения, включая подбор гиперпараметров. Завершающим является этап оценки качества и валидации суррогатной модели на независимой тестовой выборке.

Следует отметить, что указанные этапы носят итерационный характер: при выявлении недостаточной точности выполняется корректировка набора признаков, изменение архитектуры модели или повторный подбор гиперпараметров.

В рамках исследования были использованы три регрессионные модели, широко применяемые при построении нелинейных аппроксиматоров сложных зависимостей.

Случайный лес (Random Forest, RF) — ансамблевый метод, основанный на построении множества решающих деревьев с использованием бутстреп-выборок и случайного подпространства признаков. Итоговый прогноз формируется путем усреднения предсказаний отдельных деревьев. Метод отличается высокой устойчивостью к переобучению, способностью моделировать нелинейные зависимости и корректной работой при наличии разнотипных признаков.

Градиентный бустинг (XGBoost) — алгоритм последовательного ансамблирования, при котором каждая новая модель обучается на ошибках предыдущей. В отличие от случайного леса, где деревья строятся независимо, бустинг формирует ансамбль последовательно, минимизируя заданную функцию потерь с использованием градиентного спуска в функциональном пространстве. Метод характеризуется высокой аппроксимирующей способностью и эффективной регуляризацией.

Многослойный перцептрон (MLPRegressor) — нейросетевая модель прямого распространения, реализующая нелинейное отображение входного пространства в выходное посредством скрытых слоев с нелинейными функциями активации. Нейронные сети обладают универсальными аппроксимирующими свойствами, однако требуют корректной настройки архитектуры, масштабирования признаков и достаточного объема данных.

В рамках исследования использовалась реализация указанных выше моделей с использованием библиотеки Scikit-Learn. Поскольку задача относится к многомерной регрессии, модели обучались на одновременное прогнозирование четырех временных характеристик производственного процесса. Оценка качества проводилась как для каждой целевой переменной отдельно, так и по совокупности показателей.

Результаты моделирования. Для проведения вычислительных экспериментов в детализированной имитационной модели были сформированы три производственных плана с последовательностью партий объемом 5000, 10000 и 20000 единиц. Для каждого плана выполнен запуск модели в среде AnyLogic с последующим сохранением входных параметров состояния системы и соответствующих целевых переменных. В таблице 1 представлены статистические характеристики целевых переменных, полученных по результатам имитационных экспериментов. Для каждого объема данных приведены среднее значение и среднеквадратическое отклонение (СКО).

Таблица 1. Статистические характеристики целевых переменных, с

Объем данных	i Lsp		L i lp		i Lpp		i Lrp
	Среднее	СКО	Среднее	СКО	Среднее	СКО	Среднее	СКО
5000	9,5996	15,9170	125,1568	17,1165	22070,9333	12815,0700	42266,3169	24973,5448
10000	9,6385	15,9719	125,1998	17,1198	22099,0528	12793,0380	42315,0810	24982,8157
20000	9,6247	15,9674	125,1017	17,1511	22013,1104	12782,4952	42319,0037	24984,9941

Анализ таблицы показывает устойчивость статистических характеристик при увеличении объема выборки. Средние значения и СКО для всех четырех целевых переменных практически не изменяются при переходе от 5000 к 20000 партиям, что свидетельствует о стационарности процесса моделирования и достаточной репрезентативности сформированных выборок.

Перед построением моделей прогнозирования был выполнен комплексный анализ как целевых переменных, так и входных признаков. Целью анализа являлась оценка корректности распределений, выявление возможного дисбаланса, длинных хвостов, пропусков и статистической значимости факторов.

Для целевых переменных рассчитывались основные описательные статистики: минимум, максимум, среднее значение, стандартное отклонение, квартили и коэффициент асимметрии. Наличие длинного хвоста распределения оценивалось на основе сравнения межквантильных размахов q i , где i – процент охватываемых данных. Распределение считалось асимметричным при существенном превышении разности q ₉₉ — q ₅₀ и q ₅₀ — q ₀₁ . Такой подход позволяет выявить риск смещения модели в сторону редких экстремальных значений.

В дополнение к числовым признакам проводился анализ следующих параметров: доля пропущенных значений, количество уникальных значений, уровень дисбаланса (признак считался несбалансированным при доминировании одного значения более чем в 90% случаев), а также статистическая связь с целевой переменной, определяемая с помощью F-критерия Фишера линейной регрессии.

Для категориальных признаков анализировались: частота самых и наименее распространенных категорий; наличие редких категорий; важность различий целевой переменной между категориями, что оценивалось с помощью однофакторного дисперсионного анализа.

После проведения анализа для каждого признака была сформулирована рекомендация относительно его пригодности с учетом статистической значимости и стабильности распределения. В итоговый набор признаков были включены параметры, демонстрирующие статистическую значимость и устойчивость распределения: N_p , N_{q 1} , N_{q 2} , N_{q 3} , e_p , t_p и P_b .

На рисунке 4 приведены гистограммы распределения целевых переменных L\ p и L pp , где по оси абсцисс откладывается время переменной, а по оси ординат — частота наблюдений.

Рис. 4. Гистограммы целевых переменных: а) Lⁱ _lp б) Lⁱ _pp

После формирования итогового набора признаков было выполнено обучение и тестирование суррогатных моделей, полученные результаты приведены в таблице 2.

В таблице 3 приведено время расчета моделей при различных объемах данных. Расчеты выполнялись на персональном компьютере с процессором AMD Ryzen 7 (3,8 ГГц).

Быстрее всего расчет выполняется с использованием нейронной сети MLP, медленнее всего – случайный лес (в 10-20 раз, в зависимости от объема данных). Характерно, что трудоемкость случайного леса мало меняется от изменения размера данных – около 10%, в то время как время расчета MLP выросло в два раза.

Анализ результатов. Анализ результатов обучения и тестирования суррогатных моделей показал, что наилучшую точность прогнозирования обеспечивает модель случайного леса. Для данной модели коэффициент детерминации R² на обучающей выборке превышает значение 0,95, а на тестовой выборке составил до 0,994, что свидетельствует о высокой способности модели к обобщению и отсутствии существенного переобучения. Только для времени Lⁱ _lp коэффициент не превысил 0,68 на тесте, что говорит об умеренной обобщающей способности. Средняя абсолютная ошибка при прогнозировании временных параметров производственного процесса составила менее 0,5-20 минут для операций обработки и менее 8 минут для операций транспортировки, что соответствует относительной погрешности не более 5 % и 7% от средних величин соответственно.

Модель градиентного бустинга также продемонстрировала высокую точность прогнозирования для переменных времени обработки деталей, однако наблюдается снижение значения коэффициента детерминации до 0,18-0,3 на тестовой выборке для времени транспортировки, что может быть связано с высокой дисперсией отдельных целевых параметров и наличием длинных хвостов распределений. Модель на основе многослойного перцептрона показала нестабильные результаты, особенно при прогнозировании параметров с большой вариативностью, что объясняется высокой чувствительностью нейронных сетей к масштабу данных, необходимости более сложной настройки архитектуры и наличию значительных выбросов.

Особое значение имеет сравнительный анализ вычислительной эффективности имитационной и суррогатных моделей. Время расчета параметров для имитационной модели составило 468,54 с при объеме выборки 20000 партий, в то время как суррогатная модель на основе случайного леса выполняла аналогичный расчет за 0,25 с, что обеспечивает ускорение более чем в 1800 раз. Это позволяет использовать суррогатные модели для решения задач оптимизации производственных процессов в режиме, близком к реальному времени.

Таблица 2. Результаты по точности прогнозов суррогатных моделей

Объем данных	Мод ель	Обучение
		L isp		L ilp		L ipp		Lirp
		MAE	R2	MAE	R2	MAE	R2	MAE	R2
4000	RF	0,1872	0,9991	2,9672	0,9571	3,8046	1,0000	7,7389	1,0000
	XG	0,2945	0,9981	7,2255	0,7127	32,5170	1,0000	67,2671	1,0000
	MLP	0,4495	0,9953	13,2012	0,0584	19166,7284	- 1,9420	39397,2037	- 2,3403
8000	RF	0,1769	0,9992	2,9157	0,9532	3,9205	1,0000	7,5220	1,0000
	XG	0,3402	0,9975	9,0724	0,5060	68,3181	1,0000	131,0306	1,0000
	MLP	0,4256	0,9956	12,7878	0,0361	27971,5950	- 0,4405	68211,9447	- 1,4989
16000	RF	0,1804	0,9991	2,9430	0,9525	3,9911	1,0000	7,4403	1,0000
	XG	0,3759	0,9968	10,5129	0,3363	132,0860	1,0000	255,5229	1,0000
	MLP	0,4223	0,9955	12,9694	0,0150	6739,2916	0,9760	57649,5527	0,5953
Объем данных	Мод ель	Тестирование
		L isp		L ilp		L ipp		Lirp
		MAE	R2	MAE	R2	MAE	R2	MAE	R2
1000	RF	0,4724	0,9937	7,8072	0,6769	11,2009	1,000	20,9492	1,000
	XG	0,4914	0,9944	10,8959	0,2965	47,4124	1,000	95,7841	1,000
	MLP	0,4379	0,9952	13,2126	0,0170	18804,8912	- 1,7526	38717,4463	- 2,1323
2000	RF	0,5045	0,9942	7,9587	0,6537	10,7789	1,000	19,3517	1,000
	XG	0,5068	0,9948	11,4462	0,2203	81,0651	1,000	154,4806	1,000
	MLP	0,4448	0,9959	12,6402	0,0378	27805,7338	- 0,4357	67565,6634	- 1,4709
4000	RF	0,4773	0,9940	7,8232	0,6658	10,5722	1,000	19,8845	1,000
	XG	0,4556	0,9952	11,8009	0,1873	144,0753	1,000	281,5323	1,000
	MLP	0,4186	0,9955	12,9825	0,0156	6873,6872	0,9732	57958,5361	0,5790

ВЫВОДЫ

Проведенные исследования показали высокую эффективность применения суррогатных моделей машинного обучения для аппроксимации результатов имитационного моделирования производственного участка. Полученные результаты подтверждают возможность эффективного применения суррогатных моделей в составе цифровых двойников производственных систем. Использование суррогатных моделей позволяет заменить вычислительно сложные имитационные модели на быстрые аппроксимирующие модели при сохранении высокой точности прогнозирования. Это открывает возможности для реализации адаптивного планирования, оперативного анализа сценариев типа «что-если», а также применения методов оптимизации для повышения эффективности производственных систем.

Перспективным направлением дальнейших исследований является разработка методов онлайн-дообучения суррогатных моделей на основе поступающих производственных данных, а также интеграция суррогатных моделей в мультиагентные системы управления производством для обеспечения автономного принятия решений и повышения устойчивости производственных процессов.

Таблица 3. Время расчета в моделях при разных объемах выборок, с

	Объем выборки, ед
Модель	5000	10000	20000
AnyLogic	125,93	240,31	468,54
RF	0,23	0,24	0,25
XGBoost	0,02	0,02	0,04
MLP	0,01	0,01	0,02