Применение метода градиентного бустинга для поддержки принятия технологических решений в процессе электронно-лучевой сварки

Введение. Для ряда технологических процессов остро стоит вопрос подбора или осознанного выбора оптимальных параметров, которые зависят от предъявляемых критериев качества к конечному изделию [1–5]. Более того, данное утверждение справедливо и для способов поиска улучшения или преобразования уже налаженного технологического процесса. Например, в ситуации, когда необходимо улучшить один из параметров, определяющих качество конечного изделия, не изменяя остальные или не допуская их отклонение на определённую величину. Однако часть процессов, таких как электроннолучевая сварка [6; 7], относительно сложно поддаются наладке или же изменению, в связи с недостаточной изученностью либо с комплексной сложностью, когда невозможно учесть все факторы в том виде, который бы позволил однозначно определять потенциальные изменения и влияние параметров на процесс в целом. Это влечет необходимость поиска методов упрощения процессов наладки и преобразования технологических процессов.

Рассматривая технологический процесс как замкнутую систему с различными входными и выходными параметрами, можно построить соответствующую модель и в дальнейшем использовать ее в качестве инструмента для прогноза и оптимизацию. Целью данной работы явилось исследование одного из алгоритмов машинного обучения как предмета создания комплексной математической модели, которая позволила бы сформировать осознанный взгляд на выбор параметров технологического процесса как в локальном, так и в глобальном поиске оптимума, определяемого технологом. Такой подход в существенной мере позволит снизить время на наладку технологического процесса, а также стоимость поисковых исследований, что в конечном счете положительным образом отразится на стоимости и качестве выпускаемых изделий.

В сущности, поставленная задача представляет собой задачу регрессии. Одним из наиболее эффективных и мощных алгоритмов композиции является алгоритм градиентного бустинга [8–13]. Использование предложенной математической модели позволит повысить качество управления технологическим процессом электронно-лучевой сварки за счет реализации поддержки принятия технологических решений с использование алгоритма градиентного бустинга. В перспективе данный подход можно использовать для технологических процессов, имеющих схожие статистические зависимости.

Описание набора обучающих данных. В качестве исходных данных были взяты результаты экспериментальных исследований, проводимых в целях улучшения технологического процесса электронно-лучевой сварки изделия, сборка которого складывается из элементов, состоящих из разнородного материала. Установка электроннолучевой сварки, на которой проводились исследования, предназначена для сварки электронным лучом в глубоком вакууме деталей сборочных единиц из нержавеющих сталей, титановых, алюминиевых и специальных сплавов. Существующая установка электроннолучевой сварки обеспечивает повторяемость режимов в рамках возможностей реализованной системы управления. Работы по сварке выполнялись на образцах-имитаторах, соответствующих технологическому изделию. Для уменьшения вложения энергии при сварке:

• 1)    снижалась величина сварочного тока (IW);

• 2)    увеличивался ток фокусировки электронного пучка (IF);

• 3)    увеличивалась скорость сварки (VW);

• 4)    менялось расстояние от поверхности образцов до электронно-оптической системы (FP).

По совокупности параметров технологических режимов обеспечивались минимально возможные размеры сварных швов: глубина шва (Depth) и ширина шва (Width).

В процессе выполнения работ была произведена электронно-лучевая сварка 18-ти единиц образцов. Результаты металлографического контроля по размерам сварочного шва для каждого образца проводились в 4-х поперечных сечениях сварочного шва. Ускоряющее напряжение было постоянным в диапазоне 19,8–20 кВ. Набор полученных данных собран в составе режимов сварки, размеров сварочных швов в поперечных сечениях всех образцов. Статистические показатели набора обучающих данных указаны в табл. 1.

Таблица 1

Статистические показатели набора обучающих данных

Показатель	IW	IF	VW	FP	Depth	Width
Количество	72	72	72	72	72	72
Среднее выборочное	45,666	141,333	8,639	78,333	1,196	1,970
Среднее квадратичное отклонение	1,678	5,146	2,061	21,494	0,225	0,279

Минимум	43	131	4,5	50	0,80	1,68
25 %	44	139	8	60	1,08	1,76
50 %	45	141	9	80	1,20	1,84
75 %	47	146	10	80	1,29	2,05
Максимум	49	150	12	125	1,76	2,60

Математическая постановка задачи. Формальная постановка задачи поддержки принятия технологических решений в процессе электронно-лучевой сварки представляет собой задачу регрессии, в которой по набору исходных параметров технологического процесса необходимо спрогнозировать характеристики сварного соединения. Математическая постановка задачи управления в данном случае будет выглядеть следующим образом. Пусть имеются набор параметров технологического процесса: IW – величина сварочного тока; IF – ток фокусировки электронного луча; VW – скорость сварки; FP – расстояние от поверхности образцов до электронно-оптической системы; Depth – глубина сварного шва; Width – ширина сварного шва. Существует неизвестная целевая зависимость отображения: у*: (IW, IF, VW, FP) → (Depth, Width), значение которой известно только на обучающей выборке. Необходимо разработать алгоритм отображения.

В рамках данной работы имеем:

• 1.    Набор данных: L = {x i , y i }, i = 1 ..n, где:

• -    x iw – ток сварки, мА;

• -    x if – ток фокусировки, мА;

• -    x vw – скорость сварки, об/мин;

• -    x fp – расстояние до ЭОСС, мм;

• -    y depth – глубина сварочного шва;

• -    y width – ширина сварочного шва;

• -    x принадлежит Q⁴ , y принадлежит Q² , где Q – множество положительных рациональных чисел.

• 2.    Модель f(X), которая предсказывает значения для каждого объекта, где X – параметры технологического процесса, в данном случае технологические параметры электроннолучевой сварки. Для оценки качества модели f(X) в рамках данной работы используются следующие метрики: средняя квадратическая ошибка (MSE); средняя абсолютная ошибка (MAE); коэффициент детерминации R² (R2).

В рамках данного исследования f(x) – ансамбль моделей «Градиентный бустинг» (Gradient Boosting Regressor).

Градиентный бустинг. Модель Gradient Boosting Regressor была реализована с помощью пакета scikit-learn 0.22.2 на Python 3.8 [14; 15]. Бустинг – это техника построения ансамблей, в которой предсказатели построены не независимо, а последовательно. Это техника использует идею о том, что следующая модель будет учиться на ошибках предыдущей. Они имеют неравную вероятность появления в последующих моделях, и чаще появятся те, что дают наибольшую ошибку [16]. Алгоритм Градиентного бустинга:

• 1.    Инициализировать модель константным значением:

  /to = /o,/o = J,jcm:

• 2.    Для каждой итерации t = 1..M ( M = n_estimators) повторять:

.f = argmin ^>4 ( y _p y ).

y       i = 1

• а)    посчитать псевдо-остатки r t .

  г

  r it

  
  

  d L ( y„. f ( x)) d f ( x i )

  
  

  , i' — 1,..., n ;

  
  

  _ˆ

  
  

  f ( x ) = f ( x )

  
  

• б)    построить новый базовый алгоритм h t (x) как регрессию на псевдо-остатках {(x i , r it )} i=i..n. ;

• в)    найти оптимальный коэффициент p t при h t (x) относительно исходной функции потерь

Pt = aigmiiiy Z(j- ДД ) + p-/^ .^));

• г)    записать модель

Л(У = Рг-А(У;

• д)    обновить текущее приближение

• 3.    Скомпоновать итоговую модель

  M

  
  

  ^{f (} x ) ^— z ^{f ( x} )•

  
  

  i — 0

  
  

t f (x) ^ f (x)+ f (x)— ^ f (x).

i — 0

В рамках данной работы реализован градиентный бустинг над решающими деревьями. Данная реализация градиентного бустинга позволяет построить модель в форме ансамбля слабых предсказывающих моделей деревьев решений.

В scikit-learn модель GradientBoostingRegressor строит модель поэтапно, что позволяет оптимизировать произвольные дифференцируемые функции потерь. На каждом этапе дерево решений соответствует отрицательному градиенту заданной функции потерь. Основные параметры в GradientBoostingRegressor, которые подбирались для поиска оптимального решения:

• 1.    n_estimators – количество этапов повышения градиента (количество используемых слабых деревьев решений);

• 2.    loss – функция потерь для оптимизации (MSE, MAE);

• 3.    max_depth – максимальная глубина каждого дерева решений;

• 4.    max_features – число признаков, по которым ищется разбиение;

• 5.    min_samples_split – минимальное количество объектов, необходимое для разделения внутреннего узла дерева;

• 6.    min_samples_leaf – минимальное число объектов в листе.

Подбор оптимальных параметров для модели. Для подбора оптимальных параметров в модели применялась функция GridSearchCV, входящая в состав модуля scikit-learn. Функция GridSearchCV реализует исчерпывающий поиск по указанным значениям параметров для модели. Данная функция реализует методы «подбора» и «оценки».

Параметры модели, оптимизируются путем перекрестной проверки (cross-validation) по сетке параметров.

Главные параметры функции GridSearchCV:

• 1.    estimator – модель, в которой проходит подбор;

• 2.    param_grid – наборы гипер-параметров, которые необходимо проверить;

• 3.    scoring – метрика, по которой будет происходить оценивание.

• 4.    cv – количество блоков в перекрестной проверке.

Экспериментальные исследования.

Постановка эксперимента. Настройка и обучение модели проводились отдельно для каждого: y depth и y width , на множестве параметров X . Обучение модели с оптимальными параметрами на полном наборе данных (dataset) обозначено как train_score. Для проверки точности предсказания модели (cv_score) использовалась перекрестная оценка (crossvalidation). Для получения оценки путем перекрестной проверки используется функция cross_val_score из модуля scikit-learn.

Количество блоков в перекрестной проверке равно 4-м. Для повышения точности проверки выполняется алгоритм:

Для каждого i = 1, …, K :

• 1)    случайным образом перетасовываем dataset – DS i ;

• 2)    получаем оценку с помощью cross_val_score на DS i – S i ;

• 3)    итоговая оценка является средним значением

1K cv _ score =     S .

• ^KK i = 1 ⁱ

Количество K выбирается таким образом, пока cv score -cv score ≤0.1 .

KK - 1