О специфике методики испытаний информационных систем с компонентами машинного обучения

THE SPECIFIC OF TESTS FOR INFORMATION SYSTEMS WITH MACHINE LEARNING COMPONENTS

Shcherbakov Maxim V.1, Glotov Artem V.2, Cheremisinov Sergey V.3, Shcherbakov Natalia

L.4

1Head of the Department, Grand PhD in engineering, associate professor;

Volgograd State Technical University;

28 Lenina Av., Volgograd, 400005, Russia;

2CEO, PhD in Economics, associate professor;

Mobile Gas Turbine Energy Stations JSC company;

4B Belovezhskaya Str., Moscow, 121353, Russia;

3СEO Advisor;

Mobile Gas Turbine Energy Stations JSC company;

4B Belovezhskaya Str., Moscow, 121353, Russia;

4PhD in Engineering, associate professor;

Volgograd State Technical University;

28 Lenina Av., Volgograd, 400005, Russia;

Shcherbakov M. V., Glotov A. V., Cheremisinov S. V, Shcherbakov N. L. The specific of tests for information systems with machine learning components. System Analysis in Science and Education, 2022;(2):33– 37(In Russ). Available from:

Введение

Для подтверждения работоспособности любой автоматизированной (информационной) системы проводят соответствующие испытания. Стандарт ГОСТ Р 59792-2021 [1] определяет виды испытаний: предварительные, опытная эксплуатация и приемочные. Для планирования и проведения всех видов испытаний разрабатывают соответствующие им документы «Программа и методика испытаний» (ПМИ) в соответствии с ГОСТ Р 59795 [2].

ПМИ содержит описание основных шагов для проведения испытаний (в зависимости от видов испытаний) автоматизированных систем (АС) и является основным документом в проектной документации. ПМИ должна устанавливать необходимый и достаточный объем испытаний, обеспечивающий заданную достоверность получаемых результатов [2]. В результате прохождения программы испытаний по заданным методикам принимается решение о переводе системы в опытную или промышленную эксплуатацию. Предварительные комплексные испытания представляют собой процесс проверки выполнения системой заданных функций, определения и проверки соответствия требованиям ТЗ количественных и качественных характеристик системы, выявления и устранения недостатков в действиях системы, в разработанной документации, устранения замечаний, выявленных в процессе проведения комплексных испытаний.

Кроме этого документ ПМИ предназначен для: установления данных, обеспечивающих получение и проверку проектных решений; выявления причин сбоев; определения качества работ; оценки качества функционирования АС (подсистемы); проверки соответствия АС требованиям техники безопасности; установления продолжительности и режима испытаний [2].

Документ ПМИ должен содержать перечни конкретных проверок (решаемых задач), которые следует осуществлять при испытаниях для подтверждения выполнения требований технического задания ТЗ на АС, со ссылками на соответствующую методику (разделы методики) испытаний, включая выполнение функций АС во всех режимах функционирования, установленных в ТЗ на АС. Специфика информационных систем с компонентами машинного обучения требуют проработки дополнительных проверок, учитывающих специфику задач. Далее рассматриваются методики испытаний, учитывающие специфику проверки моделей и методов машинного обучения. Приводится пример протокола испытаний (на примере моделей и методов прогнозирования отказов энергетического оборудования).

• 1.    Методики испытаний моделей и методов машинного обучения

К особенностям методик испытаний АС с компонентами машинного обучения следует отнести следующее.

• 1.    Формирование кроссвалидационной выборки . Следует определить правила формирования обучающей и тестовой (кроссвалидационной) выборок для исключения 1) несбалансированности и 2) проверки обобщающей способности модели. Важно описать правила разделения при наличии категориальных переменных. Особое внимание уделить вопросам несбалансированности выборки данных (в частности при решении задачи оценки сбоев в работе оборудования) [3].

• 2.    Определение параметров, задаваемых априорно . Еще один важный аспект – определение правил (или оптимизационных процедур) выбора гиперпараметров модели (параметров, задаваемых априорно). Например, при решении задачи прогнозирования отказа оборузования важным является определение глубины погружения (например, некоторые события может быть исключены из обучения, так как они произошли близко по времени от других событий, включенных в обучающую выборку) и параметра скользящего окна.

• 3.    Выбор оценки качества моделей . Следует отметить, что выбор оценки качества является сложной процедурой [4], поэтому целесообразно использовать автоматические фреймворки оценки качества различными метриками [5]. Качество работы моделей машинного обучения зачастую зависит от начальной инициализации, следовательно, необходимо с одной стороны минимизировать этот случайный фактор, а с другой выбрать модель обладающей наиболее сильной обобщающей возможностью.

• 4.    Определение порядка оценки качества моделей . Важно определить порядок формирования кроссвалидационной выборки и количество запусков для обеспечения получения устойчивого результата при оценке качества моделей (план проведения экспериментов). Полученные результаты для различных значений гиперпараметров моделей должны быть проанализированы с использованием статистических критериев. Целесообразно определить «бенчмарк» модель (метод), с которым будет осуществляться сравнение.

• 5.    Целевые показатели результативности . Следует отметить, что ожидаемые результаты работы модели или метода (требования к результативности) должны быть определены в ПМИ. При этом результаты функционирования системы на новых данных в процессе опытной (промышленной) эксплуатации могут различаться (в том числе и в сторону ухудшения) и это необходимо определить в плане сопровождения.

Результаты могут быть оформлены протоколом испытания. Ниже приведен пример протокола испытания модели (на примере задачи предиктивной аналитики генерирующего оборудования [6]).

Название : приводится название метода/модели.

Назначение : указывается какая задача решается методом/моделью, например:

• -    выявления предотказных состояний (потенциальных отказов) газотурбинной установки (ГТУ) или ее узлов (задача идентификация потенциальных отказов);

• -    выявление отклонений (разладки, рассогласования) в работе оборудования (не вызывающих срабатывания защит) от стандартов производительности;

• -    определения фактического технического состояния узлов ГТУ (задача определения показателей надежности – остаточный ресурс, индекс технического состояния, др.);

• -    классификация видов потенциальных и функциональных отказов и их причин;

• -    формирование сценариев технических воздействий и оценка риска.

Узел : дается характеристика узла, для которого применяется модель/метод.

Идея : описывается идея метода.

Входные данные : приводится перечень входных данных.

Выходные данные : приводится перечень выходных данных, результат.

Используемая модель : приводится описание модели (тип модели, зависимая переменная, независимые (объясняющие) переменные, способ структурно-параметрической оптимизации модели, функционал качества при структурно-параметрической оптимизации).

Оценка качества метода/модели : дается описание плана эксперимента и проводится эксперимент, в результате которого принимается решение о возможности включения реализации мето-да/модели.

План эксперимента включает в себя:

• -    описание и расчет критерия (или критериев) качества метода/модели (критерий должен быть интерпретируемым);

• -    приемлемое значение критерия (если достоверность модели не ниже значения приемлемого значения критерия, то принимается решение о включении реализации метода в систему);

• -    процедуру выбора (задания) гиперпараметров модели или условий перебора гиперпараметров;

• -    выборку данных для структурно-параметрической оптимизации (обучения) модели;

• -    выборку данных, исключенной из обучения модели для тестирования (или кроссвалидацион-ной проверки);

• -    задание числа повторений экспериментов (в случае недетерминированного алгоритма);

• -    описание процедуры оценка качества модели по выделенным критериям качества;

• -    определение бенчмарк модели и сравнение характеристик качества с бенчмарк моделью;

• -    принятие решение о включении реализации метода/модели.

Заключение

В статье рассмотрены методики проведения испытаний АС с компонентами машинного обучения. Приведен пример протокола выполнения испытаний на примере системы предиктивного анализа генерирующего оборудования. Данные методики можно рассматривать как базовые и которые могут быть расширены с учетом специфики предметной области. Методика использовалась для проведение предварительных испытаний системы предиктивного анализа генерирующего оборудования СПАГО в компании АО «Мобильные газотурбинные электрические станции».