Методическое обеспечение управления качеством данных, применяемых в процессах разработки документов по стандартизации

Введение, обзор литературы, цель

Процесс разработки документов национальной системы стандартизации (национальных стандартов, предварительных национальных стандартов, рекомендаций по стандартизации) [1] возможно представить как последовательность структурированных действий, которые связаны друг с другом и выполняются последовательно или параллельно для обеспечения надлежащей работы организации, осуществляющей разработку документов национальной системы стандартизации. В выполнении этого комплекса работ задействованы различные структурные подразделения организации с учетом различных областей деятельности, между которыми осуществляются коммуникации, в том числе и цифровой, где под коммуникацией возможно понимать обмен данными. В свою очередь, результативность процесса зависит от качества коммуникаций, т. е. качества данных [2]. Для более всестороннего рассмотрения основных аспектов анализа, автоматизации и моделирования процесса разработки документов национальной системы стандартизации можно использовать моделирование на основе данных, генерируемых и получаемых из информационной системы. Чем более качественные данные будут участвовать в моделировании, тем более точной будет модель. Чтобы обеспечить высокое качество данных при разработке документов национальной системы стандартизации, необходимы методики, которые:

• -    определяют показатели для оценки качества данных;

• -    устанавливают требования к оценке зрелости и измерению процесса управления качеством данных;

• -    определяют синтаксические и семантические требования к данным;

• -    устанавливают требования к модели процесса управления качеством данных;

• -    определяют правила для данных и требования к информации об их точности, происхождении и полноте.

Всё это требует наличия современных методик управления качеством данных. В мировой практике существуют и продолжают разрабатываться стандарты в области управления качеством промышленных данных -международные стандарты серии ИСО 8000 [3]. Также в настоящее время разрабатывается серия стандартов ИСО/МЭК 5259, которая содержит основы для концептуального понимания качества данных применительно к аналитике и машинному обучению, при этом также опираясь на серию ИСО 8000. В отечественной практике на данный момент методики управления качеством данных находятся в стадии разработки и стандартизации. При моделировании необходим методический инструментарий, позволяющий обеспечивать повышение точности измерения данных, которые можно использовать также при моделировании процесса разработки документов национальной системы стандартизации, в том числе определять характеристики, которые организации в рамках цепочки обмена данными могут использовать для объективной оценки соответствия своих данных. Качество данных является ключевым компонентом качества информации, и большинство бизнес-процессов зависят от качества данных.

Современные условия глобального рынка характеризуются динамичными изменениями, цифровизацией и децентрализацией процессов. Сроки разработки продуктов стремительно сокращаются за счет внедрения новых подходов в производственном менеджменте: цифровизации цепочек создания ценности, масштабирования, оптимизации маршрутов, что отражено в исследованиях отечественных авторов [4–6]. Технологии и экономика резко изменяются с распространением цифровой трансформации. Анализ литературы [7–9] позволил выявить, что подход TQM сохраняется, но появляются новые цифровые инструменты и услуги, попытки систематизировать которые отражаются в создании таких концепций, как «качество 4.0». Как отмечает автор [10], многие из них были изобретены в XX в., а некоторые – в последние годы. Их комплексное применение должно обеспечить новую ступень в цифровой трансформации и научно-техническом прогрессе, но требует развития новых компетенций. Разрабатываются подходы по созданию среды глобально доступных и взаимодействующих цифровых сервисов, которые должны обеспечить ускоренную модернизацию экономики на основе принципов качества.

Современные автоматизированные системы управления играют все более важную роль в оптимизации бизнес-процессов предприятий, осуществляющих деятельность в высокотехнологичной сфере. Они помогают повысить производительность, эффективность и прибыльность, сократить операционные расходы, улучшить процессы принятия решений и определить области для улучшения, что изложено в статьях отечественных авторов [11–14].

В большинстве случаев процесс разработки документов национальной системы стандартизации представляет собой сложную систему, так как в них участвуют несколько субъектов. В настоящее время для автоматизации жизненного цикла документов национальной системы стандартизации с 2017 г. используется подсистема «Береста» ФГИС Ро сстандарта, которая создана в соответствии с Концепцией информатизации деятельности Федерального агентства по техническому регулированию на период до 2018 г. При этом, как отмечается в исследовании [15], данная информационная система обладает рядом недо статков, в том числе и в отношении соблюдения порядка разработки, устанавливаемого ГОСТ Р 1.2–2020 [16]. При этом авторы исследования [17] также отмечают, что применяемая информационная система устарела в части порядка взаимодействия и развития информационных технологий и требует существенной модернизации, особенно в контексте перспективы разработки и применения SMART-стандартов [18]. В то же время важно отметить, что ведется разработка новой версии ФГИС «Береста», которая во многом будет учитывать изложенные в исследованиях предложения и замечания [19; 20]. Принимая во внимание направление развития цифровизации национальной системы стандартизации, важным становится обеспечение качества данных.

Учитывая вышеизложенное, в контексте цифровизации жизненного цикла документов национальной системы стандартизации предлагается рассмотреть методологии, направленные на проектирование взаимодействия человека и компьютера в системах, требующих интенсивного рабочего процесса – в социотех-ниче ских системах [21]. При рассмотрении с точки зрения социотехнической системы ключевые аспекты процесса разработки документов национальной системы стандартизации включают последовательность действий, в которой процесс представлен как набор шагов или действий, которые выполняются в определенном порядке для достижения желаемого результата, и рабочий процесс, в котором действия часто связаны в непрерывный рабочий процесс, и результат одного действия становится входом следующего. Таким образом, учитывая необходимость наличия современных методик управления качеством данных, цель исследования состоит в создании методик управления качеством данных и системы мониторинга процесса разработки документов национальной системы стандартизации с применением принципов обеспечения качества данных для повышения каче ства учета требований основополагающих стандартов [16].

Методы исследования

В исследовании применялись такие методы, как системный анализ, комплексный подход к решению научно-методических и теоретических задач, при обработке результатов исследований применены методы математической статистики, компьютерная обработка, анализ и интерпретация данных.

Результаты и дискуссия

Суще ствуют различные методы моделирования процессов и его основных этапов управления [22]. Представление и анализ моделей процесса разработки документов национальной системы стандартизации служат основой для разработки информационных систем организаций [23].

Инструменты управления процессами со временем были суще ственно расширены за счет внедрения информационных технологий и появления на их основе таких концепций, как моделирование, интеллектуальный анализ и репрезентация процессов. В рамках исследования процесса разработки документов национальной системы стандартизации с учетом подхода социотехнической системы целесообразно представить его как формализованное описание рабочего процесса, соответствующее действующим требованиям и представленное в виде набора логически связанных действий. Эти действия могут выполняться параллельно, последовательно или в определенной координации. Они направлены на достижение общей цели процесса или системы. Процесс будет включать в себя информацию о начале и конце процесса, а также о сотрудниках, участниках, информационных технологиях, приложениях или данных, которые используются в процессе.

В настоящее время качество данных является мерой состояния данных в информационных системах для обозначения их пригодности к обработке и анализу. Важно обеспечить качество данных, т. е. данных, отвечающих требованиям, в информационных системах как при построении хранилищ и озер данных, так и при работе с нормативно-справочной информацией. Например, когда предприятия исполь- зуют программное обеспечение разных производителей. При этом важно работать с одними и теми же данными, что может обеспечить их переносимость. Так, именно стандартизация управления качеством данных позволит обеспечить совместимость, упорядоченность, удобство использования, переносимость и безопасность за счет установления единых требований, правил и форматов для представления данных. Кроме того, стандартизация содействует распространению информации об инновациях. Поэтому важно понимать современное состояние и перспективы развития методической базы управления качеством данных и их гармонизации, в том числе и для цифровизации национальной системы стандартизации, в частно сти для цифровизации управления процессом разработки документов национальной системы стандартизации, когда качество процесса напрямую зависит от качества используемых данных.

Решения для управления бизнес-процесса-ми (BPM) уже являются самыми современными для хорошо структурированных, регламентированных стандартных задач и процессов с большим количеством повторений [24]. Базовые модели обычно ориентированы на деятельность и потоки управления. Регламентированные модели процессов с традиционными подходами к BPM ограничивают гибкость и не предназначены для постоянной адаптации. Кроме того, в языках моделирования бизнес-процессов, таких как BPMN 2, этот аспект, скорее, рассматривается как одно из их слабых мест.

Например, BPMN предоставляет так называемые объекты данных для документирования использования данных. Эти объекты данных не структурированы и не имеют семантики выполнения. Таким образом, не может быть достигнут ни требуемый уровень интеграции данных и задач, ни адекватно е представление сложных объектов данных. С возрастанием важности интеллектуального труда, который характеризуется своей адаптивной и творческой природой, необходимо учитывать уже не только структурированные процессы с повторяющимися задачами, но и гибкие и легко адаптируемые процессы. Характеристики таких наукоемких процессов, к которым также относится и процесс разработки документов национальной системы стандартизации, в деталях различаются из-за неоднородных областей применения интеллектуального труда – от высоко творческой, неповторяемой, совершенно непредсказуемой работы до областей с ограничениями и правилами (например, правовая база или правила соблюдения требований), но все же требующих высокого уровня индивидуальных знаний.

Однако в последнее время моделям процессов, основанным на данных, стало уделяться все больше внимания. Ключевым фактором для выполнения процесса является не предопределенный поток управления, а доступность данных. Кейс-менеджмент, например, позволяет определять довольно гибкие модели, основанные на данных, но рассматриваются только крупнодетализированные данные. Объектноориентированные процессы лучше поддерживают аспект данных, но не предназначены для адаптивности и динамической эволюции модели во время выполнения. Однако из существующих подходов в достаточной степени не интегрируют данные и представление задачи.

В контексте рассмотрения методик управления качеством данных необходимо рассмотреть уже существующие и применяемые модели данных. Многие ранее опубликованные работы определяют модели данных как основополагающий элемент моделирования адаптируемых процессов. По результатам анализа можно сделать вывод о целесообразности применения многоуровневой модели данных, разделенной на информационную модель (агрегированных, обработанных данных) и неизменяемую модель данных (наблюдаемых данных). Также большинство проанализированных методик используют модели на основе ориентированных графов. В отличие от проанализированных существующих подходов в разработанной методике предложено связывать объекты данных (и информации) на основе обработки реального протекания процесса из данных журналов событий.

Если список действий, который может описывать процесс, представлен в виде рабочего процесса, в котором указан порядок их выполнения, то процесс можно сделать более понятным, менее абстрактным. Отсюда следует, что модель – это репрезентация процесса, а моделирование – это создание модели. Эта концепция имеет существенное значение, так как четкое понимание процесса является отправной точкой для создания информационных систем, исследований на основе имитационного моделирования, а также способов улучшения или внедрения процессов для организации, например, контроля, сбора, хранения данных и т. д. В свою очередь, моделирование процессов отличается от разработки процессов тем, что при разработке должна учитываться организационная схема при постановке задач, используемая технология и даже бюджет на выполнение задачи. По этой причине важно уточнить, что разработка не является моделированием [25].

При разработке методики было установлено, что имитационная модель процесса разработки документов национальной системы стандартизации, создаваемая на основе данных, должна состоять:

• 1)    из стохастической модели процесса;

• 2)    модели результативности;

• 3)    модели нагрузки.

Стохастическая модель состоит из модели процесса (например, модели BPMN или сети Петри) и стохастического компонента, фиксирующего вероятность появления каждого пути в модели процесса. В имитационной модели процесса разработки документов национальной системы стандартизации стохастическая модель расширяется путем добавления модели результативности операции, которая определяет продолжительность операции. Модель нагрузки определяет, когда в систему поступают новые запросы и когда начинается выполнение каждой регистрирующейся операции, учитывая доступную емкость ресурсов.

В настоящее время все более распространенными становятся методики, в которых применяется автоматическое построение имитационных моделей процессов на основе данных журналов событий. С применением этого подхода разработаны две методики.

Первая методика включает в себя создание модели стохастического процесса путем применения алгоритма интеллектуального анализа процесса для построения модели процесса в нотации BPMN из данных журнала событий и анализа событий журнала для вычисления вероятностей развития процесса. Далее методика предусматривает построение модели результативности (распределение продолжительности операций) и модели нагрузки, состоящей:

• 1)    из распределения времени между поступлениями команд;

• 2)    набора ресурсов, расписаний их доступности и выполняемых ими действий;

• 3)    распределения времени ожидания между действиями (т. е. время ожидания, не связанное с загруженностью). Как только имитационная модель построена, ее параметры настраиваются в соответствии с данными с помощью байесовского оптимизатора гиперпараметров [26].

Вторая методика для создания имитационной модели на основе данных журнала событий состоит из трех шагов:

• 1)    предварительной обработки данных (применяются методы управления качеством данных, сбора, хранения и очистки данных, а также кодирования категориальных признаков);

• 2)    обогащения данных (создаются новые атрибуты данных, которые отражают тренды и загруженность системы);

• 3)    обучения модели (имитационная модель создается путем объединения методов интеллектуального анализа процессов и машинного обучения). Это позволяет повысить точность определения времени запросов и операций. Для создания модели процессов в методике используется анализ марковских цепей. Он позволяет оценить вероятности маршрутизации обращений между последовательными парами событий. Механизм абстракции помогает отфильтровать редкие события, пути и переходы между ними.

Современные информационные системы, используемые в организациях, занимающихся разработкой стандартов, формируют записи о выполнении процесса разработки документов национальной системы стандартизации (например, ФГИС «Береста») [27–30], которые могут быть использованы для анализа журналов событий: наборов событий с отметками времени, фиксирующих выполнение операций. Каждая запись о событии в журнале относится к запросу, операции и временной метке начала и окончания действия. Рассматривать можно и другие события жизненного цикла процесса разработки документов национальной системы стандартизации (например, постановку задачи или ее отмену). Для построения качественной имитационной модели процесса разработки документов национальной системы стандартизации важно, чтобы данные журнала были стандартизированы в соответствии с требованиями к качеству данных. Пусть ε – совокупность событий, C – совокупность идентификаторов запросов, A – набор возможных меток операций, а T – время.

Приведем определение журнала событий:

Журнал событий (обозначаемый L ) представляет собой набор выполненных действий, E ⊆ε , причем каждое событие имеет схему σ_ε ={ξ, α, τ_начало, τ_{завершение}}, которая присваивает событиям следующие значения атрибутов: ξ: ε → C присваивает идентификатор запроса; α: ε → A присваивает метку операции; τ_начало: ε → T присваивает временную метку начала выполняемой операции; τ_{завершение}: ε → T присваивает конечную временную метку выполненной операции.

Чтобы оценить результативность процесса, можно сравнить журнал событий с временными рядами, например с данными о начале и окончании операций. Это позволяет применить методы для количественного измерения расстояния между двумя временными рядами, x = ( x ₁, …, x_n ) и y = ( y ₁, …, y_m ) разной продолжительности: n и m соответственно.

Для этого можно использовать различные методы, например расчеты по любой из норм семейства l_p . Однако они не учитывают разницу во времени между двумя временными рядами. Например, если x и y имеют разные временные сдвиги, то возможно применение нормы l 1 или l 2, но это может привести к существенным ошибкам в модели, так как она не будет учитывать закономерности временных рядов. Чтобы преодолеть эти ограничения, целесообразно использовать расстояние Вассерштейна [31].

Расстояние Вассерштейна может быть рассмотрено в двух вариантах:

• 1)    расстояние Вассерштейна, определяющее усилие, необходимое для выравнивания двух векторов разной длины, рассматривая каждую запись x_i , y_j как «массу», которую нуж-

• но переместить из одного места в другое, пока два временных ряда не станут одинаковыми. При этом предполагается, что сумма «массы земли» которая должна быть перемещена, одинакова для обоих рядов. Если это не так, то применяется «штраф» за создание лишней «массы» для заполнения пробелов;

• 2)    1-е расстояние Вассерштейна – это более эффективный с точки зрения вычислений вариант. Оно вводит ограничение, согласно которому сумма «масс» в обоих рядах x и y должна быть одинаковой (ограничение

выполняется принудительно). Этот вариант подходит для сравнения эмпирических функций распределения, поскольку сумма «масс» в каждой из них равна 1.

При оценке качества имитационной модели процесcа разработки документов национальной системы стандартизации необходимо учитывать две особенности:

• 1)    как правило, референтная имитационная модель процесса недоступна (и часто не существует), таким образом, невозможно сравнить построенную модель с референтной моделью;

• 2)    различные механизмы моделирования (например, BPMN, Prosimos, Archimate) поддерживают разные форматы имитационных моделей процессов, что затрудняет обеспечение единства измерений для разных имитационных моделей процесса.

Поэтому предложено сгенерировать базу журналов, смоделированных с помощью оцениваемой имитационной модели процесса разработки документов национальной системы стандартизации, и сравнить их с журналами событий реальной системы (т. е. системы, которую имитирует модель). Следовательно, можно принять, что чем более смоделированные журналы коррелируются с фактическим данным, тем качественнее модель. Тестовые данные рассматриваются как рефератная модель, поскольку предполагается, что качественные имитационные модели являются точными генераторами «реальных» операций.

При оценке качества имитационной модели процесса разработки документов национальной системы стандартизации возникают две проблемы:

• 1)    модель может быть очень похожей на данные в одном аспекте, например в параметрах управления. Однако она может существенно отличаться в других аспектах, например по времени между операциями;

• 2)    модель может генерировать множество вариантов течения процесса, по скольку она вероятностна по своей сущности.

Чтобы преодолеть первое ограничение, предлагается алгоритм для количественной оценки расстояния между различными аспектами процесса. В частности, предложен алгоритм контроля управления, времени и нагрузки. Преодоление второго ограничения заключается в создании нескольких журналов событий, имитирующих референтный журнал событий (с одинаковым количеством операций, выполнение которых начато с одного и того же момента времени), и использовании сгенерированных журналов для построения доверительных интервалов для каждого из показателей.

Для всех измерений рассматривается набор из K -сгенерированных журналов (G-Logs), полученных в результате K -запусков моделирования, и сравниваются эти журналы K с фактическим журналом событий тестирования (R-Log). Важно отметить, что R-Log не используется для построения имитационной модели процесса разработки документов национальной системы стандартизации.

Концепция разработанной модели заключается в том, чтобы предоставить специалистам в области разработки документов национальной системы стандартизации инструментарий для результативного управления, контроля и мониторинга в процессе выполнения регламентированных задач, а также гибких наукоемких задач. Таким образом, разработанная модель интегрированных данных и задач позволяет плавно изменять модель процесса во время выполнения. Для этого применяется методика, основанная на данных, т. е. задачи могут быть активированы при наличии необходимых данных. Во время выполнения работы непрерывно отслеживается информация, относящаяся как к задачам, так и к данным, что позволяет детально отслеживать процессы и потоки данных, а также эволюцию данных.

Требуемая адаптивность и гибкость общей модели достигается за счет трехуровневой архитектуры: метамодели, модели предметной области и модели экземпляра. Каждый из этих уровней поддерживает данные измерений и задачу, а также их интеграцию. Каждая из этих моделей описана в виде графовой модели. На рисунке представлен обзор этих моделей и их зависимостей.

Три уровня разработанной модели 3 levels of the developed model

Метамодель определяет о снову разработанной модели – основные характеристики как экземпляров (т. е. объекта данных, отношения объектов данных, задачи и отношения задач к задачам), так и их классификационных типов (т. е. типа объекта данных, отношения типов объектов данных, типа задачи и отношения типов задач). Типы объектов данных могут быть связаны друг с другом с помощью отношений типов объектов данных, что позволяет создавать детализированные представления данных в модели предметной области. Поскольку при разработке модели учитывается подход, основанный на данных, для описания поведения системы интерфейс каждого типа задачи (и, следовательно, задачи) определяется отношениями типов задач к соответствующим типам объектов данных. Кроме того, отношения типа объекта данных могут быть результатом, выходными данными типа задачи, но они не должны быть входными данными. Такие фундаментальные ограничения модели также определены в метамодели.

Объектная модель содержит все типы, специфичные для предметной области. Они не соответствуют типам в языках программирования, но являются ментальными моделями, используемыми для классификации экземпляров. Эти типы могут основываться на установленной онтологии рассматриваемой предметной области и непрерывно уточняться во время выполнения.

Модель экземпляра описывает все экземпляры, которые классифицируются по типу, зависящему от объектной модели.

Плавного развития процессов можно достичь, начав с небольшого набора базовых типов и экземпляров и адаптируя и расширяя модель предметной области и модель экземпляра по мере необходимости.

Заключение

В статье предложена методика для измерения способности имитационной модели процесса разработки документов национальной системы стандартизации воспроизводить ход процесса, записанный в журнале событий. Эта методика рассматривает имитационные модели процесса разработки документов национальной системы стандартизации по трем критериям оценки: управление, время и нагрузка.

Помимо оценки качества имитационной модели процесса разработки документов национальной системы стандартизации на основе определения качества данных и выявления отклонений предложенные алгоритмы позволяют выявить области для улучшения существующих методик. Кроме того, все рассмотренные методики могут использоваться как языки концептуального системного моделирования, а также как языки исполняемых спецификаций (для автоматизации процессов).

Разработанные методики позволяют повысить точно сть и качество моделирования реального процесса за счет управления ка- чеством данных, применяемых при создании модели процесса разработки документов национальной системы стандартизации, что ранее не применялось. В том числе обеспечивается возможность последующего имитационного моделирования, учитывая все особенности реального процесса разработки документов национальной системы стандартизации и его возможные отклонения от разработанного процесса. В свою очередь, применение имитационного моделирования позволяет превен- тивно выявлять возможные варианты развития процесса с отклонением от нормативных значений ключевых показателей процесса, что позволяет своевременно применять корректирующие действия к процессу. Применение разработанных методик используется на практике при разработке и внедрении информационных систем, автоматизирующих бизнес-процессы разработки стандартов на ключевых этапах жизненного цикла в фонде «Сколково» и отраслевых центрах Госкорпорации «Росатом».