Комплексная модель обеспечения качества данных для обучения нейросетей в условиях нестабильных источников

Качество данных играет решающую роль в эффективности обучения нейросетевых моделей. Распространённая оценка гласит: «garbage in – garbage out», что означает невозможность получить надёжную модель на основе некачественных, «грязных» данных. В современных приложениях машинного обучения данные часто поступают из нестабильных источников – под этим можно понимать источники, характеризующиеся переменчивостью, нерегулярностью или ненадёжностью. Например, потоки данных с множества датчиков IoT, где возможны сбои и шум; данные из открытых интернет-источников, социальных сетей, которые не структурированы и имеют разное качество; или ситуационные данные, сбор которых зависит от внешних условий (видео с дронов при переменчивой погоде и т.д.).

В таких условиях критически важно обеспечить качество данных перед тем, как ис- пользовать их для обучения нейросетей. Комплексная модель обеспечения качества данных – это системный подход, охватывающий все этапы работы с данными: от их получения и предобработки до контролируемого использования в обучении и мониторинга качества на этапе эксплуатации модели.

Цель выполненного исследования – разработать и описать такую модель, учитывающую нестабильность источников.

В задачи входит:

• 1)    определить проблемы качества данных, характерные для нестабильных источников;

• 2)    синтезировать существующие методы очистки, валидации, пополнения данных в единую методологическую схему;

• 3)    предложить архитектурные и процессные решения (например, V-модель обеспечения качества), позволяющие гарантировать необходимый уровень качества данных для обучения нейросетей.

Характерные проблемы качества данных из нестабильных источников. Первым этапом было выделение типичных дефектов и недостатков данных, поступающих от нестабильных источников. Анализ показал, что такие данные часто страдают от:

• -    пропусков и разрывов (данные могут временно не поступать из-за сбоя сенсора или связи, что приводит к отсутствующим значениям);

• -    шумов и выбросов (нестабильный источник может генерировать аномальные значения – напр., ложные пики сенсоров, артефакты на изображениях – из-за внешних помех);

• -    неоднородности и несинхронности (если данные собираются из нескольких источников, возможны несогласованные форматы, разная частота или задержки, что затрудняет объединение);

• -    смещения и дрейфа (характеристики источника могут меняться со временем – т.е. происходит нестабильность распределения, концептуальный дрейф данных, что приводит к тому, что ранее обученная модель начинает работать хуже).

Например, в потоке данных с оборудования заводов отмечено, что показания датчиков могут дрейфовать из-за износа, и нейросеть, обученная на «старых» данных, без поправок начинает терять точность. Все эти аспекты требуют, чтобы модель обеспечения качества данных включала механизмы обнаружения и коррекции подобных проблем.

Результаты исследования показали, что эффективным решением является системный многоэтапный контроль качества данных. В работе предложена V-образная модель обеспечения качества данных для проектов машинного обучения, адаптированная из промышленной практики QA (Quality Assurance) [1]. В данной модели:

• -    На восходящей части «V» располагаются этапы подготовки данных: определение требований к данным (какое качество необходимо, какие метрики важны – полнота, точность, согласованность и т.п.), планирование процесса сбора и хранения, построение архитектуры работы с данными.

• -    На нисходящей части – проверочные мероприятия на каждом уровне: контроль качества исходного сбора, контроль после предобработки, контроль на этапе формирования

обучающих выборок и, наконец, валидация качества данных в процессе обучения модели.

Каждому этапу подготовки данных ставится в соответствие набор критериев и методов контроля [1]. Например, для исходных сигналов от сенсоров вводятся критерии допустимого диапазона, и применяются методы фильтрации выбросов (на основе статистических порогов либо моделей обнаружения аномалий). Для объединённых данных разных источников – критерии согласованности (вплоть до онтологического соответствия атрибутов) и методы приведения к единому формату, разрешения конфликта данных.

Были рассмотрены кейсы, в которых применена интегрированная модель. Так, в контексте киберфизических производственных систем (Industry 4.0) предложено использовать интегрированный подход, обеспечивающий качество как статических данных (ма-стер-данные об оборудовании, конфигурации) так и потоковых сигналов (телеметрия). Это позволяет избежать некорректных результатов анализа. В экспериментальном исследовании, проведенном на симулированных данных промышленного оборудования, реализован комплекс мер:

• -    фильтрация шумов сигналов с помощью скользящего медианного фильтра и вейвлет-преобразований;

• -    заполнение пропусков с использованием кластеризации и интерполяции (при отсутствии сигнала в течение коротких интервалов модель подставляла наиболее вероятные значения на основе сходных режимов работы оборудования);

• -    отслеживание «качества источника» – введены метрики надежности каждого датчика, которые обновлялись в режиме реального времени (если сенсор часто дает сбои, его данные либо понижаются в весе, либо генерируется тревога о необходимости технического обслуживания).

Качество данных (в терминах отсутствия выбросов и пропусков) было повышено, что позволило обученной нейросети достичь стабильной точности предсказания неисправностей оборудования. Без применения данной модели качество данных было ниже (много выбросов приводило к ложным тревогам модели), и точность прогнозов была нестабильной.

В ходе исследования систематизированы методы, входящие в комплексную модель обеспечения качества:

• -    Автоматические правила и триггеры качества на этапе поступления данных (например, если в потоке нет обновления более X секунд - срабатывает событие пропуска; если значение выходит за физически возможные пределы - помечается как выброс и подлежит проверке).

• -    Механизмы обогащения данных: для борьбы с нестабильностью часто помогает привлечь дополнительные источники. Например, при обучении нейросети на данных от нестабильного датчика можно дополнительно собирать данные от дублирующего сенсора или модельного прогноза, тем самым повышая надёжность совокупного признакового пространства.

• -    Очистка и восстановление данных: в комплексную модель включены алгоритмы очистки (удаление дубликатов, коррекция опечаток) и восстановления - от простой линейной интерполяции для временных рядов до применения кластеризации и машинного обучения для умного заполнения. В частности, предложено использовать кластерный анализ по методу профиль-компактности для выявления противоречивых данных и их устранения [2].

• -    Мониторинг и предупреждение дрейфа: важная часть модели - поддержание качества данных на протяжении жизненного цикла модели. В эксперименте реализована система, которая отслеживает статистические свойства входящих данных и сравнивает их с данными обучающей выборки. Если обнаруживается значимое расхождение (дрейф распределения), система сигнализирует о возможном снижении качества данных для модели. Это позволяет вовремя инициировать либо обновление модели, либо калибровку данных (например, нормировку с учетом нового среднего и дисперсии) [3].

Предложенная модель также имеет аспект прозрачности: введение четких критериев качества данных и отслеживание их выполнения позволяет инженерам данных и отраслевым экспертам доверять итоговым наборам для обучения.

В рассматриваемом опыте, применение комплексного подхода повысило доверие ин- женеров к предсказаниям нейросети, так как они имели метрики качества входных данных: например, перед выдачей прогноза система могла показать «качество текущего окна данных = 0.95 по шкале от 0 до 1» - то есть данные почти полностью соответствуют критериям (без пропусков, в пределах ожидаемых допусков и т.д.). Такая интегрированная метрика формировалась из частных метрик (полнота, достоверность и др.).

Комплексная модель обеспечения качества данных в условиях нестабильных источников обобщает лучшие практики из областей управления данными (Data Governance) и инженерии данных в специфическом контексте обучения нейросетей. Отличительной чертой предлагаемого подхода является сквозной контроль - от момента, когда данные генери-руются/собираются, до момента, когда нейросеть делает на их основе прогнозы. Такой подход созвучен принципам комплексного управления качеством (Total Quality Management) в производстве, только перенесен на плоскость данных [4].

Обсуждая модель, нужно упомянуть, что полный комплекс мер не всегда применим целиком - он может требовать значительных вычислительных ресурсов и времени. Например, непрерывный мониторинг дрейфа данных в реальном времени - нетривиальная задача для больших потоков. Поэтому модель должна быть адаптивной: в условиях ограничений вычислений можно выделить критичные метрики качества и отслеживать только их. Кроме того, некоторые методы (восстановление пропусков сложными моделями) могут сами вносить неопределённость. Здесь мы предлагаем правило: при заполнении данных синтетическим путём должна сохраняться отмеченность (flagging) - алгоритм должен помечать восстановленные значения флагом, чтобы не потерять прозрачность. Например, если пропущены 5% данных, а алгоритм их интерполировал, эти 5% остаются помеченными; в случае сомнения в результатах модели всегда можно посмотреть, насколько она опиралась на синтетические данные [5].

С точки зрения научной новизны, предложенная комплексная модель опирается на существующие элементы (фильтрации, методы борьбы с пропусками) но объединяет их в единую систему с концепцией V-модели QA.

Такая интеграция пока не широко описана в литературе, где обычно аспекты качества данных рассматриваются разрозненно. Результаты демонстрируют, что именно комплексность подхода позволяет значительно повысить надежность всей системы машинного обучения: качество данных напрямую связано с доверием к ИИ. Эта связь – важное методологическое положение: формализуя и отслеживая качество данных, мы делаем шаг к объяснимому и этичному ИИ, поскольку уменьшается вероятность скрытых ошибок и предвзятости, вызванных дефектами в данных.

В условиях нестабильных, изменчивых источников информации обеспечение качества данных для обучения нейросетей требует системного и комплексного подхода. В ходе работы разработана и обоснована комплексная модель обеспечения качества данных, включающая непрерывный контроль, очистку, верификацию и мониторинг данных на всех этапах жизненного цикла модели. Основные выводы заключаются в следующем:

• 1)    Качество данных является критическим фактором успеха нейросетевых моделей, и нестабильность источников порождает типичные проблемы (шум, пропуски, дрейф), которые необходимо адресовать комплексно. Без надлежащей подготовки данные из нестабильных источников могут привести к снижению точности и устойчивости моделей либо потребовать чрезмерно сложных архитектур нейросетей.

• 2)    Предложенная V-модель качества данных обеспечивает сквозной контроль: на каждом этапе подготовки (сбор, интеграция, предобработка, формирование обучающей выборки) устанавливаются критерии качества и соответствующие методы проверки. Это позволило получить измеримый рост качества данных (снизить долю дефектных записей, аномалий) и, как следствие, повысить эффективность обучения – в экспериментах точность прогнозов нейросети возросла, а вариабельность результатов снизилась.

• 3)    Комплексный подход включает технические и организационные меры, создавая основу для доверия к данным и моделям. Интегра-

• ция инструментов фильтрации, восстановления пропусков, аномалий вместе с метриками и флагами качества данных повышает прозрачность процесса подготовки данных. Это имеет практическую ценность: команды разработчиков ИИ могут обнаруживать и устранять проблемы данных до обучения моделей, экономя ресурсы и избегая ошибок на этапе эксплуатации.

Научная и практическая значимость результатов состоит в том, что они демонстрируют возможность выработки стандартизованного подхода к обеспечению качества данных в проектах машинного обучения, подобно тому, как в промышленности существуют стандарты качества продукции. Комплексная модель, представленная в работе, может служить основой для создания соответствующих регламентов (Data Quality Assurance) в организациях, разрабатывающих нейросетевые решения. Это особенно актуально в критичных областях (медицина, автоуправление, промышленная безопасность), где качество исходных данных напрямую влияет на безопасность и эффективность решений ИИ.

Резюмируя изложенное выше, стоит подчеркнуть, что репрезентативные и качественные данные являются залогом результативного функционирования ИИ и предложенная модель содержит многоуровневую защиту от «некачественных» потоков данных, а в дальнейшей работе надлежит сосредоточить усилия на автоматизации компонентов данной модели посредством нейросетей – автоматическом обнаружении аномалий и заполнении пропусков обученными специализированными алгоритмами – и корректировке структуры модели для обработки новых типов нестабильных потоков, например данных от распределённых сетей устройств без централизованного контроля, одновременно с этим уже очевидно, что внедрение комплексной системы управления качеством данных ощутимо повышает надёжность и результативность нейросетей в реальных условиях нестабильности и неопределённости источников данных.