Цифровая платформа «Гарантир качества»

комплекс задач идентификации, классификации, подсчета количества объектов, а также инспекции и извлечения бракованной продукции по результатам видеосъемки.

Внедрение технологий машинного зрения в промышленности позволяет повысить производительность труда и снизить влияние человеческого фактора. Однако универсальная технология машинного зрения пока не разработана, что обуславливает научно-техническую проблему практического применения этой технологии на производстве. Действительно, для обеспечения высокой точности идентификации промышленных объектов и дефектов требуется длительная настройка и адаптация аппаратнопрограммных комплексов машинного зрения, а также реализация специализированных информационно-измерительных инструментов, что повышает стоимость и трудоемкость цифровой трансформации системы управления качеством.

Реализация автономной системы машинного зрения на основе цифровых видеокамер, внешних систем освещения и интеллектуальных средств обработки изображения на базе искусственных нейронных сетей сокращает стоимость и трудоемкость системы контроля качества. Однако при этом повышается веро- ятность ошибок первого и второго рода, и снижается точность выявления брака. Кроме этого, использование универсальных видеокамер позволяет выявлять лишь наблюдаемые поверхностные дефекты, что несколько ограничивает область применения машинного зрения на практике.

Для решения этой проблемы была разработана цифровая платформа «Гарантир качества», позволяющая строить на своей основе аппаратно-программные комплексы машинного зрения в составе интеллектуальных ворот качества для выявления внешних и внутренних дефектов продукции. В данной статье описано предлагаемое решение, а также результаты его внедрения в авиационном машиностроении.

• 2.    СОСТОЯНИЕ ИССЛЕДУЕМОГО ВОПРОСА

Контроль качества является одной из ключевых задач управления производственным предприятием [1, 2]. Согласно современной теории управления качеством достижение заданных показателей качества продукции определяется качеством реализации производственного процесса. Одним из основных факторов, влияющих на качество производственного процесса, является наличие критических отклонений от требований к его осуществлению, в том числе от соблюдения требований к выполняемым операциям.

Обычно для оценки качества производственных процессов используют набор показателей, определяющих обобщенные характеристики, такие как специализация, повторяемость, непрерывность, последовательность, ритмичность и др. Однако исходные данные для этих характеристик могут быть сведены к производительности и соответствию техническим спецификациям и стандартам. Для выявления отклонений в этой области применяются технологии машинного зрения [3, 4], основанные на нейросетевой обработке данных видеосъемки продукции и процессов ее производства. Внедрение искусственного интеллекта на современных производственных предприятиях - перспективное направление, соответствующее современной концепции Индустрии 4.0 [5 - 7].

В настоящее время системы компьютерного зрения на базе искусственного интеллекта широко применяются в различных областях производственной деятельности человека [8 – 10] для поддержки принятия решений по идентификации, классификации и кластеризации изделий на разных этапах производственного цикла. Распознавание объектов в машиностроении [11, 12] позволяет повысить производительность труда и устранить влияние человеческого фактора, в том числе реализовать контроль геоме- трических параметров узлов на этапе сборки с заданной точностью.

Достаточно интересен опыт применения машинного зрения и научной визуализации в рамках промышленной реализации новых лазерных технологий, в частности технологии селективного лазерного сплавления [13, 14]. Здесь также решена задача определения границ объектов на изображении и совмещения их с расчетными данными о геометрии изделия, а также с данными теплового распределения. В целом, реализация интеллектуальных систем машинного зрения имеет достаточно широкие сферы применения [15].

Обобщенно, применение машинного зрения позволяет повысить эффективность процессов и систем менеджмента качества [16, 17] для реализации методов неразрушающего контроля на производственных предприятиях. В частности, машинное зрение эффективно применяется для идентификации визуально наблюдаемых дефектов [18, 19].

На технологическом уровне можно выделить несколько интересных путей использования машинного зрения в системе управления качеством, нацеленных на оптическое сканирование [20] и восстановление трехмерной модели изделия для последующего использования в интегрированной информационной среде, а также в составе роботизированного комплекса для контроля процессов позиционирования инструмента [21]. Отмечен успешный опыт применения машинного зрения для контроля качества в труднодоступных местах с помощью измерительного стереоскопического видеоэндоскопа [22]. Также имеется опыт успешного применения систем машинного зрения для контроля качества в производстве автомобильных компонентов [23 – 25].

Следует отметить, что достаточно низкая точность визуального контроля качества ограничивает широкое использование систем компьютерного зрения в производстве. Одной из причин является низкая чувствительность и точность по сравнению с различными типами датчиков и высокая зависимость от влияющих внешних факторов, таких как качество освещения, наличие загрязнений, появление теней и т.д. При этом компьютерное зрение обладает большей автономностью и универсальностью по сравнению с другими технологиями

Разнообразие и результативность современного опыта применения технологий машинного зрения для контроля качества производства подтверждает высокую практическую значимость и востребованность ее практической реализации. Вместе с тем, данный опыт достаточно разнообразен, а существующие подходы не объединены в единую цифровую платформу, что затрудняет надежное применение данных технологий на практике. Для того, чтобы устранить это противоречие, необходимо решить актуальную задачу создания такой цифровой платформы и ее апробации на множестве реальных проектов.

• 3.    МОДЕЛЬ ГАРАНТИРА КАЧЕСТВА

Гарантир качества – инновационная модель системы машинного зрения, основанная на декомпозиции процесса интеллектуального выявления визуального наблюдаемых дефектов на задачи выявления различных отклонений. Данная модель позволяет комбинировать несколько искусственных нейронных сетей в составе интеллектуальных ворот качества в машиностроении.

Определим основные понятия и компоненты модели. Пусть в ходе производственного процесса изделия a i , i = 1. N_a необходимо выполнять определенную последовательность действий:

wi,j = wi,j ⁽ g i , j , ^t i , j , ^At i , j , ^Q wj ) = { 0,1 ^} , ⁽¹⁾ где g i j = ( x i j , y i j , z i j ) - координата действия в пространстве;

t i j - ожидаемый период времени от начала процесса;

At i j - допустимые отклонения от времени (девиации);

Q Wj - тип действия.

Выполнение действий характеризуется наблюдаемыми контролируемыми параметрами:

• s i ,    j , k = s i , j , k ⁽ wi , j , ^m i , j , k , ^ i , j , k ) = ^{ 0, ^{1 }} , ⁽²⁾ где m i j _k - референсное значение контролируемого параметра;

^ i j k - допустимые отклонения параметра;

значение s i j k = 1 означает необходимость выполнения операции контроля.

Последовательность w i j для a i назовем треком контроля, а s_{i j k} - образцом качества.

Образец качества задает корректную последовательность действий, на которую нужно ориентироваться при реализации технологического процесса. Эти действия могут быть отнесены к конкретным технологическим операциям или переходам, или описывать промежуточные операции, реализуемые в рамках «ворот качества».

Трек контроля определяет корректную последовательность измерительных или оценочных процедур, позволяющих выявить возможные отклонения.

Отметим, что контролируемые параметры в такой постановке могут применяться не только для контроля непосредственно показателей качества продукции, но и контроля качества выполнения производственных операций. Это расширяет возможности применения машин- ного зрения, поскольку контроль факта и своевременности операции, в отличие от контроля результатов ее выполнения, может быть произведен визуально без специализированных измерительных инструментов.

В ходе выполнения производственного процесса сотрудник nn, n = 1. N x выполняет наблюдаемые действия d i _{l n} m, m = 1. N d ( a i _l ) обработки или контроля над единицей изделия a'i, l = 1. N -■ :

a i

) = { o, 1 } , (3)

d i , l , n , m

d i , l , n , m

(^m ’ gi,l, n, m ’ ti, l, n, m где gi l n m - координата действия в пространстве;

ti,i,n, _m — время выполнения.

При этом система компьютерного зрения предоставляет возможность фиксировать значения наблюдаемых контролируемых параме- тров:

vi , l , n , m , j , k

v i , l , n , m , j , k ^{( d}i , l , n , m

, Sjk, Junmjk. )={0,1}.<4> где fi l n m j k – выявленное или распознанное значение контролируемого параметра;

значение v ij, _n , _m ,j, _k = 0 описывает пропуск наблюдения.

Модель гарантира качества позволяет сформулировать целевые функции обеспечения следующих критериев. Для упрощения формулировок ограничимся формированием показателей для одного исполнителя по одной номенклатуре изделий.

Соблюдение трека контроля:

T ^{( a}i , c n ) = SEE wi, j • d i , l , n , m ’Ф ^Si,j = ^Q dll , n , m ) • jlm

• 5(gi,j = gi,l,n,m )• 5(Ti, j = ti,l,n,m ± Ati,j ) ^ max , (5> где 5(X) =

1, X = true ;

0, X = false .

Соответствие образцам качества:

K ^{( a}i , c n ) = ^{E E E} v i , l , n , m , j , k • j , k l m

•3⁽ ft , l , n , m , j , k =^m i,j , k ±^ i , j , k ) ^ max .

Таким образом, проектирование системы визуального контроля качества состоит в планировании трека контроля и проектировании образцов качества и таким образом, чтобы минимальными средствами визуального контроля на основе машинного зрения обеспечить покрытие ключевых узких мест.

Для построения и настройки отдельных треков контроля и образцов качества могут быть использованы статистические данные и результаты видеосъемки производственных операций, выполняемых высокопрофессиональными исполнителями. Также может быть дополнительно построен массив данных, содержащих выполнение операций при нарушении технологий или отставании от ритма производства, что позволит построить обучающие наборы данных для распознавания брака.

Выделение отдельных образцов качества позволяет использовать для их реализации отдельные системы машинного зрения и настраивать их для решения задач классификации или распознавания с учетом специфики конкретных ситуаций. Кроме этого, при построении трека контроля результатов механической обработки может быть эффективно применены траектории движения режущих инструментов, заданные технологической документацией.

Предлагаемая модель гарантира качества не учитывает специализацию сотрудников и распределение операций между персоналом, что отличает ее от классической модели задачи производственного планирования. Приведенные выше утверждения позволяют вводить новые показатели или индикаторы качества производства, которые могут быть реализованы на практике в интеллектуальных системах машинного зрения.

С учетом данной специфики, разработчики систем машинного зрения на основе искусственных нейронных сетей получают возможность расширить области их применения для контроля качества производственных процессов.

• 4.    АРХИТЕКТУРА РЕШЕНИЯ

  Модель гарантира качества реализована разработчиком инновационного программного обеспечения ООО «Открытый код» в виде цифровой платформы для производственных предприятий. Это решение воплощает идею построения интеллектуальных ворот качества, оснащенных интеллектуальной системой визуального мониторинга и контроля. Ворота качества представляют собой контрольную точку, на которой проводится проверка результатов очередного этапа разработки и постановки продукции на производство и принимается решение о переходе на следующий этап. При этом качество производства определяется как совокупность характеристик объекта, относящихся к его способности удовлетворять установленные и предполагаемые потребности (согласно ГОСТ Р ИСО 9000-2001).

Гарантир качества содержит компоненты, обеспечивающие визуальный контроль соответствия продукции заданным параметрам с помощью машинного зрения, идентификацию несоответствий, дефектов и брака, сбор и обработку информации о текущем качестве выпускаемой продукции в рамках специализированного ситуационного центра, интегрированного с PDM и ERP системами предприятия.

Архитектура решения представлена на Рис. 1. Гарантир качества может быть уста-

Рис. 1. Архитектура цифровой платформы «Гарантир качества»

новлен как автономно, в точке контроля, так и интегрирован с производственным оборудованием включая сортировочные и координатно-измерительные автоматы. В этом случае дополнительно предусматривается реализация интерактивного справочного руководства, обеспечивающего контекстное информирование персонала с помощью средств дополненной реальности (AR).

Для конфигурирования и настройки гаран-тира качества используется база знаний (онтология), обеспечивающая семантический поиск и логический вывод на основе конструкторской и технологической документации о продукции, а также руководств по эксплуатации используемого производственного оборудования.

Для идентификации дефектов в состав Га-рантира качества включена искусственная нейронная сеть. Обучение нейронной сети производится в рамках адаптации Гарантира качества для конкретного производственного предприятия. При этом также возможно использование различной контрольно-измерительной аппаратуры и оборудования системы компьютерного зрения. Существующий опыт внедрение искусственных нейронных сетей на современных предприятиях позволяет сделать вывод о высокой полезности данного инструмента для контроля сборочных и упаковочных операций, мониторинга рабочих мест и контроля соответствия стандартам качества.

• 5.    РЕЗУЛЬТАТЫ РЕАЛИЗАЦИИ

Предложенная архитектура программной платформы «Гарантир качества» позволяет строить разнообразные решения в рамках систему управления качеством с учетом специфики производства. Например, достаточно хорошие результаты получены для контроля результатов механической обработки в машиностроении. Разработанный аппаратно-программный комплекс приведен на Рис. 2.

Аппаратно-программный комплекс контроля качества изделий после механизированной обработки разработан в рамках концепции точного анализа изделий в потоковом режиме на соответствие параметров деталей параметрам качества из технологической документации. Функционирование комплекса основано на измерении геометрических параметров изделия с помощью лазерных датчиков RIFTEK и расчете контрольных параметров при помощи математических алгоритмов. Визуальные параметры отслеживаются нейронной сетью по фото/видео данным, для этого изделие автоматически перемещается по заданному треку контроля.

Алгоритм работы комплекса следующий:

• 1.    проводится калибровка;

• 2.    на поворотный стол устанавливается изделие, подлежащее измерению;

• 3.    поворотный стол совершает оборот вокруг своей оси на 360 градусов;

  

  Рис. 2. Аппаратно-программный комплекс контроля результатов механической обработки изделий на основе Гарантира качества

  
  

• 4.    кронштейн поворачивает лазер и камеру на 90 градусов, в этом время поворотный стол совершает еще один поворот (переход для сложных деталей).

Такой алгоритм работы позволяет осуществить замеры изделия со всех сторон автоматически, что позволяет обеспечить наибольшую точность и постоянство измерений.

Исходя из особенностей применения, процедура формирования единого трехмерного массива координат сканируемого объекта подразумевает под собой преобразование координат профиля из двухмерной системы координат, связанной с лазерным сканером, в трехмерную мировую систему координат. После калибровки комплекса, полученные в результате сканирования двухмерные профили преобразовываются в трехмерный массив координат, а затем в облако точек (см. Рис. 3). Для наибольшего покрытия поверхности детали, сканирование производит- ся с двух ракурсов.

Рис. 3. Контроль геометрических параметров изделия с помощью облака точек

Применение разработанного аппаратнопрограммного комплекса возможно также для измерения геометрических характеристик объекта. Данная задача решается путем оценки минимальных и максимальных координат облака точек вдоль осей прямоугольной системы координат. В простейшем случае вычисляются длины сторон минимально возможного параллелограмма, целиком заключающего в себе измеряемое облако точек. Для возможности измерения отдельного элемента облака точек необходимо произвести отсечение целевого элемента, после чего измерить полученный фрагмент, как для простейшего случая.

Сечение облака точек производится на базе образцов качества, построенных на основе имеющихся сведений об эталонной геометрии объекта. Для корректного отсечения фрагмента облака точек, необходимо предварительно сориентировать облако точек относительно мировой системы координат.

Другой пример реализации Гарантира качества – контроль внутренних отверстий с помощью видокамеры-эндоскопа. Для решения этой задачи была выбрана модель видеоэндоскопа jProbe GE Gun Expert. Эндоскоп предназначен для контроля внутренних отверстий и оснащен ручным механизмом регулировки фокусного расстояния, реализованным посредством перемещения зеркального адаптера бокового обзора, что позволяет производить качественный осмотр отверстий различного диаметра. Оптимальное фокусное расстояние можно отрегулировать в зависимости от диаметра осматриваемого отверстия, что позволяет получить максимально четкое изображение.

Разработанный аппаратно-программный комплекс приведен на Рис. 4 – 5.

Рис. 4. Комплекс контроля отверстий на основе Гарантира качества

Рис. 5. Применение видеокамеры-эндоскопа для контроля отверстий в составе системы контроля качества

Для оценки чистоты отверстий после сверления был сделан выбор в пользу обучения классификатора InceptionResNetV2. В качестве данных было использовано 390 изображений, среди которых для обучения использовалось 145 изображений, классифицируемых как «Чистые», и 215, классифицируемых как «Грязные». Также, перед обучением была проведена аугментация данных, которая позволила разнообразить входные данные.

Изображения подавались на вход нейронной сети размером 299х299, и использовался подход дообучения весов, предварительно обученных на наборе изображений ImageNet. Обучение продолжалось на протяжении 5 эпох, и, как результат, на тестовых данных модель показала точность 94%.

Для визуализации работы нейронной сети был использован подход gradcam++, который использует градиенты для формирования тепловой карты, и данная карта может является показателем того, на что обращает внимание нейронная сеть, и что наиболее сильно влияет на классификацию. Результаты работы приведены на Рис. 6.

ЗАКЛЮЧЕНИЕ

Цифровая платформа «Гарантир качества» реализует современные принципы рациональной комбинации алгоритмического подхода, баз знаний и элементов искусственного интеллекта для решения актуальной задачи совершенствования системы организации производства. Несмотря на известные ограничения современных технологий машинного зрения, связанные с недостаточной точностью и адекватностью слабо формализуемого искусственного интеллекта, функциональное распределение его компонентов в соответствии с треком контроля и образцами качества позволяет достаточно хорошо покрыть узкие места высокого риска появления брака. При этом цифровизация визуального контроля позволяет устранить влияние человеческого фактора.

Рис. 6. Построение тепловой карты качества отверстий

С другой стороны, применение гарантира качества не требует больших расходов времени и средств и достаточно адаптивно к особенностям производственных процессов. Трек контроля может быть эффективно построен на базе существующей технологической документации, а обучение искусственных нейронных сетей может быть произведено на основе данных видеосъемки существующих производственных процессов или их моделирования. Все это позволяет расширить области применения систем машинного зрения на основе искусственных нейронных сетей для контроля качества производственных процессов.