Применение методов компьютерного зрения и глубокого обучения в практике подготовки специалистов в области качества

Поскольку применение современных информационных систем в производстве требует высокого уровня сформированности профессиональных компетенций специалистов, возникает необходимость обучения студентов направления «Управление качеством» умению использовать в своей профессиональной деятельности технологии интеллектуального анализа данных и Big Data.

Библиографический поиск показал, что в настоящее время в педагогике высшей школы нейронные сети и методы глубокого обучения применяются главным образом для проектирования индивидуальных траекторий обучения студентов и создания уникального образовательного контента [2; 7; 11; 13]. В монографии И.В. Чистниковой [14] описано применение нейронных сетей в процессе подготовки студентов вузов в рамках реализации концепции Качество 4.0.

Существующие на современном этапе педагогические технологии способны с достаточной эффективностью решать задачи формирования общих и профессиональных компетенций у будущих специалистов, в том числе навыки использования инновационного программного обеспечения в практической деятельности [5; 9]. Данный аспект подтверждается рядом исследований отечественных ученых. В статье И.И. Некрасовой и др. раскрываются аспекты эффективного применения современных педагогических технологий в сочетании с технологиями искусственного интеллекта в обучении студентов и школьников, обосновывается необходимость учета в педагогическом процессе закономерностей применения инновационных технологий в современной промышленности и экономике [3]. Е.П. Круподерова и др. в своих исследованиях отмечают, что цифровые компетенции необходимо формировать в первую очередь у магистрантов [4].

Вместе с тем, несмотря на достаточную проработанность вопроса совершенствования педагогического инструментария в условиях цифровизации мировой экономики, отсутствует практический опыт преподавания в технических университетах на факультетах, осуществляющих подготовку специалистов в области качества. В большинстве случаев нет заданий, направленных на формирование у студентов компетенций применения методов компьютерного зрения для решения задач распознавания объектов на изображениях и в режиме реального времени. Это создает необходимость для формирования таких учебных заданий, которые будут не только показывать применение технологий компьютерного зрения в управлении качеством на отечественных предприятиях, но и демонстрировать адаптацию под образовательный процесс в высших учебных заведениях. На решение поставленной задачи и направлено данное исследование.

Прежде чем приступить к решению поставленной миссии, выполним описание постановки задачи применения компьютерного зрения при распознании брака, поддельной продукции и контрафактных изделий.

Постановка задачи применения компьютерного зрения при распознании брака, поддельной продукции и контрафактных изделий.

Идентификация брака, поддельной или контрафактной продукции в большинстве случаев осуществляется на основании визуального анализа определенных их участков (сегментов) и маркировки с применением экспертных методов [1]. Следовательно, для решения задачи в современных условиях могут быть использованы сверточные нейронные сети, лежащие в основе систем компьютерного зрения, структуру которых определяет чередование сверточных и субдискретизирующих слоев, строение которых является однонаправленным. Картинка разбивается на маленькие участки вплоть до нескольких пикселей, каждый из которых будет входным нейроном. Каждый фрагмент изображения умножается на ядро свертки поэлементно, полученный результат суммируется и записывается в похожую позицию получаемого выходного изображения [Там же].

Для решения в промышленных условиях данной задачи следует выполнить следующие этапы:

• •    построить двухмерное или трехмерное изображение детали (изделия);

• •    сегментировать полученное изображение: выделить необходимые участки изображения для последующей задачи распознавания. Выделение данных сегментов осуществляется на основании плана эксперимента, разработанного экспертами-специалистами в области качества;

• •    распознать сегментированные участки изображений и соотнести их к заданному классу. Процедура распознания осуществляется с применением нейронной сети, которую вначале необходимо «обучить». Для этого обучающий набор для нейронной сети должен содержать значительное количество изображений, соотнесенных с соответствующими классами (например, оригинальная и поддельная продукция), выделенными экспертным путем;

• •    идентифицировать классы деталей (изделий) на основании выполненной процедуры распознания сегментов. Это может быть выполнено с применением методов классификации или нейронных сетей. Чем больше количество распознанных сегментов используется в идентификации, тем выше точность определения оригинальной или поддельной продукции, однако при этом значительно возрастают требования к используемому техническому оборудованию.

На рис. 1 приведена фотография корпуса насоса с примером решения задачи сегментирования и распознания отдельных элементов. Желтыми прямоугольниками выделены распознанные сегменты детали (рис. 1).

На основании выполненной постановки задачи разработаем для студентов, обучающихся по направлению «Управление качеством», задание по сегментации и распознаванию объектов на изображениях с применением нейронных сетей.

Рис. 1. Фотография корпуса насоса с сегментированными участками

Описание учебного задания по сегментации и распознаванию объектов на изображениях с применением нейронных сетей для студентов технических вузов.

Поскольку решение вышеуказанной практической задачи в реальных условиях – процесс достаточно трудоемкий и длительный по времени, при создании учебной задачи авторы упростили алгоритм решения путем объединения процедур сегментации и распознавания: задание решается распознаванием двух или более различных типов деталей. В авторском задании используются болты и гайки.

Задание состоит из четырех этапов:

• 1.    Подготовка комплекса фотографий комплекта различных двух или более классов деталей. Студенты путем съемки на телефон самостоятельно формируют комплекс изображений, который затем делится на обучающую и тестовую выборки для обучения и проверки нейронной сети. Обучающая и тестовая выборки должны содержать не менее 100 изображений. Перед загрузкой изображений в нейронную сеть необходимо, чтобы все изображения были одного размера и разрешением не менее 150 dpi.

• 2.    Написание скрипта, определение оптимальной структуры сверточной нейронной сети и ее обучение на обучающей выборке (данная часть выполняется в среде Google Colab ( https://colab.research.google.com )) с применением языка программирования Python 3.9. Используются библиотеки Pandas, Tensor Flow, Keras, Numpy, Matplotlib. Точность обучения должна составлять не менее 75%.

• 3.    Проверка качества обучения нейронной сети. Проводится на тестовой выборке.

• 4.    Подготовка отчета по выполненному заданию.

В отчете помимо описания выполнения работы студенты должны ответить на следующие вопросы:

• •    возможности применения систем компьютерного зрения и нейронных сетей при решении задач выявления брака в промышленных условиях;

• •    как правильно сформировать обучающую и тестовую выборки изображений для обучения нейронных сетей, указать требования к качеству и количеству изображений;

• •    принципы построения систем контроля качества на современных предприятиях с применением компьютерного зрения.

  

  а) класс «Болт»

  Рис. 2. Фотографии двух классов деталей: болт и гайка из тестовой выборки

  
  
  

  б) класс «Гайка»

  
  
  
  
  
  
  
  

  а) Решение задачи для класса деталей «Болт»

  
  

  б) Решение задачи для класса деталей «Гайка»

  
  

Рис. 3. Результаты работы нейронной сети по распознаванию болтов и гаек

Qobuoho X3Z

Эпоха обучения

Рис. 4. Качество обучения нейронной сети на обучающей и тестовой выборке

Задание считается выполненным, если точность распознавания составит не менее 80% на тестовой выборке.

Задание рассчитано на 8 академических часов и должно выполняться на дисциплинах, преподаваемых на 3–4 курсах, когда у студентов сформированы необходимые навыки работы с инструментами качества.

Апробация задания была выполнена авторами в Сибирском автомобильнодорожном университете со студентами группы УКб-20Э1 направления «Управление качеством» на дисциплине «Информационные технологии в управлении качеством». С заданием без пересдач справились 87% студентов.

На рис. 2 в качестве примера приведены фотографии двух классов деталей: болт и гайка из тестовой выборки (рис. 2 на стр. 32).

Количество изображений в обучающей выборке – 224 шт. Количество изображений в тестовой выборке – 108 шт.

На рис. 3. приведены результаты работы нейронной сети по распознаванию болтов и гаек. Количество эпох обучения нейронной сети составило 7 (рис. 3 на стр. 33).

Точность распознавания на обучающей и тестовой выборках составили 0,975 и 0,95 соответственно (рис. 4 на стр. 33).

Таким образом, системы компьютерного зрения являются одним из наиболее перспективных направлений развития систем менеджмента качества в современных условиях. Это определяет необходимость формирования у студентов технических университетов навыков применения нейронных сетей и методов глубокого обучения при решении класса задач сегментации и распознавания изображений. Но, учитывая интенсивное развитие педагогических технологий обучения с применением методов искусственного интеллекта, в настоящее время остается открытым вопрос разработки адаптированных к современному образовательному процессу учебных заданий с использованием компьютерного зрения в управлении качеством.

Нами разработано учебное задание по применению сверточных нейронных сетей, направленное на распознавания нескольких классов деталей и рассчитанное на 8 академических часов. Данное задание ориентировано на обучение студентов старших курсов правильному построению обучающей и тестовой выборки для проведения эксперимента, написанию нейросети и определению ее оптимальной структуры, оцениванию качества обучения. Апробация разработанного задания показала его высокую эффективность в процессе подготовки студентов технических специальностей в области управления качеством. С заданием без пересдач справились 87% студентов.

Результаты проведенного исследования могут быть использованы в практике обучения специалистов технических вузов.