Разработка графического интерфейса приложения для системы технического зрения линии сортировки плодов

В настоящее время контроль качества плодов – мало механизированный процесс и на его выполнение приходится до 70 % всех трудозатрат их товарной обработки [1; 2]1.

В процессе сортировки учитывается размер плодов, наличие повреждений от болезней, вредителей и механического воздействия.

Из всех известных средств автоматизации, предназначенных для такой цели, наиболее качественно этот процесс может быть выполнен только оптическими средствами контроля на основе системы технического зрения (СТЗ) [3]. Немаловажной частью СТЗ является ее электронный блок управления (ЭБУ), общение оператора с которым осуществляется посредством графического интерфейса пользователя (Graphical User Interface GUI или ГПИ)2.

Графический интерфейс пользователя является обязательным компонентом современных программных продуктов, ориентированных на работу конечного пользователя. Интуитивно понятный графический интерфейс пользователя операционной системы и удобные средства управления позволяют повысить эффективность работы СТЗ. Поэтому создание графического интерфейса пользователя, позволяющего осуществлять эффективное управление СТЗ является важной задачей [4]3.

Цель исследования – повышение эффективности сортировки яблок путем разработки интуитивно понятного

Том 33, № 3. 2023 графического интерфейса управления системой технического зрения для распознавания дефектов плодов.

Обзор литературы

Приступая к проектированию графического пользовательского интерфейса разработчик сразу сталкивается с большим спектром задач: от разработки принципов визуального взаимодействия человека с компьютером до реализации алгоритмов. Если считать пользовательский интерфейс виртуальным миром, с которым пользователь может взаимодействовать интуитивно понятным ему способом, то компьютерный мир должен быть похожим на реальный либо строиться на принципах онтологии – науки, изучающей существование вещей в мире [5]. Таким образом, первая задача, возникающая при проектировании ГПИ, – разработка принципов структурирования и поведения визуального компьютерного мира. Вторая задача – разработка методов реализации ГПИ. В этом направлении уже есть ряд важных решений, включающих в себя метамодель Arch [6], архитектуры MVC [7] и PAC [8]. Обзор этих решений дал в своей статье О. В. Тиха-нычев [9]. Он позволил, учитывая собственный опыт построения интерактивных графических систем, разработать структуру ГПИ в виде иерархии интеракторов – объектов, представляющих конкретный сценарий использования. Использование интеракторов позволяет объединить два существующих подхода к разработке интерактивной системы: со стороны пользователя и функционального ядра [10]4. При этом для функционального ядра программного комплекса интерактор – элемент ГПИ, ответственный за ввод и вывод информации, а для пользователя – посредник между ним и функциональными возможностями системы, являющийся формальной основой для исследований свойств диалога. Для этого необходима разработка моделей поведения, раскрывающих внутреннюю структуру и наиболее полно отражающих внешнее поведение системы.

Как правило, для разработки моделей поведения используется унификация и стандартизация управляющих и отображающих элементов, которая может быть выполнена с использованием организационных и технологических подходов на основе требований СТБ, ГОСТ и технического задания [11 ‒ 16].

В целом подходы, ориентированные на унификацию, упрощают работу по созданию пользовательских интерфейсов в рамках каждого отдельного проекта. В то же время анализ практики создания программного обеспечения показывает, что подходы, основанные на унификации компонентов, обеспечивают лишь частичное решение проблемы создания эффективного пользовательского интерфейса, в первую очередь – в части разработки компонентов общего и общесистемного программного обеспечения.

Анализ зарубежного опыта разработки программной продукции показывает, что наиболее перспективным направлением создания графического интерфейса является метод быстрого прототипирования, в рамках ко- торого обеспечивается создание прототипов с минимальной функциональностью, но с полным набором входных и выходных форм, и совместная работа с ними будущего пользователя и разработчика с целью оперативного уточнения требований к интерфейсам программ [17‒20].

Создан графический интерфейс приложения для сенсорного управления системой технического зрения, обеспечивающий возможность оптимизации настройки управления СТЗ с учетом входного качества плодов, требований пользователя и заказчика, а также принципов организации эргономики рабочих мест.

Материалы и методы

Начальными данными для разработки графического интерфейса являлись технические характеристики СТЗ для сортировки яблок в соответствии с СТБ 2288 ‒ 2012⁵, а также требования к функциям приложения и архитектуре графического приложения. В работе использовались методы анализа, перебора, сравнения и синтеза современных программных решений. Анализ функционирования графического интерфейса приложения для СТЗ проводился в 2020 ‒ 2021 гг. в рамках приемочных испытаний технологической линии сортировки и фасовки яблок ЛСП-4 в производственных условиях ОАО «Остро-мечево» Брестской области.

Для анализа работы графического интерфейса создана лабораторная установка системы технического зрения, которая включала в себя: фотомодуль, состоящий из механического защищенного корпуса 1 с видеокамерой 2 и структурированной подсветкой 3, защищенного электрического шкафа 4 с вычислительным модулем 5 и сенсорной панелью управления 6 (рис. 1).

Р и с. 1. Схема лабораторной установки системы технического зрения

F i g. 1. Scheme of the laboratory installation of the vision system

В качестве вычислительного модуля использовали промышленный компьютер фирмы CINCOSE серии DS-1200, оснащенный процессором Intel® Core™ i7-8700 Hexa-Core с тактовой частотой до 4600 МГц, оперативной памятью DDR4 объемом 16 ГБ и жестким диском типа SSD объемом 256 ГБ. На компьютере установлена операционная система Ubuntu (Linux). Управление вычислительным модулем осуществлялось посредством сенсорного промышленного монитора CV-110H/M1001.

Результаты исследования

Исследованиями установлено, что СТЗ должна состоять из оптического модуля с подсветкой и видеокамерой, электронного блока управления (ЭБУ) с исполнительными механизмами сортировщика и конвейера для плодов (рис. 2). При такой компоновке СТЗ оптический модуль располагается над конвейером, по которому транспортируются яблоки. Видеокамера оптического модуля фотографирует яблоки на конвейере и передает полученные изображения в электронный блок управления, осуществляющий обработку полученных изображений.

При сортировке плодов по качеству, выполняемой СТЗ, осуществляются следующие процессы: подача плодов, их классификация и разделение.

Р и с. 2. Общий вид системы технического зрения для сортировки плодов:

1 – оптический модуль; 2 – электронный блок управления; 3 – конвейер

F i g. 2. General view of the vision system for sorting fruits: 1 – optical module;

2 – electronic control unit; 3 – conveyor

Подачу плодов можно представить, как формирование потока и транспортирование, классификацию – как обнаружение признаков, распознавание структуры и принятие решений на основе заложенных в «память» предписаний, а процесс механизированного разделения – как подпроцессы взвода исполнительного механизма, удара и последующего движения объекта (рис. 3).

В известных линиях сортировки плодов процессы формирования потока и их транспортирование выполняются конвейерами, управление которых не связано с СТЗ. При этом обнаружение признаков, распознавание структуры и принятие решений на основе предписаний, стандартов и требований качества, а также управление исполнительными механизмами разделения потока плодов осуществляет ЭБУ СТЗ.

Подача / Feed

Классификация / Classification

Механическое разделение / Mechanical separation

Р и с. 3. Функциональная схема системы сортировки плодов по качеству

F i g. 3. Functional diagram of the system for sorting fruits by quality

В соответствии с СТБ 2288-2012 яблоки по показателям качества разделяются на три товарных сорта: высший, первый и второй (табл. 1).

Как видно из таблицы 1 для принятия решения о качестве плодов ЭБУ СТЗ должен не только определить диаметр яблока, но и выявить его повреждения.

При этом если диаметр яблок можно определить исходя из геометрических размеров получаемых видеокамерой изображений, то механические повреждения и повреждения плодов болезнями и вредителями ‒ только посредством применения аппарата глубокого обучения искусственной нейронной сети (ИНС). В основе ее функционирования положен принцип распознавания изображения плодов, которые система сравнивает с запрограммированными в память машины образами, получившими название «обучающая выборка»⁵.

Требования, предъявляемые к качеству плодов, определяются не только соответствующим стандартом, но и представлениями о нем потребителем и могут варьироваться в широких пределах. Кроме того, в процессе сортировки процентный выход плодов того или иного сорта зависит от множества факторов: сорта, условий хранения, качества плодов при закладке и др. Это приводит к тому, что занятость рабочих, фасующих отсортированные плоды (высшего, первого, второго сорта), может в значительной степени отличаться от прогнозируемой. Все это требует гибкости в управлении как СТЗ, так и машиной для сортировки плодов в целом.

Таким образом, программное обеспечение ЭБУ СТЗ должно обеспечивать выполнение следующих функций:

– ввод информации о заказе на сортировку плодов;

Т а б л и ц а 1

T a b l e 1

Показатели качества сортирования яблок Quality indicators of sorting apples

Наименование показателя / Name indicator	Характеристика и требования для сорта / Characteristics and requirements for the variety
	высшего / higher variety	первого / first variety	второго / second variety
Наибольший размер плода, мм / The largest fruit size, mm	70–65	65–60	60–55
Механические повреждения / Mechanical damage
‒ «градобоина» / “hail damageˮ	н/д* / not allowed	до 2 см2 / up to 2 cm2	2 см2–¼ поверхности / 2 cm2–¼ surface
‒ «прокол», «порез», «нажим» / “punctureˮ, “cutˮ, “pressureˮ	н/д / not allowed	до 2 см2 / up to 2 cm2	2–4 см2
Повреждения вредителями / Pest damage	н/д / not allowed	до 2 см2 / up to 2 cm2	2–4 см2
Повреждения болезнями / Disease damage
‒ «гниль» / “rotˮ	н/д / not allowed
‒ «сетка» / “netˮ	н/д / not allowed	до ¼ поверхности/ up to ¼ surface	допускается/ allowed
‒ «парша» / “scabˮ	н/д / not allowed	до 2 см2 / up to 2 cm2	2 см2–¼ поверхности / 2 cm2–¼ surface

Примечание / Note: * ‒ не допускается / not allowed.

– настройку требований к качеству плодов;

– оперативное управление устройствами для выгрузки от сортированных плодов, для регулировки загруженности рабочих-фасовщиков;

– анализ работы СТЗ и машины для сортировки в целом;

– настройку ЭБУ, тестирование и анализ неисправностей.

В связи с этим было принято решение разделить меню графического приложения на пять основных модулей с расположением их в виде вкладок в порядке их применения при работе с СТЗ:

– «Заказ» – для ввода информации предмете сортировки;

– «Параметры» – для настройки параметров классификации яблок;

– «Статистика» – для отображения информации о процессе сортировки в режиме реального времени;

– «Лотки» – для распределения потоков отсортированных плодов по выходным конвейерам;

– «Инженерный» – для контроля над информационными и управляющими процессами СТЗ.

На основании данных функций разработан алгоритм работы программного обеспечения графического интерфейса СТЗ (рис. 4).

В представленной схеме первые три этапа предусматривают ввод информации о предстоящей работе: номер заказа, заказчик, сорт плодов. Эта информация необходима для формирования отчета о результатах проделанной работы.

Начало / Start

Ввод № заказа / Enter Order No.J

Ввод заказчика / Customer input

Ввод сорта / Variety input

да / yes се поля заполнены

All fields are filled сть параметры нет / no

по умолчанию / There are

options default

нет / no

да /

Ввод параметров сортировки / Entering sort options нет / no

Нажата красная кнопка / Рressed red button нет / no

Нажата кнопка стоп / Рressed top butto

Нажата кнопка старт / Рressed start button да / yes да / yes

Классификация, генерация сигналов / Classification, signal generation нет / no

да / yes

Конец / End

Р и с. 4. Алгоритм работы графического интерфейса СТЗ

F i g. 4. Algorithm of the graphical interface of the VS

Отчет является рекомендательным документом. На его основе пользователь может получить следующую информацию:

‒ номер заказа;

‒ наименование заказчика;

‒ наименование исполнителя;

‒ дата и сроки выполнения заказа;

‒ сорт яблок;

• - статистические данные полученного продукта, включая:

• 1)    геометрические параметры яблок;

• 2)    список допустимых / недопустимых дефектов;

• 3)    плотность яблок;

• 4)    скорость движения конвейера;

‒ описание характеристик, на основе которых производилась классификация.

Графическое изображение вкладки

«Заказ» приведено на рисунке 5.

Указанная вкладка содержит следующие информационные элементы:

‒ «№ заказа» – уникальное название для каждого заказа;

‒ «Заказчик» – уникальное имя заказчика;

‒ «Сорт» – название сорта яблок в формируемом заказе;

‒ «Исполнитель» – имя пользователя, осуществляющего настройку системы;

‒ «Ответственный» – имя пользователя, осуществляющего контроль за работой системы;

‒ «Дата» – данные о дате, используются для формирования отчета.

Оператор не сможет запустить процесс сортировки плодов без информации, заполненной во вкладках «Заказ» (номер заказа, наименование заказчика, наименование исполнителя, сорт), «Рецепт» (коэффициенты классификации яблок по сортам) и «Статистика» (плотность). Следует оговориться, что если перечисленные параметры удовлетворяют значениям, хранящимся «по умолчанию», то оператор может их не заполнять. Только после этого у оператора есть возможность нажать на кнопку «Старт», так как до этого момента она была в главном окне, но не активна.

Кроме того, для повышения безопасности функционирования СТЗ в алгоритм управления введена коман- да прерывания выполнения процесса сортировки, активируемая кнопкой аварийной остановки (в дальнейшем – «красная» кнопка).

В соответствии с алгоритмом работы графического интерфейса СТЗ после ввода информации о заказе оператором СТЗ происходит настройка параметров классификации яблок посредством вкладки «Параметры» (рис. 6).

Для этого во вкладке использованы шесть «ползунков», по два на каждый из сортов, которые позволяют бессту-пенчато изменять диаметр, относящийся к соответствующему сорту плода.

Во вкладке имеются индикаторы, позволяющие блоку управления СТЗ учитывать те или иные дефекты плодов в каждом из трех сортов.

При этом, если в предыдущей вкладке «Заказ» был выбран сорт, использовавшийся уже в предыдущих сессиях, то указанные выше значения коэффициентов устанавливаются по последним значениям автоматически. Если яблоки, используемые в текущем заказе, в небольших пределах отличаются от значений, установленных по умолчанию (в связи со сменой поставщика или иных условий), то у оператора есть возможность их корректировки.

Р и с. 5. Вкладка «Заказ» F i g. 5. Order tab

Р и с. 6. Вкладка «Параметры»

F i g. 6. Options tab

После завершения настройки качественных параметров сортировки яблок по сортам оператором назначаются выходные конвейеры для каждого из сортов яблок во вкладке «Лотки» (рис. 7).

При выполнении процесса сортировки плодов с частичным использованием ручного труда важным является контроль производительности сортировки на каждый сорт, что позволит в режиме реального времени контролировать ра- боту, определить точные сроки выполнения операции и выявить нарушения технологий уборки и хранения плодов. Для этого в графическом интерфейсе ЭБУ СТЗ использована вкладка «Статистика» (рис. 8).

В данной вкладке в режиме реального времени дается информация о производительности сортировки яблок как в целом, так и по отдельным сортам (в шт., кг и кг/ч).

Р и с. 7. Вкладка «Лотки»

F i g. 7. Trays tab

Р и с. 8. Вкладка «Статистика»

F i g. 8. Statistics tab

Анализ получаемой информации оператором из вкладки «Статистика» (рис. 8) графического меню позволяет определить, сколько плодов каждого сорта получается. Последняя информация необходима оператору для принятия решения о выделении дополнительного выходного транспортера для сорта, на котором объем поступающих отсортированных плодов значительно больше других (рис. 7).

Для настройки СТЗ контроля ее функционирования в ГПИ добавлена вкладка «Инженерный», представленная на рисунке 9.

Данная вкладка является служебной и предназначена для работы инженера, осуществляющего наладку ЭБУ. С помощью вложенных элементов меню и настроек наладчик имеет следующие возможности:

– сектор А – настройка срабатывания механизма сбрасывания яблок с ручным и автоматическим вводом скорости движения главного конвейера;

– сектор Б – тестирование и установление временных характеристик механизма разделения потока яблок;

Р и с. 9. Вкладка «Инженерный»

F i g. 9. Engineering tab

– сектор В – установка расстояний до места разделения потока яблок для каждого из выходных транспортеров;

– сектор Г – отображение ошибок срабатывания соленоидов сбрасывания яблок и очередности их работы для каждого из выходных транспортеров.

Обсуждение и заключение

Созданный графический интерфейс использован в системе технического зрения технологической линии сортировки и фасовки яблок ЛСП-4 (рис. 10), разработанной РУП «Научно-практический центр НАН Беларуси по механизации сельского хозяйства».

Техническая характеристика технологической линии приведена в таблице 2.

Для оценки качества сортировки яблок СТЗ использовались метрики IoU и Accuracy.

Метрика Accuracy является величиной, обозначающей долю правильных ответов алгоритма, значение которой определялось по формуле:

TP + TN

Accuracy = .

TP + TN + FP + FN

Метрика Intersection over Union (IoU) ‒ величина, показывающая, насколько у двух объектов (эталонного и текущего) совпадает внутренняя площадь:

loU =

p BB tBB ^,

где tBB – реальная площадь объекта; pBB – площадь объекта, предсказанная детектором.

Значения метрики Accuracy при определении сорта яблок СТЗ приведены в таблице 3.

Приемочные испытания линии проходили в ОАО «Остромечево» в Брестском районе, аг. Остромечево в 2020 ‒ 2021 годах⁶. Испытания линии сортировки яблок проводились в соответствии с ГОСТ Р 54780-2011 «Машины для товарной обработки плодов. Методы испытаний».

Определение качества сортировки яблок осуществлялось в соответствии с агротехническими требованиями, указанными в таблице 1.

Р и с. 10. Система технического зрения линии сортировки ЛСП-4: 1 – оптический модуль с видеокамерой и структурной подсветкой;

2 – электронный блок управления; 3 – конвейер;

4 – выходной транспортер для отсортированных плодов

F i g. 10. Vision system of sorting line LSP-4: 1 – optical module with a video camera and structural illumination; 2 – electronic control unit; 3 – conveyor;

4 – output conveyor for sorted fruits

Т а б л и ц а 2

T a b l e 2

Техническая характеристика линии ЛСП-4

Technical characteristics of the line LSP-4

Наименование показателя / Name of indicator

Количество отводящих конвейеров, шт. /

Number of outfeed conveyors, pcs.

Скорость движения сортировальных кареток, м/с /

Sorting carriage speed, m/s

Производительность за час основного времени, т* /

Productivity per hour of main time, t*

Параметры, по которым осуществляется сортировка / Parameters by which sorting is carried out

Обслуживающий персонал, чел. / Service personnel, pers.

Допустимое отклонение по наибольшему диаметру яблок, находящихся в одной и той же таре, не более / Permissible deviation in the largest diameter of apples in the same container,

Значение / Meaning 4

0,10–0,78

2,5, не более / no more

размер, механические повреждения, повреждения от вредителей / size, mechanical damage, pest damage

10 мм / mm

no more

Примечание / Note: * – зависит от физических и структурно-механических свойств плодов / depends on the physical and structural-mechanical properties of the fruits.

Анализ результатов испытаний показал, что технологическая линия соответствует требованиям технического задания и обеспечивает качественное выполнение технологического процесса сортировки яблок по размеру и наличию дефектов от механических повреждений, болезней и вредителей. При этом точность сортировки плодов по размеру составила 75,4 %, а точность сортировки по размеру и наличию дефектов – 73,1 % (табл. 4).

Некоторое снижение точности сортирования по отношению к техническому заданию объясняется наличием в сортируемых плодах большого количества яблок, имеющих значительные механические повреждения (более 20 % поверхности) и плодов с обширной гнилью, более ½ площади плода, присутствие которых не допускается.

При этом применение разработанного графического интерфейса позволило обеспечить производительность труда на сортировке в 1,76 ‒ 1,80 т/ч или 225 кг/ч на одного человека, что в 3 раза выше производительности при ручной сортировке плодов⁷.

Т а б л и ц а 3

T a b l e 3

Значения метрики Accuracy при определении сорта яблок нейронной сетью Values of Accuracy metric when determining the variety of apples by a neural network

Сорт яблок / Apple variety	Accuracy
Высший / Higher Первый / First Второй / Second Без сортовой / Without varietal	0,763 0,825 0,851 0,864

Т а б л и ц а 4

T a b l e 4

Функциональные показатели и показатели работы линии Functional performance and line performance

Наименование показателя / Name of indicator	Значение показателя / Indicator value
	по ТЗ / according to TK	по результатам испытаний / by test results
Повреждение продукции линией после сортировки, % / Damage to products by the line after sorting, %	10,0, не более / not more than	1,3
Точность сортирования, % / Sorting accuracy, %	80,0, не менее / not more than	73,1
Точность сортирования с допустимым отклонением по наибольшему диаметру, % / Sorting accuracy with maximum diameter tolerance, %	80,0, не менее / not more than	75,4
Эксплуатационно-технологические показатели: / Operational and technological indicators:
Производительность за час основного времени, т/ч / Productivity per hour of main time, t/h	2,5, не более / not more than	1,80

Расчет экономических показателей использования линии сортировки яблок ЛСП-4 производился в сравнении с импортным аналогом – линией сортировки яблок «Rollerstar CV-C3 1-7+1» фирмы «Aweta», Голландия, по ТКП 151-2008 «Испытания сельскохозяйственной техники. Методы экономической оценки. Порядок определения показателей»8 с использованием нормативно-справочных материалов и действующих тарифных ставок оплаты труда механизаторов и стоимости топлива.

В результате расчета сравнительных показателей экономической эффективности при работе линии установлено, что годовой приведенный экономический эффект от применения линии составляет 2,9 млн. руб., а срок окупаемости – 4,59 года.

• 1.    В результате исследований создано графическое приложение программного обеспечения ЭБУ СТЗ линии сортировки и фасовки яблок.

• 2.    Графический интерфейс пользователя системы технического зрения содержит все необходимые инструменты («Заказ», «Параметры», «Статистика», «Лотки» и «Инженерный») для управления и оптимизации затрат при сортировке яблок на три товарных сорта.

• 3.    Приемочные испытания линии сортировки плодов ЛСП-4, которая оснащена системой технического зрения с разработанным программным обеспечением и графическим интерфейсом, показали ее высокую производительность труда в 3 раза превышающую таковую при ручной сортировке плодов.

Поступила 30.03.2023; одобрена после рецензирования 24.04.2023; принята к публикации 26.07.2023.

Об авторах:

П. П. Казакевич – научное руководство, доработка текста, итоговые выводы.

• А. Н. Юрин – концепция исследований, реализация исследований, написание исходного текста, итоговые выводы.

Все авторы прочитали и одобрили окончательный вариант рукописи

Food systems 371

Submitted 30.03.2023; revised 24.04.2023; accepted 26.07.2023.