Улучшение компьютерного распознавания параметров пены калийных флотомашин за счет учета антибликов пузырей

Продовольственная безопасность в мире, странах и регионах в настоящее время стала важной проблемой. От ее уровня зависит стабильность и благополучие России и других стран. Продовольственная безопасность занимает важное место в осуществлении национальной безопасности РФ и демографической политики [1]. Особенно остро эта проблема встает в условиях множественных экономических и социальных санкций, наложенных на РФ зарубежными странами и организациями в последнее время. «Продовольственная самодостаточность – это реальное конкурентное преимущество в России, и оно должно работать в интересах наших граждан», – заявил Президент РФ во время совещания по вопросам агропромышленного комплекса 5 апреля 2022 года [2]. В этом смысле все большее значение приобретает производство в РФ калийных удобрений, повышающих урожайность, внешний вид и лежкость сельскохозяйственной продукции [3].

Калийные удобрения производятся в России в основном в Верхнекамском промышленном районе на предприятиях ПАО «Уралкалий» и ООО «Еврохим – Усольский калийный комби-

Затонский А.В., Варламова С.А., Федосеева К.А.

нат» [4]. В цепочке основных технологических операций (добыча, транспортировка, дробление, растворение и т. д.) наиболее сложными являются стадии флотации. В ПАО «Уралкалий» применяются многостадийная шламовая и сильвиновая флотации, в ООО «Еврохим – Усольский калийный комбинат» они дополнены стадией колонной, или пневмоэжекторной, флотации [5].

Сложность анализа параметров пены калийных флотомашин, включая даже определение уровня [6], является причиной того, что контроль за их работой и управление подачей реагентов производятся только вручную технологом (флотатором). При этом множество проблем появляется из-за человеческого фактора. Распознавание параметров пены с использованием компьютерного зрения может эти проблемы исключить. Однако методы, основанные на распознавании границ пузырьков, эффективные применительно к полиметаллическим или угольным флотомаши-нам [7–10], для низкоконтрастных пен калийных машин применимы с трудом (рис. 1). Замена распознавания края пузырька на распознавание блика, возникающего на его поверхности от естественного или дополнительного точечного источника света, позволяет во много раз упростить и ускорить обработку видео как с калийных машин [11], так и с машин других типов [12]. Бликовый метод не лишен недостатков, однако на его основе можно строить хотя бы системы сигнализации отклонений, исключающие человеческий фактор [13].

Одна из проблем, возникающих при распознавании параметров пен флотационных машин бликовым методом, вызвана неидеальной формой пузырьков. Пеногон, воздействуя на слой пены, искажает их сферическую форму. К тому же приводит разница в размерах пузырьков. Сила поверхностного натяжения удерживает в более-менее сферической форме маленькие пузырьки, но при их взаимодействии с большими форма последних искажается.

Некруглость пузырьков приводит к тому, что их поверхность, обращенная к почти соосным камере и источнику освещения, перестает быть перпендикулярной к оси съемки. Поэтому блик от источника направляется не в сторону камеры и не виден в кадре. При этом задняя стенка пузырька, более темная по сравнению с окружающей пеной, хорошо видна. Назовем это явление формированием «антиблика» (см. рис. 1).

Рис. 1. Примеры возникновения антибликов в разных пенах при разном освещении

Fig. 1. Examples of anti-glares occurrences in different foams under different lighting conditions

Колебания формы пузырька вызывают также большую погрешность распознавания, или шум. В зависимости от момента съемки пузырек может быть бликующим или антибликующим. Фильтрация предварительно обработанных данных [14] позволяет улучшить распознавание, но при ее использовании априорно отбрасывается информация о «темных пузырьках», антибликах, которая потенциально может улучшить распознавание независимо от фильтрации.

Представляется разумным разработать такой метод обработки кадра, который воспринимал бы в качестве индикатора наличия пузырька как блик, так и антиблик. Потенциально это может повысить качество распознавания параметров пенного слоя. Решение этой проблемы является целью настоящей статьи. Кроме того, как показано в [15], необходимо одновременно исследовать возможности подстройки метода под условия освещения и определить, есть ли необходимость исключать из обработки кадры при каких-то условиях.

• 1.    Обработка кадров

• 2.    Исследование улучшения распознования с учетом антибликов

Для распознавания блика пузырька используется адаптивная бинаризация. Все пиксели обесцвеченного кадра яркостью ниже некоторого уровня считаются черными, выше – белыми. В зависимости от освещенности кадра уровень бинаризации желательно выбирать таким, чтобы распознавалось максимальное количество бликов. Однако оптимизация уровня может быть выполнена только полным перебором и занимает продолжительное время. В [16] доказано, что с достаточной точностью уровень бинаризации L может быть аппроксимирован линейной зависимостью

L = a • x + b,                                                                                 (1)

где x – среднеарифметическая освещенность обрабатываемого участка кадра; a , b – коэффициенты. В [2] предложено для флотомашин разных конструкций искажать значение коэффициента a , полученное в ходе решения задачи оптимизации:

L = ( a ± A a ) • X + b,                                                                  (2)

где ∆ a ≈ (0,5…2) %· a . Это позволяет уменьшить чувствительность метода к ошибке определения коэффициента а . Для флотационных машин с пеногоном знак ∆ a положительный, для пневмо-эжекторных – отрицательный.

При обработке кадра будем определять не один уровень бинаризации, а два ( L 1 и L 2, 255 >  L 1 >  L 2 > 0). Все пиксели светлее L 1 будем считать бликами и обрабатывать ранее разработанными алгоритмами. Все пиксели темнее L 2 будем считать антибликами, инвертировать (из черного в белое) и обрабатывать, как будто это блики. Значения L 1 и L 2 будем определять максимизацией суммы распознанных бликов и антибликов, затем, как в [15], исследуем чувствительность метода к ошибке расчета линейных приближений уровней бинаризации.

Описанным методом обработаны результаты 17 опытных съемок камер шламовой, перечист-ной сильвиновой и пневмоэжекторной калийных флотационных машин, из которых в одном случае был искусственно вызван переходный процесс. В результате получено улучшение распознавания (увеличение суммарного количества бликов и антибликов) примерно на 3,6 %. В табл. 1 приведены данные об улучшении при подборе оптимальных уровней бинаризации (колонка 4) и при «прогоне», то есть при вычислении уровней бинаризации согласно (1).

Таблица 1

Улучшение распознавания на разных видах ФМ и с разным освещением

Table 1 Recognition improvement with different types of flotation machines and different lighting

№ видео	Флотомашина, освещение	Средняя освещенность	Улучшение при подборе	Улучшение при прогоне	Уменьшение отклонения S
15	Сильвиновая, серая пена, без освещения	101,90	1,016	1,028	1,0109
18	Шламовая, освещение	88,21	1,056	1,038	0,9690
19	Шламовая, освещение	112,19	1,023	1,021	0,8510
20	Сильвиновая, красная пена, освещение	107,35	1,004	1,004	0,9848
21	Сильвиновая, серая пена, освещение	96,77	1,016	1,040	1,0583
22	Сильвиновая, красная пена, освещение	62,12	1,045	1,031	0,9981
23	Сильвиновая, серая пена, освещение	53,52	1,044	1,026	0,9595
23	Сильвиновая, серая пена, освещение	69,55	1,066	1,046	–
24	Пневмоэжекторная, без освещения	141,50	1,104	1,122	1,0662

Окончание табл. 1

Table 1 (end)

№ видео	Флотомашина, освещение	Средняя освещенность	Улучшение при подборе	Улучшение при прогоне	Уменьшение отклонения S
24	Пневмоэжекторная, освещение	139,40	1,014	1,060	0,9283
25	Пневмоэжекторная, без освещения	127,19	1,056	1,054	1,0994
25	Пневмоэжекторная, освещение	137,68	1,012	1,025	0,9878
26	Пневмоэжекторная, без освещения	100,89	1,029	1,022	1,1054
26	Пневмоэжекторная, освещение	104,05	1,018	1,018	0,9738
33	Сильвиновая, светлая пена, освещение	118,39	1,001	1,011	–
34	Сильвиновая, светлая пена, освещение	142,56	1,002	1,012	0,9990
35	Сильвиновая, светлая пена, освещение	149,76	1,000	1,018	0,9686
36	Сильвиновая, светлая пена, без освещения	102,81	1,051	1,053	0,9569
37	Сильвиновая, светлая пена, без освещения	115,28	1,119	1,073	0,8426
	Среднее значение		1,036	1,037	0,986

В обоих случаях зависимость улучшения от освещенности кадра незначительная (рис. 2). Следовательно, наиболее значимым фактором являются именно цеховые условия, а не сама освещенность кадра.

Рис. 2. Зависимость улучшения распознавания от средней освещенности кадра

Fig. 2. The dependence of the recognition improvement on the average illumination of the frame

Время обработки кадра в режиме «прогона» по сравнению с аналогичным без учета антибликов ожидаемо изменилось примерно вдвое безотносительно того, распознаются ли антиблики на изображении (табл. 2).

Таблица 2

Изменение времени обработки изображения и улучшения распознавания для видео № 22 (фрагмент)

Table 2

Changing the image processing time and recognition improvement for video No. 22 (fragment)

Время обработки	Бликов и антибликов	Время обработки	Бликов	Рост времени обработки	Улучшение распознавания
0,705	146	0,344	142	2,05	1,03
0,924	176	0,468	158	1,97	1,11
0,693	133	0,356	133	1,95	1,00
0,606	128	0,312	128	1,94	1,00

Наибольшее улучшение ожидаемо получено на самых «темных» пенах – шламовой, пневмо-эжекторной и сильвиновой без дополнительного источника освещения. Антиблики в данных случаях формируются источниками рассеянного естественного освещения. Наименьшее улучшение (в пределах 0,4 %) получено на самых «светлых» машинах, сильвиновых со светлой или насыщенно красной пеной при использовании источника освещения. В этом случае антибликов формируется мало, поскольку почти все пузыри пены «бликуют», отражают свет точечного источника. Видеоряды без источника освещения снимались, скорее, с целью показать, что так результат получается хуже, чем с источником, поэтому улучшения на них носят справочный характер. Рост выше среднего значения получен на сильвиновых машинах, работающих в условиях яркого цехового освещения, где точечный источник достаточно мало добавлял к средней освещенности кадра (рис. 3).

Рис. 3. Условия съемки, приводящие к наибольшему росту распознавания Fig. 3. Shooting conditions leading to the greatest recognition improvement

Кроме увеличения количества распознаваемых объектов в пене имеет значение также отклонение от среднего значения (или любой близкий по смыслу параметр: дисперсия, среднеквадратичное отклонение и т. п.). В большинстве случаев при съемке пены переходный процесс не создавался, за исключением видео 23 и 33. Следовательно, в идеале значения статистической характеристики Y пены не должны зависеть от номера кадра и не должны изменяться, то есть должны быть все равны собственному среднему значению:

n

Y =

1 E Y , n i = 1

где n – количество обработанных кадров; Y_i – значение статистического показателя (в данном случае количества бликов или количества бликов и антибликов) в i -м кадре.

В реальности постоянные изменения в пене приводят к существенному шуму, изменениям статистических характеристик [17]. Например, для видео 25 тренды бликов и суммы бликов и антибликов выглядят следующим образом (рис. 4).

Рис. 4. Тренды распознанных бликов и антибликов в видео 25

Fig. 4. Trends of recognized glares and anti-glares in video 25

Система сигнализации отклонений (или поддержки принятия решений) неизбежно будет сравнивать разбросы значений в разные моменты времени, иначе говоря, динамику изменения среднего отклонения:

n

• ^s =~ E | Y - 4 n i = 1

Выше в табл. 1 в последней колонке приведено значение S в тех съемках, в которых не создавался переходный процесс. Видно, что в 12 случаях из 17 (70 %) среднее отклонение с учетом антибликов уменьшилось в среднем на 4,8 % (из видео, полученных с дополнительным источником света, – максимально на 15 % у видео 19 с шламовой машины). Среднее улучшение с учетом тех видео, при обработке которых S увеличилось, составило 1,4 %. Следует ожидать, что примерно сообразно этому значению улучшится точность распознавания особых ситуаций в системе сигнализации технологических отклонений.

Проверим, как влияет учет антибликов на применение метода (2). Как и в [15], построим графики зависимости относительного количества распознанных пузырьков от уровня бинаризации блика и сравним эти профили при разной освещенности кадра для пневмоэжекторной машины с дополнительным источником освещения, для которой получено улучшение распознавания около 2 %. Последнее означает, что сравнивать профили, построенные в зависимости от уровня бинаризации антиблика, не имеет смысла в связи с малым приростом количества распознанных объектов. Относительным количеством G_i ^* распознанных в i -м кадре пузырьков является величина

• G * = G il max i G i ,

где G i – количество бликов и антибликов, распознанных в i -м кадре. На рис. 5 видно, что характер профилей от учета антибликов существенно не изменился.

Рис. 5. Профили на колонной перечистной флотации Fig. 5. Profiles on the column flotation

В этом и всех остальных исследованных видео отмечаются три особенности профилей, построенных с учетом антибликов.

• 1.    В большинстве случаев (72 %) максимум профиля смещается в область более высокого уровня бинаризации блика на 3–6 %, во всех этих случаях коэффициент b в (2) положительный.

• 2.    Максимум профиля достигается не в одной точке, а в некоторой области из 2–5 точек, что

• 2.5
252 . 80

• 3.    В окрестности максимума чувствительность к ошибке определения оптимального уровня бинаризации снижается.

составляет--100 % = 1 . 3% и более, так как уровни оптимальной бинаризации бликов

для всех видов флотомашин с внешним источником света находятся в пределах [113; 162], а пределы [80; 252] исследуются только для исключения возможных ошибок.

Рис. 6. Зависимость улучшения распознавания от отношения Δ a/a

Fig. 6. The dependence of the recognition improvement on the ratio Δ a/a

Вследствие особенности 2, улучшение распознавания за счет изменения коэффициента a в (2) становится меньше, чем без учета антиблика. На рис. 6 приведены примеры зависимости про- центного улучшения распознавания от отношения ∆a/a для видео с точечным источником света. Малое улучшение распознавания достигается при положительном ∆a для видео 25 (коэффициент b положительный) и отрицательным для видео 26 (коэффициент b отрицательный), как и во всех остальных 17 обработанных видео.

Основные выводы

В ходе исследования получены следующие практически важные результаты.

• 1.    Учет антибликов улучшает распознавание пузырьков в пене на 1,4–4,8 %.

• 2.    Учет антибликов снижает чувствительность к ошибке вычисления уровня бинаризации (1) при практическом применении, как минимум, на 1 –3 %;

• 3.    Учет антибликов не исключает возможности применения методики (2) для дальнейшего снижения количества ошибок, хотя ее эффективность снижается до 0,4–0,6 %. Однако суммарный результат получается лучше, чем без учета антибликов.

Основным недостатком предлагаемого подхода является практически двухкратный рост времени обработки кадра. Однако это время все еще остается значительно меньше, чем время полуоборота пеногона калийной флотомашины (порядка 2,7–3 с). Следовательно, предложенную методику учета антибликов можно рекомендовать даже в случаях, когда с целью дополнительной фильтрации шума последовательно обрабатываются 2–5 кадров.