Разработка алгоритма интеллектуальной поддержки при принятии управленческих решений на ферме на основе системы машинного зрения

Введение. Из-за несвоевременного принятия управленческих решений на молочных фермах КРС животные не съедают весь свой рацион [1]. Тогда сокращаются надои, и, следовательно, доходы; увеличиваются затраты на перерасход корма.

Повышать продуктивность молочных ферм предлагается с помощью уникального программно-аппаратного комплекса для динамического детектирования объема кормового стола на базе машинного зрения. Устройство, провезенное по кормовому столу подравнивателем, кормораздатчиком или любым другим подвижным основанием, с помощью камеры «визуально» анализирует количество кормовых остатков, после чего отправлять рекомендации к управленческим решениям оператору на ферме.

Прямых аналогов к разработке нет, но близкими аналогами являются зарубежные системы кормления и управления стадом. Большая часть систем умного/автоматического кормления, такие как Crystal, ALPRO Feed Manager (от компании DeLaval), DairyPlan (от компании GEA), израильская система управления стадом AFIKIM, голландская

I 77

родственница AFIKIM, Afifarm, по большей части сконцентрированы только на подбор рациона по потребностям, своевременным пополнением кормового стола, но мало развиты в плане анализа несъеденных остатков корма, что может приводить к его сильному перерасходу [2].

Системы управления стадом могут формировать рекомендации по оптимизации содержания животных в целом, но не анализируют объем кормового стола.

Хотя подавляющая часть аналогов совместима с оборудованием других компаний, дифференцировать её как отдельную вспомогательную систему для кормления и использовать на базе других не представляется возможным.

Для реализации таких алгоритмов использовались методы машинного зрения, которое также используется в геодезии, горнодобывающей промышленности, логистике и складировании и других [3].

Основная часть. Цель достигается методами машинного зрения, которое включает в себя снятие данных с камеры (в данной работе – стереокамера, которая формирует трехмерные данные), фильтрация, выпрямление и сегментация облака точек, визуальная одометрия [4]: определение опорных ориентиров и объединение/сопоставление соседних снимков по ним. Также был разработан метод для расчета объема сена и алгоритм, дающий качественную оценку количеству остатков корма.

1) Съем данных проведен согласно требованиям к композиции кадра (рисунок 1).

Рисунок 1 – Съем данных

Камера была установлена в точке S на расстоянии, не меньшем, чем m от объекта, где m – минимальное регистрируемое расстояние по глубине, а также в кадр должно попадать как минимум l = 30 см чистого пола на переднем плане кадра.

• 2)    Отображение данных. При отображении разреженного облака точек (каждая двадцатая точка) отчетливо видно задний план – стена, средний план – объект (сено) и пол (рисунок 2), в данном случае от них можно избавиться изменением угла съемки.

Рисунок 2 – Отображение снятого облака точек

• 3)    Поворот системы координат камеры до мировой системы координат необходимо выполнить для упрощения расчетов. Результат – на рисунке 3. Угол поворота и перемещение облака точек (для совпадения начал систем координат) вдоль выбранной оси определяется путем расчета коэффициентов линейной регрессии (так как ориентиры для поворотов – пол и стена – плоскости).

  

  -0.5             0             0.5

X, m

Рисунок 3 – Поворот

• 4)    Сегментация облака точек происходит в два этапа: удаление плоскости пола (рисунок 4) и удаление заднего плана (рисунок 5). Если идет речь о применении разработки на кормовом столе на ферме, необходимо провести дополнительную кластеризацию и фильтрацию для удаления из кадра голов животных, поедающих сено во время съемки. Первичная кластеризация может быть приведена на основе расстояний между точками в облаке, вторичная – на основе цветов этих точек (если есть возможность снимать цветное облако точек).

  

X. in

Рисунок 4 – Результат исключения плоскости пола (вид спереди)

Рисунок 5 – Результат сегментации, искомый объект (вид сверху)

• 5)    Для поиска опорных ориентиров, а точнее их координат по оси Х, необходимо выделить нижнюю переднюю границу объекта, аналогично тому, как было показано на рисунке 1.7 и определить экстремумы этой дискретной функции (рисунок 6).

Рисунок 6 – Нижняя линия: ▬ – возрастание функции, ▬ – убывание функции, • – локальный минимум, • – локальный максимум

Для получения среза необходимо построить плоскость, перпендикулярную плоскостям пола и ориентира заднего плана, имеющую координату X i-ого отобранного

Z. ni

Рисунок 7 – Срез (вид сбоку)

Рисунок 8 – Опорные ориентиры

6) Объединение. Алгоритм сравнивает глубину, высоту срезов и разницу их координат по X между двумя кадрами. Найдя соответствующие элементы, второй кадр переносится к первому, результат объединения приведен на рисунках 9, 10.

а)                                                 б)

Рисунок 9 – Результат работы алгоритма, тип перемещения – приближение/отдаление: а) исходные облака точек: • - первый кадр, • - второй кадр; б) «склеенные» облака точек: • -

первый кадр, • – второй кадр

а)

б)

Рисунок 10 – Результат работы алгоритма, тип перемещения – сдвиг а) исходные облака точек: • – первый кадр, • – второй кадр; б) «склеенные» облака точек: • – первый кадр, • – второй кадр

Таким образом, результат отработки алгоритмов на 6 кадрах представлен на рисунках

11, 12.

1.2             1             0.8            0.6            0.4            0.2             0            -0.2           -0.4           -0.6           -0.8

X, in

Рисунок 11 – Оригинальные положения сена на разных кадрах (вид сверху)

Рисунок 12 – Полное облако точек

Испытания показали, что разработанные алгоритмы имеют высокую точность (ошибка ±2 см) и высокое быстродействие (0,483453 с), что позволяет обрабатывать 2,06 снимка в секунду с перекрытием в 40 см (20%), то есть перемещать камеру вдоль кормового стола со скоростью 3 км/ч.

• 7) Расчет объема. В силу простоты реализации, низкой вычислительной сложности, быстродействия и точности для расчета объема облака точек, описывающего корм, был выбран метод усеченных призм, который заключается в построении на каждом срезе прямоугольников одинаковой ширины, но разной высоты. Эта высота рассчитывается так, чтобы площадь этого прямоугольника совпала с площадью анализируемого среза. Прямоугольники на соседних срезах объединяются либо в усеченные призмы (рисунок 13). Объем объекта равен суммарному объему этих мелких фигур.

Испытания показали, что выбранный метод имеет достаточную точность: ошибка по модулю – до 15%, средняя – 6,14%.

После обработки и произведения всех ранее описанных расчетов результаты анализа необходимо выгрузить на ПК оператора на ферме.

Одноплатный компьютер, который входит в аппаратную часть комплекса, предлагает несколько вариантов передачи результатов анализа кормового стола между упомянутыми устройствами, два из них – Wi-Fi и USB-подключение.

Рисунок 13 – Фигуры для расчета объема на сене: сверху – вид спереди, снизу – в пространстве (вид сзади)

На ПК оператора необходимо развернуть простое десктопное приложение, которое будет отображать результаты расчетов и принимать дополнительные данные для более точного анализа (рисунок 14).

Рисунок 14 – Окно десктопного приложения

В случае, если объем остатков меньше 3%, результат – объем слишком мал, от 3% до 5% – удовлетворительное количество остатков, более 5% – слишком большой объем остатков. В последнем варианте предусмотрена возможность более тщательного анализа благодаря введению в рассмотрение дополнительных данных о содержании животных (рисунок 15). В результате исследования литературы [5-8] и общения с фермерами было выяснено, что снижение аппетита у молочных коров на ферме может быть вызвано различными факторами, например: несбалансированное питание, недостаток основных питательных веществ, витаминов и минералов, плесень или загрязнение кормов токсинами, инфекционные болезни, паразиты (внутренние и внешние), несоблюдение температурного режима, плохая вентиляция или качество воздуха в помещении, загазованность, повышенная влажность, недостаток воды или её плохое качество, неправильное расположение поилок или их недостаточное количество. Также необходимо заметить, что отклонения в пищевом поведении могут наблюдаться не у всего стада сразу, а лишь у группы животных, классифицированной по определенным признакам (больные/здоровые, дойные/сухостойные и т. д.) и размещенной в конкретной части стойла.

Для получения рекомендаций по содержанию животных заполните следующие параметры:

Окно вывода

I Температура воздуха в стойле (°C):

Влажность воздуха в стойле (г/м3):

Загазованность

Аммиак (мг/м’):

Кислород (об %):

СО (об %):

СО; (мг/м*):

Анализ

Рисунок 15 – Введение дополнительных параметров

Аппаратная часть комплекса (рисунок 12) включает в себя 3D-камеру (разрешение: 1280 × 720 пикселей, апертурные углы: 87° × 58°), одноплатный компьютер (количество ядер: 4, частота процессора: 1500 МГц, оперативная память: 8 Гб) и блок питания (емкость: 8000 мАч).

Рисунок 16 – Аппаратная часть системы: 1 – 3D-камера, 2 – одноплатный компьютер, 3 – блок питания, 4 – коннектор для подзарядки, 5 – кнопка включения системы

Внешний вид бокса представлен на рисунке 17. Бокс имеет отверстие для объектива камеры, также предусмотрена возможность добавления системы охлаждения для одноплатного компьютера. На нижней части бокса есть соединительный элемент с внутренней резьбой, благодаря которому становится возможным прикрепить бокс к любому штативу.

Рисунок 17 – Внешний вид бокса

Заключение. Таким образом, для создания программно-аппаратного комплекса для динамического детектирования объема кормового стола были:

• 1.    Разработаны алгоритмы снятия данных и определения опорных ориентиров, который основан на рельефе объекта интереса (сена), включающий в себя выпрямление и сегментацию исходного облака точек.

• 2.    Разработан алгоритм локализации системы и склеивания облака точек по опорным ориентирам.

• 3.    Выяснено, что разработанные алгоритмы имеют высокую точность (ошибка ±2 см) и высокое быстродействие (0,483453 с), что позволяет обрабатывать 2,06 снимка в

• 4.    Разработан алгоритм расчета объема корма по облаку точек, испытания показали достаточную точность выбранного метода: средняя ошибка по модулю – 6,14%.

• 5.    Разработан алгоритм составления суждений, что позволило предоставлять качественную оценку объема остатков: менее 3% – остатков слишком мало, от 3% до 5% – приемлемое количество остатков, более 5% – объем остатков слишком велик. В последнем случае предусмотрена возможность введения в анализ еще до 6 дополнительных факторов, что сделало возможным составление от 6 дополнительных суждений рекомендательного характера.

• 6.    Разработана аппаратная часть комплекса (бокс и его комплектующие): 3D-камера, одноплатный компьютер и блок питания.

• 7.    Создан и испытан функционал образца ПАК, что обеспечило готовность макета системы интеллектуальной поддержки при принятии управленческих решений в процессе кормления на ферме на основе системы машинного зрения и подтвердило его работоспособность.

секунду с перекрытием в 40 см (20%), то есть перемещать камеру вдоль кормового стола со скоростью 3 км/ч.