Оптимизация технологической карты допустимых системотехнических решений задачи видеоаналитики аквакультуры

• 1.    Постановка задачи

Целью данного исследования являлась формализация технологического процесса - видеомониторинга гидробионтов в рыбоводных индустриальных комплексах - на основе анализа специфики и ограничений водной среды, применимых сенсорных устройств, характера задачи, объема водных емкостей, числа содержащихся гидробионтов и других факторов, влияющих на точность, скорость и стоимость получения результатов видеоаналитики. Современные работы в области высокотехнологичной аквакультуры, водных биологических ресурсов фокусируются на цифровой трансформации производства путем формализации экспертных междисциплинарных знаний по ихтиологии, экологии, робототехнике и машинному обучению, другим технологиям искусственного интеллекта и разработке фундаментальных и технологических основ высокопродуктивного и экологически чистого рыбоводства, прогнозирования и проактивного управления полного жизненного цикла производства аквакультуры [1-6].

Видеоаналитика считается наиболее перспективным инструментом для решения задач мониторинга, прогнозирования и проактивного управления технологическими процессами индустриальной аквакультуры, так как обладает рядом достоинств [7-10]. Во-первых, бесконтактность съема данных о гидробионтах и среде. Это обеспечивает неинвазивность, не вносит возмущающих факторов в жизненные процессы рыб. Также устраняются риски внесения патогенов, что не исключено при обследовании объектов аквакультуры ветеринарами. Во-вторых, изображения и

Ронжин А.Л., Ле В.Н., Оптимизация технологической карты допустимых Шувалов Н. системотехнических решений задачи видеоаналитики аквакультуры видеоряд дают наиболее полную визуальную информацию о кожном покрове, одиночном и групповом поведении рыб. В-третьих, накапливаемые первичные данные, размеченные корпуса и аналитическая информация для корректировки алгоритмов управления техническим оборудованием производства аквакультуры являются отдельным ценным ресурсом, в том числе позволяющим уточнять и имеющиеся теоретические знания в области ихтиологии.

Последующая структура статьи сформирована следующим образом. Далее описана концептуальная модель предметной области исследования, обсуждаются наиболее актуальные задачи аквакультуры, решаемые на основе видеоаналитики, проанализированы основные ограничения и требуемые ресурсы. Рассмотрены особенности разработки технологической карты для задачи расчета биомассы рыб, приведены предварительные результаты экспериментальной проверки системы видеоаналитики на рыбоводном предприятии.

Наиболее актуальными задачами в аквакультуре, потенциально решаемыми на основе видеоаналитики, выделяют следующие: подсчет числа рыб, распознавание типов рыб, оценивание биомассы, идентификация каждой особи, выявление аномального поведения, распознавание заболевших, диагностика заболеваний [11–14].

На рис. 1 представлена концептуальная модель предметной области видеоаналитики аквакультуры с введенными основными сущностями. Процесс выбора параметров технологической карты начинается с определения типа задачи W ^k , ее входных W ^k InP и выходных W ^k OutP данных, а также конкретных свойств оборудования для регистрации входных данных W kP = { Fnc kpEq , Acc kpEq , Spd kpEq , Cst inpEq } и свойств оборудования для их обработки и формирования выходных данных: w Ou _tP = { Fnc OutEq , Acc OuEq , Spd ouEq , Cst cutEq }, образующих матрицу W_P^k .

Затем производится анализ требований, характерных для задачи W ^k : R ^k PT – место и время; R ^k VEq – оборудование видеосъемки; R ^k SenEq – дополнительное сенсорное оборудование; R ^k CNAEq – вычислительное, сетевое, силовое оборудование; W ^k Tim – расписание видеосъемки; R ^k WP – множество необходимых специалистов. Также учитываются основные ограничения предметной области и накладываемые технические и технологические требования к оборудованию и процессу видеосъемки: L ^k WE – факторы водной среды, L ^k FB – поведение рыб, L ^k UC – условия эксплуатации, L ^k WV – характеристики водного резервуара, L ^k WC – характеристики погодных условий, L ^k CC – характеристики климатических условий.

Основными ограничениями, характерными для всех задач, являются факторы водной среды (мутность, низкая освещенность), поведение рыб (относительно высокая скорость, инстинкты), условия эксплуатации (повышенная влажность, механические воздействия) и другие.

При описании требований к решению задач следует уточнять место и время видеосъемки (наименование технологического процесса, место видеосъемки, время видеосьемки, длительность видеосъемки, ракурс видеосъемки) оборудование видеосъемки (спектральный диапазон регистрируемых частот, частота кадров, дополнительное освещение и др.), вычислительное и сетевое оборудование (характеристики вычислительного модуля для подключения видеокамеры и записи данных, управления осветительным оборудованием и характеристики маршрутизатора для передачи видеоданных в облачное хранилище (WiFi, GSM)), вычислительный сервер для обработки видеоданных, а также необходимый обсуживающий персонал (ветеринар-ихтиолог, инженер-системотехник, инженер-технолог, инженер по машинному обучению и компьютерному зрению и др.).

Математическую формулировку задачи поиска подмножества допустимых вариантов технологической карты можно записать в следующем виде. Обозначим множество вариантов технологической карты:

TM = JM . , TM Vhs , TME^ , TM^ ,..., TM^ q , TM^ , TM EqSh , TM* p _S h ,...,

TMUNEq, TMVNHs , TMENqSh, TMPNSh } , где каждый вариант карты описан набором характеризующих параметров, заданных числовыми значениями. Характеристики используемого в варианте технологической карты TM i оборудования TMUEq = {FnCUEq, AccUEq, SpduEq, Cst'uEq} соответственно по функциональности, точности,

Математика

скорости и стоимости. ТМ ⁱ _VSh – расписание видеосъемки; TM ⁱ _EqSh – расписание вспомогательного оборудования; TM ⁱ PSh – график работы специалистов.

Рис. 1. Концептуальная модель задачи видеоаналитики аквакультуры

Таким образом, для решения задачи W ^k на основе критериев Q необходимо выделить подмножество вариантов технологической карты TM ^k ∈ ТМ с набором параметров используемого оборудования, идентичным по функциональности, точности, скорости свойствам оборудования для регистрации входных данных, обработки и формирования выходных данных, содержащихся в описании задачи W ^k . Предполагается, что количество типов оборудования в вариантах техноло-

Ронжин А.Л., Ле В.Н., Шувалов Н.

Оптимизация технологической карты допустимых системотехнических решений задачи видеоаналитики аквакультуры гической карты и описании задачи одинаковое и равно WkEqNum, а оборудование отличается только количественными значениями функциональных характеристик.

В рамках поставленных условий в варианте технологической карты TM ⁱ можно однозначно оценить соответствие характеристик используемого оборудования TM_Uⁱ_Eq , учитывая две компоненты. Во-первых, соответствие характеристик оборудования видеосъемки { Fnc VEq , Acc VEq , Spd VEq }, дополнительного сенсорного оборудования { FnC_SenEq , Acc SenEq , Spd' se _nEq } свойствам требуемого оборудования для регистрации входных данных ^{ Fnc InpEq , Acc InpEq , Spd lnpEq ^{} .}

Во-вторых, соответствие характеристик вычислительного, сетевого, силового оборудования { Fnc'_CNAEq , Acc CNAEq , Spd' CNAEq } свойствам требуемого оборудования для обработки и формирования выходных данных { Fnc OuEq , Acck_utEq , Spd’ outEq } •

При сравнении характеристик оборудования формируются бинарные оценки применимости вариантов технологической карты, в положительном случае сохраняется суммарная стоимость требуемого оборудования:

WkEqNum

TM¹ =

^   ^CstUEq ,^если TM UEq = W P .

i = 1

0, иначе

После этого в экспертном режиме рассматриваются варианты, имеющие более низкую стоимость. При оценивании стоимости используемого сервиса видеоаналитики следует учесть затраты на приобретение и установку специализированного программно-аппаратного обеспечения, оплаты работы экспертов, участвующих в ручной обработке изображений, и другие расходы.

Вопросы автоматизации и интеллектуализации технологических процессов сельского хозяйства являются наиболее актуальными современными задачами, им посвящены исследования передовых отечественных коллективов. В работах ведущей научной школы З.В. Нагоева детально обсуждаются проблемы интеллектуального принятия решений на основе самоорганизации муль-тиагентных когнитивных архитектур и созданы оригинальные наземные роботы сельскохозяйственного назначения [15–18]. Авторы выражают признательность за плодотворные дискуссии и считают своим приятным долгом поздравить Залимхана Вячеславовича Нагоева с юбилеем.

Проблема выбора оптимального варианта технологической карты и проектирования допустимых системотехнических решений программно-аппаратного комплекса видеоаналитики сводится к поиску конструктивных путей формирования вариантов, удовлетворяющих функциональным и временным критериям. Окончательное решение о структуре и функциях программноаппаратного обеспечения видеоаналитики, необходимом для его реализации, принимается с учетом стоимостных затрат всего жизненного цикла индустриальной аквакультуры [19].

3.    Результаты экспериментов по видеоаналитике на производстве

Первичные данные для разработки и внедрения системы видеоаналитики при решении задачи подсчета рыбы, ее массы при пересадках, отгрузке, приеме в цех переработки были получены в рамках сотрудничества компании «Остров», специализирующейся на выращивании форели и уделяющей серьезное внимание внедрению современных технологий автоматизации и искусственного интеллекта в технологические процессы индустриальной аквакультуры.

Раз в неделю рыбоводная служба производит операцию навески рыбы, для этого устанавливается специальная емкость, предварительно наполненная водой, на весы и с помощью сачка в эту емкость перекладывается рыба партиями по 10 особей за одну итерацию. После каждой итерации производится запись показания весов, после чего повторяют эту операцию 4 раза. Затем общая масса делится на количество рыб и среднее значение используется в качестве значения массы рыбы в бассейне для дальнейшей корректировки прогнозов и плана кормления. При посадке рыбы компания знает количество полученного малька с заявления поставщика и производит раз в неделю по мере роста свои навески, а также ведет учет отходов, но реальные значения

Математика

не известны до момента потрошения рыбы в цеху. Метод навески рыбы имеет значительную погрешность из-за множества факторов, таких как:

• -    навески производятся до и после кормления;

• -    навеска производится с поверхности бассейна из одного места;

• -    в емкость для навески попадает дополнительная вода с сачка и рыбы, которая влияет на ко-

• нечные данные измерения;

• -    выборка из 40 особей при общем их количестве более 3 000 - слишком мала.

Вследствие этих факторов анализируемая выборка получается неоднородной и часто не представительной, поэтому задача автоматизации расчета биомассы рыб с минимизацией ручного труда и снижением влияния факторов инстинктивного поведения рыб является актуальной для рыбоводных предприятий. Примеры изображений показаны на рис. 2.

Рис. 2. Примеры изображений рыб: слева) в прозрачной трубе в водном потоке; справа) на конвейере и разделочной доске

Проведенные ранее компанией исследовательские работы по обработке изображений, снятых под водой, не дали положительных результатов, поэтому более детально были проанализированы процессы съемки рыбы в прозрачной узкой трубе, направляемой потоком воды, и на воздухе при движении на конвейере.

В первом случае были выявлены следующие негативные факторы, препятствующие регистрации качественного изображения. Рыба, действуя инстинктивно, плывет против течения, тем самым создавая заторы; из-за наложений друг на друга и невозможности даже человеческим глазом определить, где закончилась первая, а где начинается следующая рыба, невозможно правильно их пересчитать. Помимо этого, создается сильная вибрация, которая, в свою очередь, приводит к смазанным изображениям. Труба была не заполнена водой полностью, поэтому возникают волны, пузыри, брызги, и съемка рыбы получается в двух средах, что усложняет последующую обработку изображений. При движении рыбы по течению ее скорость становится достаточно высокой, что требует применения видеокамер с большей частотой кадров (60, 120 Гц).

Во втором случае съемка рыб производится на воздухе на конвейере в цехе переработки, также делались качественные снимки на разделочной доске с двух сторон в подвижном состоянии. Собран корпус из 20 000 изображений на конвейере и фотографий 1500 особей форели с двух сторон, необходимый для обучения моделей и оптимизации их параметров под разные виды задач видеоаналитики.

Ронжин А.Л., Ле В.Н., Оптимизация технологической карты допустимых Шувалов Н. системотехнических решений задачи видеоаналитики аквакультуры

Дальнейшие исследования будут направлены на разработку модельно-алгоритмического и программного обеспечения, необходимого для апробации предложенных математических моделей и оптимизации вариантов технологической карты функционирования системы видеоаналитики.