Создание специализированных, научно-информационных систем мониторинга на базе данных ДЗЗ региональных центров

Автор: Балашов И.В., Бурцев М.А., Лупян Е.А., Мазуров А.А., Прошин А.А., Толпин В.А., Уваров И.А., Раевич К.В.

Журнал: Журнал Сибирского федерального университета. Серия: Техника и технологии @technologies-sfu

Статья в выпуске: 5 т.12, 2019 года.

Бесплатный доступ

В статье приводится обзор информационных систем мониторинга различного уровня и направления, созданных на основе технологий ИКИ РАН с использованием данных дистанционного зондирования Земли (ДЗЗ). Обсуждаются проблемы и сложности, возникающие при реализации таких систем, анализируются предлагаемые и возможные перспективные решения.

Данные дистанционного зондирования, автоматизированные информационные системы, системы мониторинга окружающей среды

Короткий адрес: https://sciup.org/146281214

IDR: 146281214   |   DOI: 10.17516/1999-494X-0106

Текст научной статьи Создание специализированных, научно-информационных систем мониторинга на базе данных ДЗЗ региональных центров

Работы по развитию технологий создания таких систем в России активно ведутся в Институте космических исследований Российской академии наук (ИКИ РАН) с середины девяностых годов прошлого века. Основные возможности созданных ИКИ РАН технологий излагались в различных публикациях. Обзор их основных элементов представлен в работах [1, 2]. Следует отметить, что с использованием данных технологий сегодня создано и развивается более десятка крупных СДМ [3-9]. Практическое использование разработанных в ИКИ РАН технологий и опыт эксплуатации и развития различных СДМ, созданных на их основе, позволили проанализировать тенденции развития таких систем, разработать и реализовать новые подходы и инструменты, необходимые для их создания и эксплуатации.

В системах мониторинга составляющую часть, основанную на данных ДЗЗ, можно схематически представить в виде следующих элементов и блоков [1, 2]:

  • •    подсистема получения и предварительной обработки данных;

  • •    подсистема тематической обработки данных;

  • •    подсистема ведения архивов данных и продуктов тематической обработки;

  • •    подсистема представления и анализа данных;

  • •    блок управления и контроля работоспособности.

Подсистема получения и предварительной обработки данных

В этом блоке СДМ в последнее время произошли следующие изменения. В связи с ростом количества космических систем ДЗЗ нет возможности иметь в структуре каждой СДМ собственный центр приема. Фактически всю информацию, прошедшую первичную обработку, т.е. как минимум калиброванную и географически привязанную, возможно получать из крупных специализированных Центров приема и обработки данных по сети Интернет. Практически все поставщики данных как отечественных, так и зарубежных космических систем ДЗЗ предоставляют именно такую информацию либо для приема и обработки данных прямого сброса – пакеты программ предварительной обработки. Практически все Центры дают возможность автоматизации процесса оперативного скачивания данных по мере их поступления, а также из долговременных архивов.

Подсистема тематической обработки данных

Под тематической обработкой понимается получение неких количественных характеристик исследуемых объектов или явлений. Тут надо отметить, что в данном случае мы остановимся только на обработке многовременных серий данных. Такие обработки характерны для анализа изменений растительности, повреждений, деградации наземного покрова, имеющих долговременный характер. Или это сложные алгоритмы с применением дополнительной информации, или требующие длительного расчета.

Блоки тематической обработки разрабатываются для решения задач конкретных СДМ и носят специфическую направленность, не являясь в общем случае универсальными.

В частности, в созданных в ИКИ РАН системах мониторинга разработаны автоматические блоки создания многовременных композитов различного пространственного разрешения, блоки построения многодневных различных растительных индексов, блоки выделения гарей после лесных пожаров и др.

Создание таких продуктов тематической обработки – процессы ресурсоемкие, и выполняются они на специализированных комплексах автоматической обработки данных [10]. Это также доказвает, что создание таких продуктов желательно проводить на мощностях крупных Центров, получая в СДМ результаты обработки [1, 2].

Подсистема ведения архивов данных и продуктов тематической обработки

Один из ключевых элементов любой СДМ – подсистема архивации данных. Фактически эта система есть связующее звено всех блоков СДМ. Основным фактором, определяющим сегодня выбор подходов и методов построения архивов СДМ, как отмечалось выше, является быстрый рост объемов спутниковой информации. Это приводит к тому, что в конечном итоге при построении СДМ приходится отказываться от традиционного пути использования данных ДЗЗ – получения (сбор) всевозможных данных из различных источников и помещения их в собственные архивы СДМ. В результате приходится существенно ограничивать либо СДМ в составе используемых данных, либо создавать и поддерживать собственные огромные и дорогостоящие мощности хранения. И тот и другой путь имеет очевидные недостатки. На наш взгляд, наиболее разумно использование распределенных систем хранения данных, возможность работы с которыми сегодня предоставляют многие поставщики информации и центры приема, обработки и архивации данных ДЗЗ [11]. В этом случае СДМ подписывается не на возможность получения всего необходимого потока данных, а на возможность online-получения информации из архивов поставщиков в любой момент времени, когда это необходимо СДМ и ее пользователям. При таком подходе СДМ может сосредоточиться на ведении только своих собственных специальных архивов данных, получаемых в результате специальной тематической обработки, создаваемой в своих интересах.

Еще одним существенным фактором схемы построения архивов данных СДМ признано то, что сегодня активно развиваются новые технологии анализа данных ДЗЗ и результатов их обработки. В частности, появляются возможности создания достаточно сложных инструментов обработки и анализа данных ДЗЗ [1, 2, 10, 12], а также активно внедряются методы, позволяющие «на ходу» формировать и представлять пользователям различные информационные продукты [1, 2]. Все это требует такой организации архивов данных ДЗЗ, которая могла бы обеспечить возможность быстрого доступа к данным как из пользовательских интерфейсов, так и для процедур обработки данных. Следует также отметить, что во многих случаях СДМ становятся не только потребителями различной информации, но и поставщиками ее в другие СДМ, поэтому создающиеся архивы данных должны обеспечивать возможность работы с хранящейся в них информацией как для внутренних пользователей конкретной СДМ, так и для внешних пользователей.

Для эффективной работы с данными системы архивации сегодня должны обеспечивать хранение и работу не только с самими данными и устоявшимся сопровождающим набором метаданных (калибровки, качество, где и когда получены и т.д.), но и с информацией о том, какие продукты (в том числе и «виртуальные», т.е. получаемые на лету на мощностях СДМ) могут быть получены на основе этих данных, в том числе с описанием схем (алгоритмов) получения таких продуктов. Такой подход получения легких по вычислениям продуктов в несколько раз – 513 – освобождает объемы хранения данных. Однако, конечно, несколько удлиняет время работы интерфейсов. Тем не менее в данном случае не стоит ожидать внезапного массового поступления запросов к серверу, и по критерию системы со временем можно понять, насколько надо увеличить вычислительные мощности СДМ для уверенной работы без значительных задержек.

Подсистема представления и анализа данных

В настоящее время можно выделить несколько основных факторов, наиболее сильно влияющих на технологии создания и развития этих подсистем.

Первым фактором, безусловно, является то, что одним из основных инструментов для обеспечения работы с данными пользователям служат web-интерфейсы [13]. С одной стороны, это накладывает некоторые ограничения на функциональность работы с данными, а с другой – дает неоспоримое преимущество перед традиционно используемыми настольными приложениями. Такие преимущества связаны в первую очередь с простотой их актуализации и отсутствием необходимости закупать и поддерживать значительное количество лицензий, обычно нужных для создания и работы настольных приложений (например, ГИС).

Вторым фактором, который во многом позволяет снять недостатки, связанные с использованием в СДМ web-интерфейсов как базового решения, признано то, что в последние годы активно ведутся работы по созданию подходов, позволяющих разрабатывать достаточно сложные инструменты распределенного анализа данных с применением различных интернет-технологий [1, 2, 14, 15]. Следует ожидать, что в ближайшие годы большинство СДМ практически полностью перейдет на использование web-интерфейсов для обеспечения представления пользователям доступа к различной информации и проведения ее анализа.

Третьим существенным фактором является то, что в последние годы достаточно быстро совершенствуются технические возможности, позволяющие обеспечить online-доступ к данным внешних информационных систем, в том числе и к ресурсам поставщиков данных ДЗЗ. Это дает возможность работать в интерфейсах конкретных СДМ с информацией, получаемой из разных источников на момент запроса. Вследствие развития подобных технологий сами СДМ имеют сегодня достаточно большие возможности предоставления формируемой ими специализированной информации различным внешним пользователями. Таким образом, СДМ сами могут оказывать услуги по предоставлению различных информационных сервисов. Можно ожидать, что предоставление специализированной информации, полученной на основе данных ДЗЗ, будет достаточно быстро развиваться в ближайшие годы [16, 17].

Блок управления и контроля работоспособности

В связи с тем, что в последние годы действительно достаточно сильно эволюционировали подходы к созданию и развитию СДМ, новые задачи и функции возникли и у технологий, направленных на построение блоков управления и контроля работоспособности СДМ. Фактически инфраструктура большинства СДМ стала распределенной, увеличилось число используемых источников информации и архивов данных, а также процедур обработки и представления данных. Все это, безусловно, требует повышения уровня автоматизации процессов контроля работоспособности, а также создания технологий автоматизированного выявления и диагностирования сбойных ситуаций [18, 19].

Организация региональных систем на базе рассмотренного инструментария

Информационная система «ВЕГА-Приморье» разработана и поддерживается АНО «Общество дикой природы», ООО «ИКИЗ» и Институтом космических исследований Российской академии наук (ИКИ РАН) в качестве пилотного проекта по организации комплексного космического мониторинга лесов Приморского края.

Проект инициирован соглашением о сотрудничестве между АНО «Общество дикой природы», ООО «ИКИЗ», ИКИ РАН и администрацией Приморского края от 22 декабря 2015 г., устанавливающим отношения стратегического партнерства в области использования технологий дистанционного зондирования из космоса для комплексного мониторинга лесов Приморского края с целью обеспечения максимально полного применения их ресурсно-экологического потенциала, повышения эффективности их охраны, защиты и использования, сохранения уникального биологического разнообразия лесной флоры и фауны.

Информационная система «ВЕГА-Приморье» призвана обеспечить широкое применение технологий дистанционного зондирования из космоса для комплексного мониторинга лесов Приморского края с целью:

  • •    получения актуальной и объективной информации о лесных ресурсах;

  • •    информационной поддержки процессов принятия управленческих решений по мониторингу и тушению лесных пожаров путем оперативной оценки угроз и определения потенциального ущерба от пожаров лесным ресурсам, лесной фауне и флоре;

  • •    повышения эффективности лесопатологического мониторинга, мониторинга лесопользования, учета охотничьих ресурсов и редких видов животных Приморского края.

Одновременно с решением региональных задач «ВЕГА-Приморье» призвана служить технологическим прототипом развития Информационной системы дистанционного мониторинга Федерального агентства лесного хозяйства - ИСДМ-Рослесхоз - придания ей функций комплексного мониторинга лесов на всей территории страны.

В настоящее время проводится тестовая эксплуатация ИС.

Заключение

В статье рассмотрен обзор специализированных систем дистанционного мониторинга, основанных на данных ДЗЗ. Практическое использование применяемых технологий и опыт эксплуатации данного класса систем позволяют разрабатывать и внедрять новые подходы и инструментарии для обеспечения широкого применения технологий ДЗЗ в различных сферах хозяйственной деятельности.

Работа выполнена при поддержке ФАНО (тема «Мониторинг», госрегистрация № 01.20.0.2.00164).

Список литературы Создание специализированных, научно-информационных систем мониторинга на базе данных ДЗЗ региональных центров

  • Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., кашницкий А.В., кобец Д.А., крашенинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров И.А., Флитман Е.В. Создание технологий построения информационных систем дистанционного мониторинга. Современные проблемы дистанционного зондирования Земли из космоса, 2015, 12(5), 53-75
  • Лупян Е.А., Прошин А.А., Бурцев М.А., Балашов И.В., Барталев С.А., Ефремов В.Ю., кашницкий А.В., Мазуров А.А., Матвеев А.М., Суднева О.А., Сычугов И.Г., Толпин В.А., Уваров И.А. Центр коллективного пользования системами архивации, обработки и анализа спутниковых данных ИкИ РАН для решения задач изучения и мониторинга окружающей среды. Современные проблемы дистанционного зондирования Земли из космоса, 2015, 12(5), 263-284
  • Барталев С.А., Ершов Д.В., коровин Г.Н., котельников Р.В., Лупян Е.А., Щетинский В.Е. Основные возможности и структура информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз). Современные проблемы дистанционного зондирования Земли из космоса, 2010, 7(2), 97-105
  • Ефремов В.Ю., Гирина О.А., крамарева Л.С., Лупян Е.А., Маневич А.Г., Мельников Д.В., Матвеев А.М., Прошин А.А., Сорокин А.А., Флитман Е.В. Создание информационного сервиса «Дистанционный мониторинг активности вулканов камчатки и курил». Современные проблемы дистанционного зондирования Земли из космоса, 2012, 9(5), 155170
  • Лупян Е.А., Барталев С.А., Толпин В.А., Жарко В.О., крашенинникова Ю.С., Оксюкевич А.Ю. Использование спутникового сервиса ВЕГА в региональных системах дистанционного мониторинга. Современные проблемы дистанционного зондирования Земли из космоса, 2014, 11(3), 215-232
  • Лупян Е.А., Матвеев А.М., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Митягина М.И. Спутниковый сервис See the Sea -инструмент для изучения процессов и явлений на поверхности океана. Современные проблемы дистанционного зондирования Земли из космоса, 2012, 9(2), 251-262
  • Лупян Е.А., Милехин О.Е., Антонов В.Н., крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин В.А., Соловьев В.И. Система работы с объединенными информационными ресурсами, получаемыми на основе спутниковых данных в центрах НИЦ «ПЛАНЕТА». Метеорология и гидрология, 2014, 39(12), 89-97
  • Марченков В.В., Пырков В.Н., Черных В.Н., Солодилов А.В., Ермаков В.В. Перспективы комплексного использования современных спутниковых, информационных и коммуникационных технологий для решения задач отраслевой системы мониторинга рыболовства. Современные проблемы дистанционного зондирования Земли из космоса, 2012, 9(3), 299-306
  • Толпин В.А., Лупян Е.А., Барталев С.А., Плотников Д.Е., Матвеев А.М. Возможности анализа состояния сельскохозяйственной растительности с использованием спутникового сервиса «ВЕГА». Оптика атмосферы и океана, 2014, 27(7), 581-586
  • Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга. Современные проблемы дистанционного зондирования Земли из космоса, 2015, 12(1), 145-155
  • Прошин А.А., Лупян Е.А., Балашов И.В., кашницкий А.В., Бурцев М.А. Создание унифицированной системы ведения архивов спутниковых данных, предназначенной для построения современных систем дистанционного мониторинга. Современные проблемы дистанционного зондирования Земли из космоса, 2016, 13(3), 9-27
  • Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение систем, обеспечивающих динамическое формирование комплексных информационных продуктов на основе данных дистанционного зондирования. Современные проблемы дистанционного зондирования Земли из космоса, 2009, 6(2), 513-520
  • Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS). Современные проблемы дистанционного зондирования Земли из космоса, 2011, 8(3), 93-108
  • Acker J.G., Leptoukh G. Online analysis enhances use of NASA earth science data. Eos, Transactions American Geophysical Union, 2007, 88(2), 14-17.
  • Moore R.T., Hansen M.C. Google Earth Engine: a new cloud-computing platform for global-scale earth observation data and analysis. AGU Fall Meeting Abstracts, 2011, 1(2), 23-32.
  • Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А. Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах. Современные проблемы дистанционного зондирования Земли из космоса, 2015, 12(1), 156-170
  • Ramapriyan H.K. Development, Operation and Evolution of EOSDIS -NASA’s major capability for managing Earth science data. Presented at CENDI/NFAIS Workshop on Repositories in Science & Technology: Preserving Access to the Record of Science. Washington, 2011.
  • Сычугов И.Г., Прошин А.А. Детектирование и документация сбоев в работе распределённых информационных систем дистанционного мониторинга. Современные проблемы дистанционного зондирования Земли из космоса, 2014, 11(3), 233-245
  • Балашов И.В., Ефремов В.Ю., Мазуров-мл. А.А., Мамаев А.С., Матвеев А.М., Прошин А.А. Особенности организации контроля и управления распределенных систем дистанционного мониторинга. Современные проблемы дистанционного зондирования Земли из космоса, 2011, 8(3), 161-166
Еще
Статья научная