Региональная геоинформационная система оперативного космического мониторинга

Спутниковые системы дистанционного зондирования Земли позволяют осуществлять оперативный мониторинг состояния атмосферы и подстилающей поверхности на значительных по площади территориях. Получаемые большие объемы данных в видимом, ИК- и СВЧ-диапазонах стимулируют разработку эффективных информационных систем каталогизации, обработки и представления спутниковых данных. Такие системы позволят привлечь широкий круг пользователей к решению задач регионального спутникового мониторинга, исследовательских задач, а также обеспечить оперативными данными органы управления территориями.

В работе представлены результаты разработки геопортальной системы, использующей данные, получаемые в режиме реального времени cо спутниковых приборов MODIS/Terra, MODIS/Aqua, AIRS/AMSU-Aqua, VIIRS/NPP, а также восстановленные по ним геофизические продукты уровня 2 [1]. В серии наших ранних работ (см., например, [2, 3]) представлена модель построения хранилища данных большого объема, основанная на использовании нереляционного подхода разработки баз данных с помощью NoSQL-технологии. Программные модули, реализующие парадигму NoSQL, разработаны и внедрены в действующую геопор-тальную ситему. Целью статьи является анализ возможностей системы управления каталогизацией, обработкой и представления результатов спутниковых измерений с использованием web-технологий.

Архитектура и принцип работы специализированной ГИС

Для организации доступа пользователей к спутниковым данным была разработана гео-портальная система [2, 3], произведена ее интеграция с хранилищем спутниковых данных в формате HDF [1, 4]. Серверная часть системы разработана с использованием web-платформы Django. Данная платформа позволяет максимально атомизировать различные модули системы, что, в свою очередь, дает возможность производить модификацию отдельных компонентов, минимально влияя на остальные [3]. Принцип работы геопортальной системы представлен на рис. 1.

Пользователь с помощью web-интерфейса может получить как готовые карты с данными по региону, так и архивные – из каталога по интересующей его территории. После заполнения пользователем формы запроса, где ему нужно указать, с какого спутникового прибора, по какому региону и за какую дату ему нужны данные, формируется запрос, исходя из которого менеджер заданий создаёт задачу на обработку и представление информации. На этом этапе применяют возможности новой подсистемы асинхронного управления процессами обработки спутниковых данных, которая была разработана с использованием библиотеки Celery. Данная подсистема имеет следующие функциональные возможности:

• •    Выполнение заданий асинхронно или синхронно.

• •    Выполнение периодических заданий по заранее сформированному расписанию.

• •    Выполнение отложенных заданий.

• •    Распределенное выполнение (задание может быть запущено на нескольких серверах (worker-сервера)).

Рис. 1. Блок-схема работы геопортальной системы

• •    В пределах одного сервера возможно конкурентное выполнение нескольких задач (одновременно).

• •    Выполнение заданий повторно, если возникли какие-либо ошибки.

• •    Ограничение количества заданий в единицу времени.

• •    Мониторинг выполнения заданий. Для этого в панеле администратора геопортала предусмотрена данная возможность.

• •    Информирование о результатах выполнения заданий по электронной почте.

• •    Проверка завершенности задания.

Для интеграции Django c библиотекой Celery используется пакет django-celery, который предоставляет технологию Django ORM ( object-relational mapping ) для сохранения результатов выполнения заданий, а также автоматически находит и регистрирует задания Celery для приложений Django. На рис. 2 показана блок-схема работы подсистемы управления вычислительными процессами обработки спутниковых данных геоинформационной системы.

При выполнении задач обработки данных реализована возможность построения карт по регионам, которые могут только частично войти в область измерения спутникового прибора за один проход (гранула), другие запрашиваемые части могут войти в следующую или предыдущую гранулу, а также в гранулу другого спутника, имеющего аналогичную измерительную аппаратуру. Для решения задачи объединения гранул на основе библиотеки GDAL [5] разработана утилита для объединения данных различных HDF-файлов с последующей их конвертацией в формат Geotiff [2]. В панели администрирования реализована возможность формирования задач на обработку данных по произвольному расписанию, например, сразу после приёма данных.

Рис. 2. Блок-схема работы подсистемы распределения процессов обработки спутниковых данных

После преобразования данных в Geotiff для предоставления результатов обработки данных в геопортальной системе используется картографический сервер UMN MapServer, работающий в режиме WMS-сервера (Web Map Service). Это позволяет не только отображать карты-результаты с помощью web-интерфейса, но и использовать серверную часть геопортальной системы в качестве web-сервиса, способного предоставлять данные настольным ГИС-программам, например, таким, как QGIS, GRASS, ENVI и др. WMS – стандартный протокол для обслуживания через Интернет географически привязанных изображений, генерируемых картографическим сервером на основе информации из базы данных ГИС. Назначением WMS-сервера является обработка картографических запросов к ГИС, которая поставляет внешнему клиенту иерархию картографических слоев и растеризованное изображение карты.

При работе с хранилищем спутниковых данных геопортальная система не обращается напрямую к хранилищу, а запрашивает данные у подсистемы каталогизации. Для организации каталогов данных используется документная система управления базами данных MongoDB [6], реализующая нереляционную технологию построения баз данных NoSQL. Основной концепцией в документных базах данных является документ. База данных хранит и извлекает документы в форматах ХМL, JSON, BSON и др. Эти документы представляют собой само-описываемые иерархические древовидные структуры данных, которые могут состоять из ассоциативных массивов, коллекций и скалярных значений. Документные базы данных хранят документы в качестве значений в хранилищах типа «ключ-значение» [7]. Понятие «документ» в MongoDB можно интерпретировать как строку в таблице реляционных баз данных. Схема данных в разных документах может изменяться, но при этом разные документы могут принад- лежать одной и той же коллекции – в отличие от реляционных баз данных, в которых каждая строка в таблице должна иметь одну и ту же схему. Таким образом, если возникает необходимость изменить поля записей в документе (строке), которые описывают какие-либо характеристики файлов спутниковых данных, то достаточно отразить изменение в программном коде. Это позволяет произвольно добавлять любые параметры описания каких-либо файлов, не влияя при этом на общую структуру каталога. В процессе инициализации каталога данных используется утилита, основанная на компоненте gdalinfo библиотеки GDAL [5], которая дает возможность получать подробную информацию о файлах географических данных. На основе этой утилиты с использованием средств языка программирования Python был разработан специальный модуль, который на вход получает информацию о файловой системе хранилища спутниковых данных, в частности таблицу путей к сохраненным файлам. Затем рекурсивно заносит полученную информацию в каталог базы данных. На этапе работы с СУБД MongoDB используется библиотека PyMongo. Это разовая операция, после которой информация о новых данных просто дописывается в каталог. Обновление каталога происходит сразу же после приема данных с достаточно высоким временным разрешением (примерно несколько раз в сутки), и практически сразу данные могут быть доступны пользователям геопортала. Коллекция полей, описывающих информацию о файлах в хранилище данных, имеет структуру, подобную приведенной ниже:

{ «_id»:id записи каталога БД,

«product»: продукт,

«File»: / путь к файлу /,

«GRINGPOINTLATITUDE” : широта,

“GRINGPOINTLONGITUDE” : долгота,

“RANGEBEGINNINGDATE” : “2012-12-05” }

Рис. 3. Пользовательский web-интерфейс информационной системы

В примере показана лишь часть полей описания файлов в каталоге. Для хранения данных используется JSON/BSON-подобная схема данных по принципу «ключ-значение» [6, 7]. У каждой коллекции полей описаний есть свой индивидуальный идентификатор – id, который можно устанавливать программно. По умолчанию СУБД MongoDB генерирует их автоматически. Тем самым можно реализовывать выборки из каталога файлов по различным критериям, например, таким, как регион (широта, долгота), дата и время съёмки, качество данных, облачность и др.

Заключение

Интеграция web- и ГИС-технологий позволяет привлечь широкий круг пользователей для решения задач оперативного космического мониторинга. Для этих задач актуальна разработка технологий, позволяющих производить сбор измеренных значений и обработку всех поступающих в режиме реального времени потоков данных с последующей их каталогизацией и интеграцией с базами картографической информации.

В статье представлены результаты разработки геопортальной системы оперативного регионального космического мониторинга, сопряженной с каталогами данных дистанционного зондирования Земли, разработанных с использованием NoSQL-технологии. Новым элементом разрабатываемой системы является подсистема асинхронного управления вычислительными процессами обработки данных через web-интерфейс, созданная с использованием библиотеки Celery.