Анализ статистических информационных ресурсов и инструментов с использованием ГИС-технологии

Работа с данными – один из важнейших этапов развития компании и общества в целом. Без работы с данными не были б возможны выявления закономерностей и принципов, теорий и их доказательства. Работы с данными помогают науке, людям в их деятельности: от математиков до инженеров, от социологов до метеорологов и так далее. Поэтому важно иметь ресурсы, благодаря которым можно обработать свои данные, встроенные данные, и в дальнейшем выводить данные в определённом формате, нужный для эксперта по его задачам.

«Всегда, когда новая технология приживается, люди перестают обращать внимание на красочные рекламные обещания, появляется спрос на практичный и понятный дизайн. Тогда производители пересматривают дизайн и применяют к нему те же принципы, на которых был основан дизайн предыдущего поколения техники. Самые вопиющие ошибки допускают разработчики новейших технологий» [1].

В данной работе будут рассмотрены существующие аналитические решения по обработке данных, известные как статистические информационные ресурсы. Их функционал и недостатки, какие подходы есть в обработке и выводе данных. А также программные продукты с использованием технологии ГИС.

Статистические информационные ресурсы

«Официальная статистика является необходимым элементом информационной системы демократического общества, обеспечивая правительство, экономические круги и общественность данными об экономическом, демографическом, социальном и экологическом положении» [2].

«Официальная статистическая информация является общедоступной, за исключением информации, доступ к которой ограничен федеральными законами. Обеспечение доступа заинтересованных пользователей официальной статистической информацией к общедоступной официальной статистической информации осуществляется путем ее предоставления или распространения» [3].

Статистический информационный ресурсы – частный случай информационного ресурса. Под информационным ресурсом понимается долговременное хранилище, способ тиражирования и передачи смыслов, выраженных человеко-читаемыми и машиночитаемыми знаками, целенаправленно созданное для использования в качестве ресурса/средства определенной деятельности и потому имеющее ярко выраженные потребительские ценности, которые зачастую позволяют позиционировать этот продукт в качестве товара на www.rypravlenie.ru

том 16 № 2 (47), 2020, ст. 7

информационном рынке [4, стр. 5]. В нашей работе «смыслом» через рассматриваемые знаки являются различные виды статистики: от таблиц до отчётов, до растровых изображений и так далее. Поэтому под статистическим информационным ресурсом будем понимать информационный ресурс по работе со статистическими данными, то есть не только с входящими данными, но и с данными после проведения статистического анализа (рис. 1).

Рис. 1. Статистический информационный ресурс

Рассмотрим следующие статистические информационные ресурсы:

• -    FAOSTAT ( Food and Agriculture Organization Corporate Statistical Database );

• -    ILOSTAT ( International Labour Organization );

• -    UNSD ( United Nations Statistic Divition );

• -    IMF ( International Monetary Fund );

• -    UNECE ( United Nations Economic Commission for Europe ).

FAOSTAT

FAOSTAT известно под именем «Продовольственная и сельскохозяйственная организация ООН». Ориентируется на уничтожение голода по всему миру. В задачах ресурса

– оснащение статистических сведений для снабжения продовольственной безопасности и обеспечения доступа населения к высококачественной пище (рис. 2).

Рис. 2. FAOSTAT

ILOSTAT

ILOSTAT известно как «Международная организация труда». Оно предоставляет пользователям исчерпывающие международные данные по широкому кругу вопросов, связанных с трудовой деятельностью (рис. 3).

ILOSTAT

The leading source of labour statistics

Рис. 3. ILOSTAT

UNSD

UNSD известно как «Статистический отдел ООН». Оно собирает и распространяет глобальную статистическую информацию. Разрабатывает стандарты и нормы для статистической деятельности и поддерживают усилия стран по укреплению своих национальных статистических систем (рис. 4).

Рис. 4. UNSD

IMF

IMF известно как «Международный валютный фонд». Оно контролирует политику стран-членов, а также национальные, региональные и глобальные экономические и финансовые события с помощью формальной системы, известной как надзор (рис. 5)

том 16 № 2 (47), 2020, ст. 7

Рис. 5. IMF

UNECE

UNECE известно под именем «Европейская экономическая комиссия ООН». Оно способствует повышению эффективности ООН посредством регионального осуществления решений глобальных конференций и встреч на высшем уровне ООН (рис. 6).

UNECE

Рис. 6. UNECE

Каждый из рассматриваемых ресурсов имеют свои преимущества и недостатки. Были выбраны следующие критерии оценивания:

• -    экспорт изображения диаграмм;

• -    экспорт документов в виде диаграмм;

• -    экспорт данных;

• -    возможность самостоятельно делать диаграммы;

• -    интерактивный режим с ГИС.

В итоге была сформирована следующая таблица.

Таблица 1. Критериальная оценка ресурсов

	Экспорт изображения диаграмм	Эксперт документов в виде диаграмм	Экспорт данных	Возможность самостоятельно делать диаграммы	Интерактивный режим с ГИС
FAOSTAT	+	+	+	-	+
ILOSTAT	+	-	+	+	+
UN	-	+	+	-	+

	Экспорт изображения диаграмм	Эксперт документов в виде диаграмм	Экспорт данных	Возможность самостоятельно делать диаграммы	Интерактивный режим с ГИС
IMF	-	-	+	-	-
UNECE	+	-	+	-	+

Во время исследования рассматриваемых ресурсов были выявлены следующие недочёты разработки, можно их распределить по принципам удобного пользования продуктом:

• -    Принцип соответствия (то есть программный продукт делает те действия, которые пользователь не хотел, чтоб они были):

• -    Открывание нового окна или страницы браузера при попытке получения таблицы с графика;

• -    Блокировка страницы при долгом отсутствии действий пользователя;

• -    Перелистывание страницы вместо выпадающего списка с графика.

• -    Принцип обратной связи (то есть программа с запозданием выполняет действие, или не оповещает пользователя о том, что программа выполняет какие-то действия долго, или не выполняет действия вообще):

• -    Не работал выход из полноэкранного режима карты по кнопке на панели;

• -    Нет оповещения пользователя о пределе укрупнения или уменьшения рассматриваемого участка планеты для статистики.

• -    Отсутствие программных ограничителей (излишняя свобода действий для пользователя, из-за которых тот не способен вернуться к поставленной задаче):

• -    Чрезмерное укрупнение или уменьшение карты;

• -    Можно «спрятать» карту;

• -    Можно отобразить неограниченное количество графиков на одной диаграмме.

Оформление отчётов

Важно, чтоб данные были не только введены и обработаны, но и были выведены в вид, который требует пользователь в роли эксперта. Он может и не знать о деталях составления грамотного отчёта, но ему можно подсказать о возможностях, которые он не ожидал увидеть в продукте.

Одна из таких возможностей звучит следующим образом: «Reduce the non-data ink. Enhance the data ink» [5]. Смысл заключается в том, чтоб визуализация данных были не только хорошо читабельными в цвете, но и в чёрно-белых тонах. Ибо пользователи для распечатывания отчётов используют чёрно-белые лазерные принтеры. И для глубокого, Устойчивое инновационное развитие:  проектирование и управление [Электронный ресурс] / гл. ред. А.Е. Петров. – Дубна : 2008-2020. – ISSN 2075-1427. – Режим доступа: http://rypravlenie.ru/ www.rypravlenie.ru

том 16 № 2 (47), 2020, ст. 7

большого чтения предпочитают использовать электронные книги, которые в чёрно-белых тонах, а не цветные мониторы или смартфоны, портящие глаза.

Зачастую цветные графики не приспособлены под отчёты чёрных тонов (рис. 7).

Рис. 7. Демонстрация несоблюдения принципа с тонами

При работе с растровыми данными необходимо также этот принцип учитывать при разработке статистических карт. Далее рассмотрим с теории графов некоторые правила при выполнении данной задачи. В данном случае – отображение случая с теоремы о 4 красках на примере штатов континентальных США (рис. 8).

Рис. 8. Пример несоблюдения принципа с тонами на статистической карте

Была произведена попытка автором этого принципа о тонах отображения стран Африки по легенде чёрно-белого цвета [6]. В данном случае – работа со средней продолжительностью жизни мужского населения по странам. Как известно, есть шкала градиентная ( Continuous Color Scale ), а есть «по кускам» ( Binned Color Scale ), где в пределах данных значений – свой цвет (рис. 9). Первая требует много ресурсов для нахождения своего цвета, а второе соответственно – не требует.

том 16 № 2 (47), 2020, ст. 7

Рис. 9. Шкалы

Автор обратил внимание, что цвета стран северной Африки совпадают. И издалека покажется, что это одно большое государство, а не несколько государств поменьше (рис. 10).

Рис. 10. Проблема отображения северных стран Африки

Поэтому было предложено следующий вариант решения поставленной проблемы (рис. 11):

- Определить нижние и верхние границы рассматриваемых данных;

- Использовать масштаб для отображения данных по кускам;

- Внутри одного куска сделать «свою» градиентную шкалу (для различия одного участка от другого).

том 16 № 2 (47), 2020, ст. 7

Рис. 11.Решение проблемы отображения северных стран Африки

Разобрались, как по одной шкале отобразить отношение между странами. А если шкал много? Нужно делать несколько диаграмм для каждой шкалы. А если на одной, то как

тогда быть, без их суммирования? Было предложено следующее решение: гистограммы одна на другой по различным критериям. Но есть проблема: риск нехватки чернил на печати. Как тогда быть? Отметкой на границе между критериями в гистограмме (рис. 12).

Рис. 12. Отметки на границах критериев в гистограмме.

Технологии ГИС

После рассмотрения проблем статистических информационных ресурсов и подачи выходных данных, можно браться за разработку своего программного продукта.

Были на рассмотрение выбраны следующие компоненты для разработки и их продукты:

• -    Языки программирования:

• -    Python 3.7+;

• -    JavaScript;

• -    Java.

• -    Серверы для развёртки ГИС:

• -    MapServer;

• -    Geoserver.

• -    Система управления базами данных:

• -    MySQL;

• -    PostgreSQL;

• -    MongoDB.

• -    Система управления контентом для ГИС:

• -    Mapbender.

Рассмотрим продукты каждого компонента по сравнительной таблице:

• -    Языки программирования;

Таблица 2. Языки программирования

	Python	JavaScript	Java
Пакетный менеджер	PIP (встроенный)	NPM (требует установки NodeJS )	Через среду разработки
Рейтинг TIOBE	3	7	1
Модификации для ведения статистики и расчётов	Есть	Нет	Нет
Коммерческая привлекательность	Средняя	Средняя	Высокая
Фреймворк для разработки вебприложений	Python Django	AngularJS	SpringMVC

• -    Серверы для развёртки ГИС;

Таблица 3. Серверы для развёртки ГИС

MapServer Geoserver Написан    на    языке программирования С Java Наличие     встроенного портала    для    скачивания Есть Нет www.rypravlenie.ru

том 16 № 2 (47), 2020, ст. 7

	MapServer	Geoserver
дополнений
Внутреннее редактирование карты	Отсутствует	Присутствует
Ручной           способ редактирования карты	Своя   вариация   языка (. map )	Основан на вариации XML
Поддержка  современных стандартов картографирования	Слабая	Сильная

• -    Система управления базами данных:

Таблица 4. Система управления базами данных

Критерии	MySQL	PostgreSQL	MongoDB
Лояльность хостеров	Высокая	Низкая	Низкая
Наличие расширения  в  виде ГИС	Нет	Есть ( PostGIS )	Нет
Гибкость в плане хранения документов	Средняя	Средняя	Высокая
Модель организации       баз данных	Реляционная	Реляционная	Документоориентированная
Формат       по добавлению данных	SQL	SQL	JSON

• -    Система управления контентом для ГИС:

Так как ресурс – один из списка, рассмотрим его отдельно.

• -    Mapbender (рис. 13):

• -    Поддержка разметок для вёрстки сайтов;

• -    Работа с определениями по формату YAML;

• -    Поддержка библиотек для вёрстки веб-ГИС: OpenLayers, jQuery, MapQuery;

• -    Работа с языком PHP;

• -    Возможность написания документации по ресурсу посредством Git.

  

  Рис. 13. Пример города Wiesbaden на Mapbender

  
  

Заключение

Статистическая информация имеет огромное значение при принятии решений в экономике, проведении научных исследований и в образовании.

«Человек учится намного быстрее и лучше, если информация, необходимая для выполнения задачи, либо находится в готовом виде в окружающем мире, либо передается через ограничители» [1].

В итоге было проведены научно-исследовательские работы по статистическим информационным ресурсам, по принципам грамотного составления отчёта и по инструментам с технологиями ГИС.

Объективность и Общедоступность [Электронный ресурс] – Электрон. текст. – Режим доступа:  https://unstats.un.org/unsd/methods/statorg/fp-russian.pdf, свободный (дата обращения: 10.06.2020).