Инновационные информационные технологии в статистике

Государственная статистика – одно из важнейших звеньев в системе управления экономикой страны. Она изучает массовые явления в жизни общества, выявляет сложные взаимосвязи явлений, дает обоснованную оценку экономики страны.

В условиях широкой сети объектов статистического наблюдения, больших объемов решаемых задач и обрабатываемой информации при постоянно возрастающих требованиях к оперативности, достоверности и аналитичности отчетных данных применение современной вычислительной техники в органах государственной статистики является объективной необходимостью.

Внедрение современной вычислительной техники позволяет не только решить вопросы автоматизации статистических работ и тем самым снизить трудоемкость их выполнения, повысить оперативность и достоверность данных, но и создает предпосылки для дальнейшего совершенствования статистического наблюдения на базе более широкого использования экономико-математических методов для экономического анализа [3, с. 226].

Другое важное направление совершенствования автоматизации статистических работ связано с созданием больших методологически совместимых между собой интегрированных фондов статистических данных, охватывающих значительные периоды времени, и организацией быстрого и удобного доступа к хранящимся в них данным.

Создание таких фондов позволяет автоматизировать ведение динамических рядов статистики и использовать содержащуюся в них информацию для решения разнообразных аналитических задач и информационно-справочного обслуживания руководящих органов.

Электронная обработка статистических данных включает следующие основные программно реализуемые технологические этапы:

• -    сбор, ввод, контроль данных, поступающих от объектов наблюдения;

• -    формирование нормативно-справочной информации для обработки статистических данных;

• -    формирование сводных итогов и расчетных показателей, проведение взвешивания по заданным формулам, формирование массивов данных для передачи между уровнями системы, формирование с требуемыми статистическими данными.

Современные методы и средства электронной обработки статистической информации осуществляются на основе баз данных.

Базы статистических данных можно классифицировать на два типа, в зависимости от того, что принято за единицу хранения в базе данных:

• -    к документографическим относятся базы данных, в которых единицей хранения является документ, например, текст и т.д.;

• -    к фактографическим – базы данных, в которых единицей хранения является статистический показатель.

На основе унифицированного подхода к применению программного обеспечения построения статистических баз данных, унификации кодирования на базе общероссийских    классификаторов    создается    система    интегрированных информационных ресурсов.

В систему интегрированных информационных ресурсов входят следующие базы данных:

• -    автоматизированный банк классификаторов (АБК);

• -    база данных «Электронный каталог статистических показателей» (КСП);

• -    база данных «Генеральная совокупность объектов статистического наблюдения» (ГС);

• -    центральная база статистических данных (ЦБСД);

• -    оперативная статистическая база данных;

• -    отраслевые статистические базы данных; проблемно-ориентированные базы статистических данных.

Банк готовых документов БГД предназначен для многоуровневой системы "Статистика России". Федеральный уровень БГД содержит 18 баз данных. Информация имеет текстовую, табличную и графическую формы. Содержит статистические, экономико-аналитические, методические, нормативные и другие готовые документы. БГД включает широкие возможности телекоммуникации. Поиск информации в БГД осуществляется по многоуровнему на естественном языке.

Росстат применяемые в статистике информационные технологии классифицирует следующим образом:

• 1.    Технологии сбора и первичной обработки информации. Они включают организацию и процедуру сбора первичной информации от источников, предварительную обработку в региональных органах статистики, последующую передачу на федеральный уровень. При этом решаются задачи обеспечения качества информации. Для безбумажного сбора информации по статистике в территориальных подразделениях используются терминальные устройства сбора данных, связанные с ЭВМ. Автоматизируются наиболее трудоемкие этапы первичного ввода данных за счёт использования электронных методов сбора отчётности непосредственно от предприятий и применения автоматизированного сканирования.

• 2.    Телекоммуникационные технологии ориентированы на передачу данных внутри системы Росстат на уровне, соответствующем международным требованиям. Все региональные статистические комитеты работают в среде Интернета. С сайта Росстат имеются ссылки на соответствующие региональные страницы.

• 3.    Технологии хранения информации реализуют способы ведения информационных фондов и специализированных хранилищ; физического разделения первичной информации и информации, предоставляемой потребителям; поддержки

  распределённой совокупности неоднородных баз данных. Приоритетным направлением автоматизации статистических работ является создание и ведение центральной базы статистических данных. Банк документов “Статистика России” ведётся с июля 1998 г. Он является электронной версией официальных публикаций Росстат и территориальных статистических комитетов, и представляет многоуровневую систему, состоящую из блоков, формируемых на федеральном и региональных уровнях [2, с. 103].

• 4.    Технологии предоставления и распространения информации обеспечивают доступ широких слоёв пользователей к статистической информации независимо от места её нахождения.

Информационная база при решении регламентных задач создается по каждой отрасли статистики отдельно. Она состоит из фонда данных и справочного фонда,

Рисунок 1 – Структура массивов информационной базы регламентных задач

Фонд данных содержит массивы текущей исходной плановой информации, а также данные предыдущих отчетов. К фонду данных относятся также промежуточные данные, содержащие откорректированную информацию и являющиеся исходными для этапа содержательной обработки регламентных задач.

Справочный фонд представляет собой совокупность справочных данных и их описаний, используемых на различных этапах обработки в качестве постоянной информации в виде различных справочников, каталогов (справочников, содержащих призначную информацию), словарей (справочников, содержащих различные названия призначной информации), классификаторов и т.д.

При этом к инновационным информационным технологиям в статистике относятся:

• 1)    концепция построения баз данных как хранилища данных (Data Warehouse)

• 2)    оперативная аналитическая обработка (On-Line Analytical Processing, OLAP)

• 3)    интеллектуальный анализ данных – ИАД (Data Mining)

В основе концепции Хранилищ Данных лежат две основополагающие идеи:

• -    интеграция ранее разъединенных детализированных данных (исторические архивы, данные из традиционных СОД, данные из внешних источников) в едином Хранилище Данных, их согласование и возможно агрегация.

• -    разделение наборов данных используемых для операционной обработки и наборов данных используемых для решения задач анализа.

В основе концепции OLAP лежит принцип многомерного представления данных. Одновременный анализ по нескольким измерениям определяется как многомерный анализ. Каждое измерение включает направления консолидации данных, состоящие из серии последовательных уровней обобщения, где каждый вышестоящий уровень соответствует большей степени агрегации данных по соответствующему измерению [1, с. 86].

Цель Data Mining состоит в выявлении скрытых правил и закономерностей в наборах данных.

Современные технологии Data Mining перелопачивают информацию с целью автоматического поиска шаблонов (паттернов), характерных для каких-либо фрагментов неоднородных многомерных данных.

В заключение отметим, что российская статистика – это огромная трехуровневая система. На районном уровне осуществляется прием от респондентов статистической отчетности, ввод, контроль и передача ее по каналам связи на областной уровень. На областном уровне осуществляется обработка статистической отчетности и передача информации на федеральный уровень для последующей обработки.

Таким образом,   информационная система   Росстата   включает автоматизированные рабочие места специалистов районного уровня, соединенные каналами связи с областным уровнем, 82 локальных вычислительных сетей территориальных органов Росстата, соединенных скоростными каналами с ГМЦ Росстата и с центральным аппаратом Росстата и локальные вычислительные сети ГМЦ Росстата и центрального аппарата Росстата. Общее число автоматизированных рабочих мест сотрудников Росстата превышает 23 тысячи.