Технология формирования и анализа данных здоровья населения Азиатского Севера

Азиатский Север России занимает большу̀ю по площади территорию страны, географические, климатические, социальные условия которой можно оценить как неблагоприятные. В этом районе наблюдается недостаточность солнечной радиации, редкая рекреационная сеть, крайне неразвитая инфраструктура и невысокая плотность населения. Экономический интерес России к данным районам связан с тем, что их территория рассматривается как источник для социально-экономического роста страны [1].

В районах Азиатского Севера осуществляется интенсивная разведка и освоение залежей углеводородов [2]. Разработана и утверждена президентом России «Стратегия развития Арктической зоны Российской Федерации и обеспечения национальной безопасности на период до 2020 года» [3]. При этом требуется проводить постоянный мониторинг за состоянием окружающей среды, выявлять влияние различных техногенных и антропогенных факторов на здоровье как коренного, так и пришлого населения обозначенной территории.

В настоящее время, отсутствуют какие-либо стандартизованные технологии и подходы, позволяющие достаточно просто агрегировать и анализировать разнородные и разноформатные данные. Это обуславливает важность создания и практического применения технологических решений для обобщения гетерогенных данных их мониторинга и выявления влияния активной хозяйственной деятельности, загрязнения атмосферного воздуха, воды на здоровье населения. Применение подобного рода систем позволит прогнозировать демографический и трудовой потенциал для указанной территории.

В работе предлагается технология, предоставляющая возможности сбора гетерогенных данных из источников, представленных в различных форматах, а также обеспечивающая их надёжное хранение, предоставления к ним избирательного доступа через сеть Интернет и проведение анализа. При этом предлагается использовать сервисный подход для формирования и обработки данных. Реализация аналитических функций в виде сервисов позволяет обеспечить не только отображение результатов анализа данных в виде таблиц и тематических карт, но и предоставить возможность обрабатывать сторонние данные.

• 1.    Источники данных

Для проведения исследовательских работ, в Восточно-Сибирском институте медико-экологических исследований (ВСИМЭИ) собраны статистические данные по заболеваемости населения на территориях ЯмалоНенецкого автономного округа (АО) по социально-значимым классам и нозологическим формам болезней.

Данные включают информацию о категории заболевания, нозологическим формам, местности и периода в которых были зафиксированы случаи социально-значимых классов заболеваний. Собранный массив данных является ценным источником информации для анализа здоровья населения на территории Азиатского Севера

Основным источником для наполнения базы данных являлся Территориальный орган государственной статистики по Ямало-Ненецкому АО. Данные прошли предварительную обработку, к ним был применен персентильный [4] метод исследования для изучения заболеваемости.

Предполагается, что в данные могут также поставляться медицинскими и статистическими учреждениями, метеорологическими службами и т.п.

Например, в базу данных (БД) может быть загружена дополнительная информация о состоянии погодных условий в исследуемой местности, загрязнении атмосферного воздуха, воды и т.п. Это позволит поддерживать информацию в наиболее актуальном состоянии и выявлять зависимости между заболеваемостью, её формами и другими, различными факторами, косвенно связанными с качеством жизни.

Для корректной обработки данных, полученных из различных источников, требуется применять методы реконсиляции, трансформации с целью представления их в реляционном виде. Это также обеспечивает возможность применять к нормализованным и очищенным данным разнообразные методы анализа.

Процедура очистки данных позволяет выявить и, в ряде случаев, исправить ошибки и несоответствия в сырых (пользовательских) данных. Такими ошибками являются как дублирование, опечатки, ненужные префиксы, противоречия, пропуски, и т.п. Целью очистки является улучшение качества данных.

Собранная ВСИМЭИ информация [5] организована в виде набора таблиц БД Microsoft Access, модель которой представлена на рис. 1.

Перед загрузкой в интегрирующую БД информация также требует проведения нормализации и очистки.

Рис. 1. Модель базы данных

Технология формирования данных

В Институте динамики систем и теории управления имени В.М. Матросова Сибирского отделения РАН (ИДСТУ СО РАН) в сотрудничестве с ВСИМЭИ разработана и апробирована технология обеспечивающая сбор и анализ данных, использующая систему ввода и редактирования реляционных данных «Фарамант» [6]. Работа системы «Фарамант» основывается на модели документа. Данная модель включает три компонента: описание структуры данных; отображение данных; логика работы формы. На основе модели документа создается таблица в СУБД PostgreSQL, формируется форма ввода и отображение данных в виде таблицы. Все этапы технологии выполняются пользователем с помощью браузера. Пользователь должен загрузить документ, представляющий электронную таблицу в систему. Идентификация таблицы будет осуществлена автоматически.

Технология включает следующие этапы:

• 1)    загрузка данных;

• 2)    определение модели данных;

• 3)    импорт данных в созданные таблицы;

• 4)    разработка форм ввода, определение логики;

• 5)    анализ данных.

Рассмотрим подробнее этапы технологии, с использованием системы ввода и редактирования реляционных данных «Фарамант».

Загрузка данных

Для осуществления удаленной загрузки данных были разработаны специализированные оригинальные сервисы – файловый менеджер, по-16

зволяющий производить все основные операции с файловой системой на сервере через браузер пользователя, а также выполнять загрузку и выгрузку документов с компьютера пользователя. Операции проводятся по протоколу HTTP. Также реализована возможность работы по протоколу FTPS (File Transfer Protocol + SSL).

Для каждого пользователя предусмотрен собственный каталог. Доступ к документам пользователя возможен в соответствии с определенной ему ролью. Это позволяет обеспечить защиту доступа к документам пользователей.

На текущем этапе реализована возможность загрузки в БД электронных таблиц, представленных в формате CSV.

Модель данных и права доступа

Предусматривается, что пользователь будет загружать данные в виде отдельных документов. Однако, в дальнейшем, требуется их представление в виде совокупности реляционных таблиц, представленных в третьей нормальной форме. Это является представлением модели данных.

Для описания модели данных пользователю необходимо определить название таблицы и указать список ее полей. Для каждого поля необходимо задать его название, а также специфицировать связанный с ним элемент управления (реализующий ввод/редактирование данных поля). Такого рода элементами могут быть «календарь» для ввода данных типа «дата», «текст» для ввода многострочного текста. В БД, как правило, используются различные классификаторы. Для ввода атрибутов, ссылающихся на таблицы БД без иерархической зависимости, применяется специализированный элемент «classify». При этом классификаторы могут, как содержаться в БД, так и быть загружены пользователем до загрузки основной таблицы. При этом, значения в загружаемом документе должны иметь соответствие со значениями в классификаторе.

Для загруженных в реляционные таблицы данных пользователь определяет права доступа к ним. Рассмотрим механизм предоставления доступа к данным. Первоначально доступ к таблице имеет только её владелец. В ИС имеется три группы пользователей: незарегистрированный пользователь, любой зарегистрированный в системе пользователь и определенный список пользователей. Для каждой группы можно регламентировать следующие операции:

• •    просмотр своих записей;

• •    просмотр всех записей;

• •    редактирование своих записей;

• •    редактирование всех записей.

Данное разграничение позволяет достаточно полно разграничить права доступа к информации, содержащейся в ИС. Это обеспечит предоставление доступа к материалам ИС с учетом требований пользователей, обеспечивать сохранность авторских прав.

Нормализация данных

При обработке данных, полученных из различных источников, часто требуется проведение их нормализации, т.е. приведение к простым типам данных, представленных в полях таблицы, а также привязка значений к справочникам (если это определено структурой таблицы). Необходимость нормализации продиктована наличием опечаток, измененной последовательности слов в названии, различными форматами записи дат, разделителей и т.п.

Для решения поставленной задачи авторами были разработаны сервисы, обеспечивающие нормализацию данных в полуавтоматическом режиме.

Исходя из указанной пользователем структурной информации, относительно типов загружаемых данных для проведения нормализации применяются различные методы. Если пользователь указал, что поле содержит справочные данные, то происходит сопоставление значений этого поля со стандартными справочниками с применением методов нечеткого сравнения строк, алгоритмов фонетического сопоставления. В случае невозможности установить соответствие между данными пользователя и данными из классификатора строка может быть проигнорирована либо пользователь может вручную сопоставить значение.

В случае, когда поле является единицей измерения возможно применение методов приведения «сырых» данных, основанных на правилах преобразований единиц измерения. Данный подход позволяет автоматически приводить измерения в нужную пользователю шкалу, например, из дюймов в метры.

При загрузке других данных в таком же формате пользователь может повторно использовать составленную им ранее структурную спецификацию.

Значения, содержащие пространственную информацию, подвергаются геокодированию и привязке к базовым пространственным данным.

Создание форм ввода данных

После создания таблицы система «Фарамант» автоматически создает форму заполнения. Это обеспечивает возможность ручного ввода, редактирования и дополнения данных. Для ввода каждого атрибута используются определенные в модели элементы управления. Элементы управления отображаются в соответствии с порядком следования атрибутов в таблице. Пользователю доступно модификация дизайна формы вво-да/редактирования. Для этого требуется создать её шаблон. Под шаблоном формы понимается – это HTML код с указанием положения вставки элементов управления данными. Шаблон может быть создан в любом текстовом редакторе.

Указание месторасположения элементов управления задается при помощи специальных дескрипторов вида «#fieldname#», где fieldname это имя атрибута в БД, либо с помощью HTML тегов