Использование технологии больших данных для исследования продовольственного рынка

В современных условиях реализации политики импортозамещения особое внимание следует обратить на развитие российского продовольственного рынка за счет внутренних резервов страны. Это развитие должно быть основано на тщательном планировании объемов производства и потребления сельскохозяйственной продукции, сырья и продовольствия, которое в свою очередь опирается на анализ продовольственного рынка. Чем более точно проведен анализ, чем большее количество данных было исследовано, тем точнее будут планы и прогнозы развития рынка [1].

По мнению авторов, исследование и прогнозирование развития продовольственных рынков целесообразно проводить на основе метода фазового пространства. Использование фазовых портретов позволит выполнить исследование особенностей развития рынка продовольствия посредством выявления устойчивых состояний для ключевых (основных) временных рядов.

Метод фазового пространства заключается в исследовании динамических систем на основе изучения их возможных движений в фазовом пространстве. Этот метод позволяет представить развитие экономической системы во времени как кривую в фазовом пространстве [4].

Основной проблемой практического использования метода фазового пространства применительно к анализу продовольственного рынка является необходимость накопления и обработки больших массивов данных в режиме реального времени [2]. По нашему мнению, решением этой проблемы может стать применение технологии Больших Данных (Big Data), которая на сегодняшний момент, является одним из ключевых драйверов развития информационных технологий. Технология Больших Данных характеризуется следующими признаками:

• -    использование новых подходов и усовершенствованных инструментов для обработки больших объемов информации, который трудоемко обрабатывать и хранить традиционными способами;

• -    высокая скорость обработки данных в реальном времени;

• –    многообразие, т.е. возможность одновременной обработки структурированной и неструктурированной разноформатной информации;

• –    обеспечение достоверности данных;

• –    определение степени важности или влиятельности накопленной информации.

Можно выделить три типа задач, решаемых с помощью Big Data: хранение и управление данными, обработка неструктурированной информации, анализ данных.

Big Data обычно хранятся и организуются в распределенных файловых системах, то есть на нескольких (иногда тысячах) жестких дисках, на стандартных компьютерах. Так называемая «карта» (map) отслеживает, где хранится конкретная часть информации. Для обеспечения отказоустойчивости и надежности, каждую часть информации обычно сохраняют несколько раз. С помощью стандартного оборудования и открытых программных средств для управления этой распределенной файловой системой (например, Hadoop), сравнительно легко можно реализовать надежные хранилища данных в масштабе петабайт [3].

Большая часть собранной информации в распределенной файловой системе состоит из неструктурированных данных. Это имеет свои преимущества и недостатки. Преимущество состоит в том, что возможность хранения больших данных позволяет сохранять “все данные”, не беспокоясь о том, какая часть данных актуальна для последующего анализа и принятия решения. Недостатком является то, что в таких случаях для извлечения полезной информации требуется обработка этих огромных массивов данных. Технологии Больших Данных разработаны таким образом, чтобы гарантировать, что массивы данных будут доступны для анализа [3].

Методы анализа, используемые в Big Data, достаточно разнообразны и их набор постоянно расширяется. Помимо уже упомянутого выше анализа временных рядов, для исследования продовольственного рынка также могут использоваться методы имитационного моделирования, пространственного анализа, прогнозной аналитики и др.

Большие Данные получили широкое распространение во многих отраслях экономики. Их используют в здравоохранении, телекоммуникациях, торговле, логистике, в финансовых компаниях, а также в государственном управлении. В ряде стран они используются для решения вопросов национального масштаба. В России данные технологии стали осваивать Пенсионный Фонд, Федеральная Налоговая Служба и Фонд обязательного медицинского страхования. Многие зарубежные и отечественные предприятия успешно применяют их для проведения маркетинговых кампаний.