Математическое моделирование рекомендательной системы и обработка данных телекоммуникационной компании с помощью моделей машинного обучения

Цель исследования: разработка методов моделирования данных для разработки рекомендательных алгоритмов с использованием дважды стохастических авторегрессионных моделей случайных процессов и проверка их адекватности путем применения алгоритмов машинного обучения для кластеризации пользователей в имитируемом наборе данных и прогнозирования вероятностей интереса. Методы исследования. В статье рассмотрены методы, используемые при построении рекомендательных систем. При этом рассмотрена задача моделирования поведения пользователей с помощью дважды стохастической модели. Данная модель предложена для генерации искусственных данных. Дважды стохастическая модель позволяет генерировать нестационарные процессы, таким образом, создает пользователей с разными вероятностными свойствами в разных группах объектов интереса. После этого искусственно созданные пользователи (и их активность) кластеризуются на основе модифицированного алгоритма K-средних. Основная модификация заключается в необходимости автоматической предварительной оценки числа кластеров, а не его выбора человеком. Далее моделируется поведение представителей каждой группы пользователей для новых событий. На основе сгенерированной информации и обучающих данных решается задача прогнозирования и ранжирования предлагаемых услуг. При этом на первом этапе использования регрессионных моделей достаточно для отнесения пользователя к группе и формирования предложений данному пользователю. Результаты исследования. На обучающих данных в 2 кластерах были достигнуты высокие индексы детерминации, что говорит примерно о 90 % объясненной дисперсии при использовании предложенной дважды стохастической модели. Особое внимание уделено работе современных рекомендательных систем на примере системы «Диско» от Яндекс. Кроме того, выполнена предобработка и предварительный анализ данных реального сектора, а именно: исследуются данные телекоммуникационной компании. С целью выдачи релевантных предложений по услугам связи разработана тестовая рекомендательная система. Заключение. Таким образом, к основным результатам работы относится математическая модель, симулирующая реакцию пользователей на различные услуги, а также модель логистической регрессии, используемая для прогнозирования вероятности заинтересованности пользователя новой услугой. На основе прогнозируемых вероятностей не составляет труда ранжирование новых предложений. Апробация на синтезированных данных показала высокую эффективность модели.