Теоретические и практические аспекты построения рекомендательных моделей: типология, архитектура и направления проектирования

Эта работа © 2024 Соколов А.В., Сычев И.А., Соколова О.Л., Волкова Д.Б., Селетков И.П., Яшичев Д.Л., Ясницкий Л.Н. распространяется под лицензией CC BY 4.0. Чтобы просмотреть копию этой лицензии, посетите

Сегодня популярность рекомендательных систем на цифровых платформах и сервисах растет. Эффективные системы рекомендаций, предоставляющие наиболее точные подборки, способны увеличивать вероятность положительного отклика и роста лояльности со стороны пользователей платформы. Рекомендательные системы оцениваются через различные метрики, каждая из которых фокусируется на определенном аспекте качества рекомендаций: полнота, новизна, разнообразие, serendipity [4]. Однако существуют проблемы, которые снижают эффективность рекомендательных систем. Они связаны с недостаточным учетом индивидуальных предпочтений пользователей, неактуальностью используемых данных, недостатком разнообразия предлагаемых рекомендаций, отсутствием учета контекста и обратной связи от пользователей, а также сложностью применяемых алгоритмов и скудностью данных о пользователях [1–3].

Целью работы является обзор и анализ существующих рекомендательных систем, включая изучение применяемых алгоритмов и выявление основных тенденций в их развитии. В рамках исследования планируется определить перспективные направления для проектирования рекомендательной системы, оптимизированной для сервиса предзаказа и доставки RapiDo.

Сервис RapiDo представляет собой платформу для онлайн-заказа товаров и услуг с последующей доставкой их до пользователя. Рекомендательная система в таком сервисе должна учитывать все доступные данные и непрерывно обучаться, предлагая не только рекомендации аналогичных товаров или услуг, но и прогнозируя виды позиций, которые могут заинтересовать пользователя. Кроме того, система должна быть адаптирована для пуска при холодном старте.

Для достижения поставленных целей авторами был проведен анализ типов рекомендательных систем с теоретической и практической точек зрения, а также исследованы существующие рекомендательные системы крупнейших российских платформ на основе нейронных сетей, рассмотрены фактические проблемы, с которыми сталкиваются такие сервисы и выделены направления проектирования рекомендательной системы сервиса RapiDo.

1.    Обзор типов существующих рекомендательных систем

Проанализировав научные публикации российских авторов [5–7], можно заключить, что вопрос типологии рекомендательных систем освещен в российской литературе недостаточно. В свою очередь, количество зарубежных публикаций, посвященных различным предметным областям и теоретическим аспектам рекомендательных систем, существенно выше и продолжает расти [8–9]. Наиболее точное, на наш взгляд, описание типов рекомендательных систем представлено в работе A survey on Modern Recommendation System Based on Big Data [10]. В статье классифицируют рекомендательные системы в соответствии с четырьмя типами: контент-ориентированные, колла-боративные, основанные на знаниях и гибридные.

Контент-ориентированная рекомендательная система или система с фильтрацией содержимого (content-based filtering) сравнивает предпочтения пользователя по двум направлениям: как по профилю пользователя, рассматривая наборы его предпочтений, демографическую и иную информацию, так и по профилю объекта, где отражен набор его характерных свойств и особенностей, например, при подборе блюд необходимо учитывать направление кухни, категорию блюда, вкусовые характеристики, основной состав, калорийность, уровень заведения и иные особенности объекта [11].

Коллаборативная рекомендательная система или система рекомендаций на основе коллаборативной фильтрации (collaborative filtering) представляет собой алгоритм, который сопоставляет профиль пользователя с профилями других пользователей, определяя профили с аналогичными предпочтениями, и предполагает, что выявленные предпочтения могут быть полезными для данного пользователя.

Система рекомендаций, основанная на знаниях (Knowledge-Based Filtering), относится к типу рекомендательных систем, основанных на предварительных знаниях о предпочтениях пользователя, как в контексте контент-ориентированного подхода, так и кол-лаборативного. Однако такой подход требует наличия исторической информации о пользователе. Например, если компания имеет партнерские отношения с другими сервисами, которые собирают информацию о предпочтениях пользователей, при запуске нового сервиса она может использовать все доступные данные о конкретном пользователе для формирования для него персональных рекомендаций [12].

Гибридная рекомендательная система (Hybrid Filtering) может сочетать в себе различные типы систем, описанные выше, или использовать их комбинацию. На данный момент не существует универсального подхода или рекомендаций по комбинированию этих типов. Все зависит от конкретной задачи и желаемого результата.

С точки зрения авторов, рассмотренные типы рекомендательных систем не учитывают некоторые факторы, например, предпочтительные место и время. Так, если пользователь желает пообедать в кафе и его обеденный перерыв ограничен по времени, он с высокой долей вероятности выберет заведение, расположенное рядом с местом работы. Если тот же пользователь принял решение поужинать в заведении, то местоположение в данном случае уже будет менее значимым фактором, а большее внимание будет уделяться предпочтениям в отношении кухни заведения, его формата и специальных предложений. Скидки и акционные предложения от заведений, а также события, связанные с определенными датами, также не учитываются ни одним из рассмотренных выше типов систем.

Особенную сложность вызывает проектирование рабочих процессов системы на "холодном старте" когда стартовые данные о пользователи крайне скудны. Холодный старт представляет собой процесс первоначального построения и обучения систем, когда еще нет исторических данных о предпочтениях пользователей или информации о покупках, что является одной из ключевых проблем, с которыми сталкиваются разработчики систем искусственного интеллекта, особенно в контексте глубокого обучения. С точки зрения нейросетей, холодный старт представляет собой процесс инициализации весов и смещений нейронных сетей, который определяет начальную точку для обучения и влияет на его эффективность и стабильность.

Для оптимизации процесса холодного старта могут быть использованы следующие механизмы. Адаптивное обучение, где рекомендательная система может обучаться на основе обратной связи от пользователей, в режиме реального времени пользователь знакомит систему со своими предпочтениями и интересами, чтобы в последующем система сразу рекомендовала то, что может ему понравиться. Коллаборативная фильтрация на основе демографических данных, которые пользователи указывают при регистрации (пол, дата рождения и местоположение). При этом выделяют два основных подхода к применению демографической информации о пользователе: экспертным образом, когда составляются стереотипы для различных демографических категорий самим экспертом, который определяет, что на холодном старте показывать каждой из категорий, и выявление демографических категорий методом кластеризации [13]. Гибридные механизмы, когда различные методы могут быть объединены для улучшения точности и стабильности предсказаний. Например, коллаборативную фильтрацию используют вместе с глубоким обучением.

Кроме того, авторы готовы протестировать гипотезу о возможном влиянии времени года, месяца рождения и знака зодиака пользователя на его предпочтения при выборе того или иного блюда на холодном старте системы. Исследователи в области астрологии неоднократно заявляли, что знак зодиака может оказывать влияние на вкусовые предпочтения человека, подчеркивая, что вкусовые предпочтения людей различных знаков зодиака могут быть объяснены планетарными влияниями и элементами, которые представлены в их гороскопе. Некоторые знаки преимущественно предпочитают классические и консервативные блюда, тогда как другие отдают предпочтение экзотической и необычной кухне. Эти данные будут учтены при проектировании механизма рекомендательной модели и при тестировании системы авторы будут наблюдать и анализировать поведение модели и ее результативность. Внедрение нейронных сетей, успешно использующих в своих механизмах данные о знаках зодиака пользователей [14], позволяет предположить, что тестирование подобной гипотезы не лишено смысла.

В целом, холодный старт является важной проблемой в рекомендательных системах, и для ее решения требуется комбинация различных методов. Важно также понимать, что эффективность каждого из этих решений зависит от конкретной ситуации и характеристик системы.

2.    Актуальные модели рекомендаций сервисов предзаказа и доставки

С целью обзора рекомендательных алгоритмов авторы провели исследование актуальных моделей рекомендаций, применяемых в обозначенной предметной области. Так, в соответствии с регламентами использования рекомендательных систем, Яндекс Еда и Маркет Деливери используют следующие данные пользователя: исторический отчет о заказах, геопозицию, рейтинг доступных пунктов питания и время доставки из этих пунктов [15].

С точки зрения применения рекомендательных технологий, сервис быстрой доставки продуктов Самокат использует следующие данные о пользователе: товары в корзине пользователя, заказанные ранее товары и время заказа через сервис [16]. По результатам применения рекомендательных технологий сервис предлагает подборки товаров: блоки, состоящие из ранее заказанных пользователем товаров; товарные подборки с похожими, сопутствующими и дополнительными товарами; товарные подборки с персональными рекомендациями, маркетинговыми товарами и скидками.

Сервис доставки продуктов и товаров для дома СберМаркет использует рекомендации двух типов: персонализированные и не персонализированные [17]. К персонализированным рекомендациям можно отнести интересные пользователю товары, а к не персонализированным – предположительно интересные товары.

СберМаркет использует следующие данные о пользователе: уже приобретенные через сервис товары, просмотренные на сервисе товары.

После изучения представленных сервисами правил применения рекомендательных технологий, были определены типы используемых в данных сервисах рекомендательных систем, представленные в табл. 1.

Таблица 1. Типы рекомендательных систем

Сервис	Основанная на контенте	Коллаборативный тип	Основанная на знаниях	Гибридная
Яндекс Еда	+	+	-	+
Деливери Маркет	+	+	-	+
Самокат	+	-	-	-
Сбер Маркет	+	-	+	+

Таким образом, Яндекс Еда, Деливери Маркет и СберМаркет используют гибридные модели. Самокат в основном использует рекомендательную систему, основанную на контенте. Особенности подборки в крупной розничной сети "Лента" во многом схожи с рекомендационной моделью Самоката [18]. В табл. 2 представлены сведения о пользователе, которые используют сервисы при построении рекомендательных моделей.

Таблица 2. Используемые сведения о пользователе

	Яндекс Еда	Деливери Маркет	Самокат	Сбер Маркет
История заказов	+	+	+	+
Геопозиция	+	+	-	-
Рейтинг доступных заведений	+	+	-	-
Время доставки	+	+	-	-
Время заказа	-	-	+	-
Товары в корзине	-	-	+	-
Просмотренные товары	-	-	-	+
Товары в избранном	-	-	-	-
Поисковые запросы пользователя	-	-	-	-
Модель устройства	-	-	-	-
Применение фильтров	-	-	-	-
Заполненные анкеты	-	-	-	-
Ответы на вопросы	-	-	-	-

3.    Обзор архитектур рекомендательных систем

Для построения рекомендательных систем, основанных на глубоком обучении, применяются различные подходы. Гибкость глубоких нейронных сетей позволяет объединить несколько блоков вместе, чтобы дополнить друг друга и сформировать более мощную гибридную модель. Далее рассмотрим некоторые популярные архитектуры рекомендационных моделей.

Модель Wide and Deep [19] состоит из двух компонентов: "Широкого" и "Глубокого". "Широкий" компонент предназначен для обработки большого количества признаков и событий, а "Глубокий" – для обработки сложных взаимосвязей между признаками. Оба компонента используют нейронные сети для обучения и обработки данных. "Широкий" компонент использует большое количество простых нейронов для обработки каждого признака отдельно, в то время как "Глубокий" компонент использует меньшее количество сложных нейронов для анализа взаимосвязей между различными признаками. Общая идея заключается в том, что нейронная сеть, теоретически, может усвоить любую функциональную зависимость. Это значит, что зависимость, которую модель коллаборативной фильтрации выражает матричной факторизацией, может быть усвоена нейронной сетью. NCF предлагает простой слой представления сразу для пользователей и объектов (похожий на классическую факторизацию матриц), за которым следует простая нейронная сеть вроде многослойного перцептрона, которая должна усвоить зависимость между представлениями пользователя и объекта, аналогичную произведению факторизованных матриц [20].

DeepFM [21] состоит из машины факторизации для рекомендаций и глубокого обучения для изучения функций, сочетает в себе их возможности. Модель способна автоматически извлекать сложные взаимодействия между признаками, а также учитывать взаимодействия различных порядков, что позволяет учитывать как линейные, так и нелинейные зависимости между признаками. Обе части модели используют один и тот же входной слой представления (embedding). Необработанные признаки трансформируются, чтобы закодировать категориальные признаки унитарным кодом (one-hot encoding). С математической точки зрения, входные данные DeepFM представляют собой данные из m полей, состоящие из пар (u, i), которые являются идентификаторами и характеристиками пользователя и элемента, а также двоичной метки y, которая указывает поведение пользователя. В компоненте машины факторизации, помимо линейных взаимодействий (1-го порядка) между объектами, моделируются попарные взаимодействия объектов (2-го порядка) как внутреннее произведение соответствующих скрытых векторов признаков. Многослойный персептрон использует нелинейные активации и глубокую структуру для моделирования взаимодействий высокого порядка. Итоговое предсказание (показатель кликабельности), выдаваемое последним словом нейронной сети, определяется как сумма предсказаний матричной факторизации и нейронной сети, пропущенная через сигмоидную функцию активации.

Extreme Deep Factorization Machine (xDeepFM) – машина экстремальной глубокой факторизации [22], представляет собой новую модель, которая объединяет сжатую сеть взаимодействия (CIN) с классическим DNN. CIN генерирует взаимодействия объектов явно и на векторном уровне, разделяя некоторые функциональные возможности со сверхточными нейронными сетями (CNN) и рекуррентными нейронными сетями (RNN).

Эта комбинация позволяет xDeepFM явно изучать определенные взаимодействия объектов ограниченной степени, а также неявно изучать произвольные взаимодействия объектов низкого и высокого порядка.

Neural Factorization Machines – машины нейронной факторизации для разреженного прогнозирующего анализа [23]. Эта модель объединяет эффективность машин линейной факторизации с высокой способностью представления нелинейных нейронных сетей для разреженного прогнозирующего анализа. Ключом к его архитектуре является операция, называемая объединением билинейных взаимодействий , которая позволяет модели нейронной сети изучать более информативные взаимодействия объектов на более низком уровне. Благодаря укладке нелинейных слоев поверх слоя с билинейным взаимодействием авторы смогли углубить машину мелкой линейной факторизации, эффективно моделируя взаимодействия объектов более высокого порядка и нелинейные взаимодействия объектов, чтобы улучшить выразительность машины факторизации. В отличие от традиционных методов глубокого обучения, которые просто объединяют или усредняют векторы встраивания на низком уровне, это использование объединения с билинейным взаимодействием кодирует более информативные взаимодействия объектов, значительно облегчая изучение значимой информации на следующих "глубоких" уровнях.

Рекомендационная модель глубокого обучения (Deep Learning Recommendation Model, DLRM) [24] работает следующим образом: каждый категориальный признак представлен вектором представления, а постоянные признаки обрабатываются многослойным перцептроном таким образом, чтобы на выходе получались векторы такого же размера, как и векторы представления. На второй стадии рассчитываются взаимные произведения всех векторов представления и выходных векторов перцептрона. После этого произведения соединяются вместе и передаются в другой многослойный перцептрон, а в конце концов – в функцию сигмоиды, выдающую вероятность.

Neural Graph Collaborative Filtering (NGCF) [25] – это вариант Graph Convolutional Network (GCN) [26], который использует взаимодействия пользователя и элемента для изучения коллаборативного сигнала, который выявляет поведенческое сходство между пользователями, для улучшения рекомендаций. Для оценки эффективности модели использовались рейтинговые прогнозы на основе наборов данных Yelp 2018 и Amazon-book.

Многокомпонентная сверточная коллаборативная фильтрация графов (MCCF) [27] является одним из подходов, который изучает скрытую мотивацию покупки с помощью механизма привлечения внимания (Graph Attention Networks [28]) и сочетает ее с функциями явного взаимодействия пользователя с товаром для получения лучших рекомендаций. Авторы оценили эффективность MCCF на наборах данных MovieLens, Amazon Product Recommendation и Yelp.

DiffNet++ [29] модель, которая лучше изучает пользовательские вложения на основе двух отдельных графиков, с сигналами скрытого интереса пользователя, поступающими из графа пользователь-элемент, и сигналами влияния пользователя, поступающими из графа пользователь-пользователь. Он был протестирован на Yelp, Epinions и Dianping.

Cистемы рекомендаций на основе сессий (Session-based Recommender Systems) анализируют краткосрочные предпочтения пользователей и динамику их изменения [30]. Каждая сессия состоит из нескольких взаимодействий пользователя с элементами системы, которые происходят совместно в течение непрерывного периода времени. Рассматривая каждую сессию в качестве базовой единицы входных данных, SBRS может выявлять как краткосрочные предпочтения пользователя из его последних сессий, так и динамику его предпочтений, отражающую изменение его предпочтений от сессии к сессии, и использовать данную информацию для генерирования более точных и своевременных рекомендаций. Решаемые SBRS задачи по генерированию рекомендаций можно условно разделить на три категории: рекомендация следующего взаимодействия в текущей сессии; рекомендация оставшейся части сессии (т.е. полный список оставшихся взаимодействий для завершения текущей сессии); рекомендация по содержанию следующей сессии.

Входные данные SBRS называют контекстом сессии. SBRS генерирует рекомендации в зависимости от контекста текущей сессии. В зависимости от категории решаемой задачи в качестве входных данных может использоваться следующая информация: данные, известные о текущей сессии – представляют собой список взаимодействий, произошедший в сессии к текущему моменту времени; данные, известные о прошлых сессиях – исторические данные; комбинация пунктов 1 и 2.

В основном в SBRS используются два типа подходов на основе анализа шабло-нов/правил: анализ частых шаблонов, заключающийся в выявлении внутри неупорядоченной сессии часто встречающихся шаблонов или ассоциативных правил для взаимодействий и генерирования последующих рекомендаций на основе данной информации; анализ шаблонов последовательностей, заключающийся в выявлении в упорядоченных сессиях шаблонных последовательностей в последовательности сессий или взаимодействий и генерировании последующих рекомендаций на основе данной информации.

В SBRS используют следующие базовые типы архитектуры нейронной сети: рекуррентную нейронную сеть (Recurrent Neural Networks, RNN); многослойную сеть персептронов (Multi-Layer Perceptron networks, MLP); сверточную нейронную сеть (Convolutional Neural Networks, CNN); графовую нейронную сеть (Graph Neural Networks, GNN).

4.    Проектирование системы рекомендаций

С учетом необходимости учитывать краткосрочные предпочтения для рекомендации товаров был сделан выбор в пользу систем рекомендаций на основе сессий.

Доступны следующие входные данные: информация о пользователях: дата рождения, текущее местоположение; информация о товарах: категория товара, цена, доступность самовывоза, время приготовления, идентификатор заведения; информация о заведениях: адрес, время работы, оценки пользователей, тип заведения; информация о местоположении и текущем времени: на основе местоположения рассчитывается расстояние до заведения и время доставки или проезда, текущее время может помочь рекомендовать товары с учетом потребностей пользователя в различное время суток; информация о взаимодействии пользователя с товарами: оценка товара пользователем, просмотр, добавление в корзину, заказ товара пользователем; информация о взаимодействии пользователя с заведением: оценка заведения пользователем, просмотр.

Заключение

В данной статье были рассмотрены теоретические и практические аспекты построения рекомендательных моделей, их типология, архитектура и направления проектирования. Авторы провели обзор существующих типов рекомендательных систем и актуальных моделей рекомендаций сервисов предварительного заказа и доставки.

Также был представлен обзор архитектур рекомендательных систем и освещены основные этапы проектирования системы рекомендаций. Результаты исследования показывают, что эффективное проектирование рекомендательной системы требует учета множества факторов, таких как тип данных, цель рекомендации, архитектура системы и пользовательские предпочтения.

Авторы выделили основные направления в проектировании архитектуры рекомендательной системы, которые могут быть применимы для интеграции на платформы предварительного заказа и доставки, такие как использование коллаборативной фильтрации, анализ поведения пользователей, применение машинного обучения и построение семантических сетей.

Однако, несмотря на то что рекомендательные системы могут существенно улучшить пользовательский опыт и повысить конверсию на платформах предварительного заказа, авторы отмечают, что проблема эффективного решения задачи рекомендации товаров и услуг все еще остается актуальной, и требуется проведение дальнейших исследований для усовершенствования существующих моделей и разработки новых подходов.