Система рекомендаций на основе сетей экстраполяции взвешенных предпочтений

Стремительный рост цифрового контента и интерактивных платформ привел к информационной перегрузке, что сделало рекомендательные системы краеугольным камнем современных сервисов [1,2]. Среди множества задач рекомендательных систем, прогнозирование следующего взаимодействия (Next-Item Prediction) является критически важным.

В отличие от традиционных методов, фокусирующихся на долгосрочных предпочтениях пользователя, прогнозирование следующего элемента направлено на улавливание мгновенных и контекстуально обусловленных интересов пользователя [3], что непосредственно влияет на качество пользовательского опыта и метрики удержания.

Классические подходы к последовательным рекомендациям, основанные на рекуррентных нейронных сетях (RNN/GRU4Rec) [3,4] и позднее на архитектурах трансформеров (SASRec, BERT4Rec) [5-7], добились значительных успехов в моделировании зависимостей между элементами в истории пользователя.

Однако они сталкиваются с рядом фундаментальных ограничений, которые не позволяют эффективно решать проблему динамики предпочтений: недостаточный учет многомодальной информации: большинство моделей либо игнорируют, либо тривиально объединяют богатую информацию об элементах (текстовые описания, категории, теги).

Эти данные, однако, критически важны для формирования семантически насыщенного вектора предпочтений, который лежит в основе любого значимого сдвига интереса.

Это приводит к формированию неточного текущего вектора предпочтений ( ut). Отсутствие явного моделирования тренда: ключевой недостаток заключается в том, что существующие модели прогнозируют следующий элемент i_t+i как точку, максимально близкую к агрегированному вектору u_t. ^

Они неспособны явно моделировать направление изменения предпочтений (Au) и экстраполировать этот тренд в векторном пространстве.

Как следствие, эти модели плохо справляются с прогнозированием значительного, но последовательного, сдвига интереса (например, переход от фэнтези к научной фантастике).

Для преодоления указанных ограничений в данной работе мы представляем Взвешенную сетевую экстраполяцию последовательности — новый подход к прогнозированию следующего взаимодействия, основанный на концепции экстраполяции вектора предпочтений.

Основные научные достижения могут быть суммированы следующим образом:

• -    Интеграция многомодальных данных: разрабатывай эффективным механизмом слияния для создания обогащенного векторного представления элемента (ei), который объединяет информацию ID, категориальные теги и текстовые описания, тем самым обеспечивая прочную основу для семантического моделирования предпочтений.

• -    Динамическое взвешивание с учетом времени: предложен Механизм динамического взвешивания, который, в отличие от статических методов, использует внимание, чувствительное ко времени (Time-Aware Attention) для точного формирования текущего вектора предпочтений u_t.

• -    Модуль экстраполяции тренда предпочтений: мы вводим Модуль экстраполяции тренда, который явно моделирует историю сдвигов предпочтений ({ф}) как последовательность векторов, а затем использует нейронную сеть для прогнозирования вектора следующего сдвига Au_prcd-

• Этот прогнозируемый сдвиг затем используется для экстраполяции текущего предпочтения ut в новый вектор е*+1, что позволяет модели предсказывать элементы, находящиеся в направлении развития интереса пользователя, а не просто ближайшие к его текущему
2.    Сеть экстраполяции взвешенных предпочтений (WPEN)

состоянию.

В данной разделе подробно описывается предложенная модель Взвешенной секвенционной экстраполяционной сети. Как показано на рис. 1, WPEN состоит из трёх ключевых модулей:

• -    мультимодульного встраивания объектов;

• -    временно-осознанной динамической агрегации;

• -    модуля экстраполяции предпочтений.

Модель работает в режиме прямого вычисления, а итоговая рекомендация достигается путём геометрической экстраполяции в пространстве векторных представлений.

Рис. 1. структура WPEN

Цель модели WPEN заключается в прогнозировании объекта it+i, с которым пользователь, вероятнее всего, совершит следующее взаимодействие.

Как показано на рис. 1, архитектура WPEN представляет собой иерархическую структуру? состоящую из следующих функциональных уровней:

Уровень входных данных и встраивания:

На нижнем уровне модель принимает четыре типа входных сигналов: идентификатор объекта (id), его атрибуты (attr), текстовый контент (content) и временную метку взаимодействия (time).

Идентификатор и атрибуты обрабатываются через полносвязные слои (MLP) для получения первичных эмбеддингов е^ и e_attr.

Текстовая информация пропускается через блок BERT для извлечения семантических признаков e_C on _t en_t, а временная метка подается на отдельный MLP-блок для вычисления динамических весов.

Уровень адаптивного слияния:

Полученные векторы признаков е^, e a _tt r и e_CO n _te n _t объединяются в блоке слияния.

Ключевым элементом здесь является механизм гейтирования (GLU), который в сочетании с дополнительным MLP-слоем позволяет модели селективно фильтровать информацию из разных модальностей.

Результатом этого этапа является унифицированное представление объекта ед

Уровень временной агрегации и экстраполяции:

На основе сформированного эмбеддинга e j и вычисленного временного коэффициента W j модель формирует текущее состояние предпочтений пользователя.

User Preference:, представляет собой геометрическую экстраполяцию:

модель вычисляет направление изменения интересов пользователя и смещает текущий вектор предпочтений в сторону наиболее вероятного следующего объекта.

Такая структура позволяет WPEN эффективно объединять разнородную информацию о контенте с динамикой поведения пользователя во времени.

2.1.    Обзор модели

Пусть задана последовательность исторических взаимодействий пользователя S_u = {i1,i₂ ,...,i t }, г де i t обозначает объект, с которым пользователь взаимодействовал на t-м шаге времени.

Цель модели WPEN заключается в прогнозировании объекта it+i, с которым пользователь, вероятнее всего, совершит следующее взаимодействие.

Сначала модель преобразует каждый объект в плотное векторное представление.

Затем эти представления динамически агрегируются для формирования текущего состояния предпочтений пользователя.

Наконец, модель анализирует историческую траекторию изменения предпочтений и экстраполирует текущее состояние вдоль предсказанного направления будущей динамики, после чего сравнивает полученный вектор с кандидатами, чтобы определить наиболее вероятный следующий объект.

2.2.    Мультимодальное встраивание объектов

Для обогащения семантического представления каждого элемента i_t конструируем его унифицированное векторное встраивание e j G R^d которое интегрирует несколько источников информации: идентификатор элемента, его категориальные атрибуты и текстовые контентные признаки [8].

Данный уровень служит входом для последующих модулей WPEN.

(1)ID-встраивание

Каждому элементу соответствует уникальное представление e jd G R^d , которое отражает его индивидуальность и служит базовой структурной информацией.

• (2)    Атрибутивное встраивание

Категории, теги и другие структурированные свойства элемента преобразуются в плотный вектор e_attr G R^, например с помощью усреднения нескольких тегов или графовых моделей (GNN).

• (3)    Контентное встраивание

Текстовое описание элемента (название, аннотация и т. и.) извлекается предобученной моделью — BERT для текста, — формируя вектор e_C on _t en _t G R^d

Гейтовый механизм адаптивного слияния

Т1тобы объединить несколько модальностей в одно согласованное представление, применяем гейтовый механизм, который динамически регулирует вклад каждой модальности [9].

Сначала вычисляется вектор управления:

g = ( (W_g [e_id\\e attr ^e content] + b ₉),                               (1)

где || — конкатенация, j — функция сигмоиды.

Затем финальное представление элемента формируется как адаптивная смесь ID-, атрибутивной и контентной информации:

e i — g © (W id e id ) + (1 - ^g) © [W attr e attr + W Contentecontent},             (2)

где © — поэлементнoe умножение, W* и b7 обучаемые параметры.

Гейтовый вектор д автоматически определяет, какая модалвноств вносит болвший вклад для конкретного элемента, что позволяет модели гибко адаптироваться к разным типам контента и снижать влияние шумовых признаков.

• 2.3.    Временно осознанная динамическая агрегация

Данный модуль формирует вектор текущего предпочтения пользователя ut 6 Rd на основе последовательности его взаимодействий {21,22,... ,it} учитывая как содержательную важность элементов, так и их временную удалённость.

• (1)    Кодирование временного интервала

Для каждого элемента последовательности вычисляется временной интервал относительно момента предсказания, который совпадает со временем последнего взаимодействия.

Mi — to - t i                                      (3)

где tiast ^- время последнего взаимодействия в последовательности, t i — время взаимодействия с элементом i.

Чем больше Mi, тем «старее» элемент и тем меньшее влияние он оказывает на формирование текущих предпочтений пользователя.

• (2)    Взвешивание элементов с учётом временной удалённости:

ш"— i + z1t, • а,                                          <4> где а > 0 — обучаемый коэффициент, определяющий скорость затухания.

Таким образом, каждый объект тем важнее, чем ближе он находится к текущему моменту.

• (3)    Формирование вектора текущего предпочтения

• 2.4.    Модуль экстраполяции тренда предпочтений и Функция потерь

Итоговый вектор предпочтения формируется как взвешенная сумма встраиваний:

t ut — Ewi ’ ei.                                    (5)

i=1

Такая схема обеспечивает естественное временное затухание: недавние и информативные взаимодействия получают больший вклад, формируя корректное текущее состояние предпочтений пользователя. Далее, вектор ut используется для экстраполяции будущего направления интересов.

Основная идея — последовательность взаимодействий пользователя формирует траекторию в векторном пространстве, текущая позиция на этой траектории задаётся вектором предпочтения ut (см. раздел 2.3), а направление её развития определяется историческими локальными изменениями.

Значение коэффициента экстраполяции вычисляется следующим образом:

At — Softplus^J h^) + b x ),

где функция Softplus гарантирует, что A > 0, обеспечивая строго положительную длину шага экстраполяции.

Текущий вектор предпочтений u _t продвигается вдоль пред сказанного направления Д и на величину A_t, в результате чего формируется идеальная целевая точка будущего интереса:

e *+i = u t + At • Д и .

2.5.    Прогнозирование

После получения экстраполированного целевого вектора et+ъ WPEN выполняет прогноз следующего элемента путём сравнения этого вектора со всеми встраиваниями элементов каталога I.

• А.    Механизм прогнозирования

Для каждого кандидата e j вычисляется скор прогнозирования, измеряющий их близость в векторном пространстве [10]:

et+i • ej й+^   CosineSim(et+i, ej)             ^.

Использование косинусного сходства согласуется с геометрической природой WPEN, где предпочтения трактуются как направления движения.

Рис. 2. Механизм прогнозирования

• В.    Целевая функция

Модель обучается максимизировать сходство с истинным следующим элементом и минимизировать сходство с негативными примерами. Для этого применяется логистическая функция потерь [11] с негативным семплированием:

^ = - У  log °⁽S t +i ,i ) ^- У log⁽l ^- ст ⁽S t +i ,j )),

(u,i)ev+                   (u,j)€©— где:

• •    Т>+ — реальные пары пользователь-следугощий элемент;

• •    Т>- — негативные примеры (случайные элементы, с которыми пользователь не взаимодействовал) ;

• •    (?(•) — сигмоида.

Эта функция соответствует классической двумерной логистической регрессии и оптимизирует ранжирование: реальные элементы должны иметь более высокий скор, чем негативные.

• С.    Негативное семплирование

Негативные примеры выбираются из каталога по одному из стратегий:

• •    Uniform Sampling: случайные элементы;

• •    Popularity-Based Sampling: предпочтение более популярных элементов;

• •    Time-Aware Sampling: негативы выбираются из элементов, популярных в данном временном окне.

• 3.    Эксперименты и анализ

  • 3.1.    Экспериментальные настройки

В наших экспериментах time-aware sampling даёт улучшение, так как корректнее моделирует конкурирующие кандидатуры.

Наборы данных

Провели эксперименты на трёх общедоступных и широко используемых наборах данных рекомендаций последовательностей:

• •    Amazon-Beauty [12]: разреженный и мелкозернистый набор данных, подходящий для проверки способности модели учитывать нишевые интересы.

• •    MovieLens-lM и MovieLens-20M [13]: набор данных рейтингов классических фильмов, который мы преобразовали в неявные последовательности обратной связи.

Разбили последовательность для каждого пользователя в хронологическом порядке, используя последний элемент в качестве тестового набора, предпоследний элемент — в качестве проверочного, а остальные — для обучения. Статистическая информация по всем наборам данных представлена в табл. 1.

Таблица!

Статистика наборов данных

Набор данных	Пользователи	Элементы	Взаимодействия
Beauty	1,210,000	249,000	233.1 million
MovieLens-lM	6 040	3,900	1 million
MovieLens-20M	138,000	27,000	20 million

Модели сравнения

Для комплексной оценки WPEN мы сравниваем его со следующими репрезентативными моделями:

Модели рекомендации последовательностей:

• •    GRU4Rec [4]: классическая модель рекомендации последовательностей, основанная на рекуррентных нейронных сетях (RNN).

• •    Caser [9]: использует сверточную нейронную сеть (CNN) для выявления краткосрочных локальных закономерностей в последовательностях.

• •    SASRec [6]: мощная базовая модель, основанная на Transformer, использующая внутреннее внимание.

• •    BERT4Rec [7]: использует двунаправленный Transformer для кодирования последовательностей.

Метрики оценки

Используем метод оценки с исключением одного. Для каждого пользователя мы вычисляем рейтинг тестового элемента среди 100 случайных отрицательных выборок. Предоставляем следующие метрики:

• •    HR@K (коэффициент попадания): измеряет, присутствует ли тестовый элемент в списке рекомендаций Тор-К.

• •    NDCG@K (нормализованный дисконтированный кумулятивный прирост): учитывает позицию в рейтинге; большее значение соответствует более высокому рейтингу.

3.2.    Сравнительный анализ производительности (RQ1)

В этом отчёте в основном показываем результаты для К = 5 и К = 10.

Детали реализации

Реализовали модель WPEN с помощью PyTorch. Размерность встраивания всех моделей одинаково установлена равной 64. Мы использовали оптимизатор Adam с начальной скоростью обучения 0,001 и экспоненциальным затуханием. Размер пакета был установлен равным 128. Для предотвращения переобучения мы использовали показатель отсева 0,2 и регуляризацию L2 в слое встраивания. Использовали раннюю остановку для выбора лучшей модели на проверочном наборе.

Результаты сравнения производительности для трёх наборов данных представлены в табл. 2. Можно увидеть следующее.

WPEN стабильно демонстрирует наилучшие результаты. Модель WPEN демонстрирует высочайший уровень производительности по всем наборам данных и всем метрикам оценки. В частности, по метрике NDCG<9>5 модель WPEN превосходит лучшую из базовых моделей (BERT4Rec) на наборах данных Beauty, MovieLens-20M и MovieLens-1М. Это демонстрирует, что WPEN не только чаще помещает положительные образцы в начало списка рекомендаций, но и присваивает им более высокий ранг.

Преимущество «экстраполяции». Значительное преимущество WPEN подтверждает правильность основной гипотезы: по сравнению с моделями, основанными на «интерполяции», такими как SASRec и BERT4Rec, явное моделирование тенденций предпочтений и «экстраполяция» позволяют точнее прогнозировать будущие интересы пользователей, особенно в сценариях с быстрой динамикой интересов (например, в наборе данных Steam).

Т а б л и ц а 2

Сравнение производительности HR@K для различных моделей и наборов данных

Модель	Beauty		MovieLens-lM		MovieLens-20M
	HR®5	HRSIO	HR	HRalO	HR«y5	HRalO
GRU4Rec	0.131	0.234	0.467	0.620	0.465	0.584
Caser	0.162	0.259	0.535	0.669	0.3804	0.542
SASRec	0.183	0.265	0.543	0.662	0.572	0.713
BERT4Rec	0.201	0.282	0.557	0.697	0.589	0.734
WPEN (наш)	0.232	0.288	0.564	0.705	0.582	0.747

Т а б л и ц а 3

Сравнение производительности NDCG@K для различных моделей и наборов данных

Модель	Beauty		MovieLens-lM		MovieLens-20M
	NDCG<&5	NDCG10	NDCG	NDCG<5>10	NDCG	NDCG<5>10
GRU4Rec	0.081	0.107	0.319	0.362	0.309	0.363
Caser	0.105	0.136	0.383	0.426	0.253	0.306
SASRec	0.143	0.163	0.398	0.436	0.420	0.466
BERT4Rec	0.159	0.186	0.445	0.481	0.496	0.534
WPEN (наш)	0.165	0.187	0.458	0.482	0.492	0.541

4.    Заключение и дальнейшие исследования4.1.    Краткое изложение исследования

В данной статье рассматриваются ограничения существующих моделей рекомендации последовательностей, которые в основном следуют парадигме «интерполяции» и не могут уловить и предсказать направленную эволюцию предпочтений пользователей. Предлагается новая модель рекомендации, основанная на экстраполяции направления предпочтений — сеть экстраполяции взвешенных последовательностей (WPEN).

Основные положения и вклад данной статьи можно резюмировать следующим образом:

• •    Предлагается новая парадигма «экстраполяции» для рекомендации последовательностей: Инновационным образом рассматриваем историческую последовательность взаимодействий пользователя как её динамическую траекторию в пространстве вложений и переопределяем задачу рекомендации как прогнозирование будущего касательного направления этой траектории. Такая «динамическая» перспектива моделирования отличается от традиционной перспективы «эволюции состояния», предлагая новый подход к исследованию рекомендаций последовательностей.

• •    Разработана и реализована полная структура модели WPEN: модель состоит из трёх основных модулей. Модуль мультимодального встраивания элементов интегрирует информацию об идентификаторе, атрибутах и содержимом, обогащая семантическое представление элементов. Модуль динамической агрегации с учётом времени генерирует векторы предпочтений, которые лучше отражают текущее состояние интересов пользователя, внедряя механизм временного контекстного внимания. Основной модуль экстраполяции тренда предпочтений вычисляет векторы изменений между историческими элементами, кодирует их взвешенные последовательности с помощью GRU и, наконец, динамически расширяет текущее состояние в направлении прогнозирования, достигая целевой локализации в векторном пространстве.

• •    Многочисленные эксперименты подтвердили эффективность и превосходство модели: эксперименты на трёх общедоступных наборах данных показали, что модель WPEN значительно превзошла несколько современных базовых моделей, включая SASRec и BERT4Rec, по ключевым метрикам, таким как HR и NDCG. Глубокие исследования абляции подтвердили, что модуль экстраполяции тренда является ключевым источником повышения производительности, а тематические исследования наглядно продемонстрировали уникальную способность модели выдавать « прогностические » рекомендации.

4.2.    Перспективы дальнейших исследований

Подводя итог, можно сказать, что данное исследование подтверждает осуществимость и значительный потенциал явного моделирования тенденций эволюции предпочтений пользователей и проведения направленной экстраполяции. Модель WPEN не только повышает эффективность рекомендаций, но и обладает хорошей интерпретируемостью, предоставляя ценную информацию для разработки более интеллектуальных рекомендательных систем, более адаптируемых к динамическим интересам пользователей.

Несмотря на обнадеживающие результаты, достигнутые моделью WPEN, остается несколько направлений для дальнейшего изучения:

• •    Моделирование сложных трендовых моделей: Текущие модели в основном отражают линейные тренды первого порядка. В будущем можно будет исследовать более сложные трендовые модели, например, путем введения производных более высокого порядка (ускорения) для моделирования скорости изменений или использования более продвинутых моделей прогнозирования временных рядов (таких как TCN и Informer) для учета долгосрочных циклических сложных трендов.

• •    Объединение многомерных трендов: Эволюция интересов пользователей может происходить одновременно по нескольким измерениям (например, категория, цена, стиль). В будущих исследованиях можно изучить, как разделить и объединить эти различные размерные тенденции для достижения более точной экстраполяции. Например, пользователь может перейти от наушников к колонкам в измерении «категория», одновременно переходя к продуктам премиум-класса в измерении «цена».

• •    Внедрение внешних знаний: Моделирование текущих тенденций полностью основано на исторических поведенческих последовательностях пользователей. Введение внешних знаний, таких как графы знаний об объектах, информация о социальных связях или актуальные темы, может помочь понять семантические причины тенденций и исправить потенциально ошибочные прогнозы, тем самым повышая надежность и интерпретируемость модели.