Два алгоритма на основе техники стохастического градиентного спуска для рекомендательных систем
Автор: Никулин В.Н., Прозорова Т.Г.
Журнал: Вестник Пермского университета. Серия: Математика. Механика. Информатика @vestnik-psu-mmi
Рубрика: Механика. Математическое моделирование
Статья в выпуске: 3 (26), 2014 года.
Бесплатный доступ
Рекомендательная система - это область машинного обучения, целью которой является создание алгоритмов для определения пользовательских предпочтений на базе известных оценок или поведения пользователя в прошлом при выборе или приобретении товаров. Применение таких систем в спорте, маркетинге и образовании имеет большое значение. Основной интерес применения таких систем в образовании состоит в улучшении методов оценивания студентов, состоящих в прогнозе, ответит ли студент правильно на следующий вопрос. Такие прогнозы могут помочь студенту правильно сориентироваться и определить ту область знаний, на которую следует обратить особое внимание. Заметим, что имеющиеся данные представлены в форме списка, а не в традиционной матричной форме, следовательно, стандартная техника факторизации здесь неприменима. При обработке данных, в которых большая часть значений целевой функции неизвестна и требует прогнозирования, хорошо себя зарекомендовали стохастические градиентные методы. В данной работе рассмотрена оптимизация таких наиболее значимых вариативных параметров, как количество факторов, параметры обучения и регулирования, число глобальных итераций. Исследования и эксперименты базируются на данных, которые использовались при проведении международных соревнований по анализу данных Grockit и Chess на платформе Kaggle.
Матричная факторизация, коллаборативная фильтрация, рекомендательная система, online-обучение, шахматные рейтинги, попарные сравнения, обучение без учителя
Короткий адрес: https://sciup.org/14729923
IDR: 14729923
Список литературы Два алгоритма на основе техники стохастического градиентного спуска для рекомендательных систем
- Oja E., Ilin A., Luttinen J., Yang Z. Linear expansions with nonlinear cost functions: modelling, representation, and partitioning//Plenary and Invited Lectures, WCCI 2010, Edited by Joan Aranda and Sebastia Xambo. Barcelona, Spain, 2010. P. 105-123.
- Lee D., Seung H. Learning the parts of objects by nonnegative matrix factorization//Nature 401. 1999. P.788-791.
- Nikulin V., McLachlan G.J. Classification of imbalanced marketing data with balanced random sets//JMLR: Workshop and Conference Proceedings. 2009. Vol. 7. P. 89-100.
- Nikulin V., Huang T.H. Unsupervised dimensionality reduction via gradient-based matrix factorization with two learning rates and their automatic updates//Journal of Machine Learning Research, Workshop and Conference Proceedings. 2012. Vol. 27. P. 181-195.
- Sismanis Y. How I won the Chess ratings -Elo vs the Rest of the World Competition//arXiv:1012.4571v1. 2010.
- Takacs G., Pilaszy I., Nemeth B., Tikk D. On the Gravity Recommendation System//KDD Cup Workshop at SIGKDD 2007 San Jose, California, USA. 2007. Vol. 7. P. 22-30.
- Rendle S. Factorization Machines with libFM//ACM Transactions on Intelligent Systems and Technology 3. 2012. P. 1-22.
- Glickman M.E. Parameter estimation in large dynamic paired comparison experiments//Appl. Statist. 1999. Vol. 48(3) P. 377-394.
- Furnkranz J., Hullermeier E., Cheng W., Park S.H. Preference-based reinforcement learning: a formal framework and a policy iteration algorithm//Machine Learning. 2012. Vol. 89(1).P. 123-156.
- Sun Q., Pfahringer B. Pairwise meta-rules for better meta-learning-based algorithm ranking//Machine Learning. 2013. Vol. 93(1) P. 141161.
- Dangauthier P., Herbrich R., Minka T., Gra-epel T. TrueSkill Through Time: Revisiting the History of Chess//NIPS. 2007.
- Huang T.K., Weng R., Lin C.J. Generalized Bradley-Terry Models and Multi-Class Probability Estimates//Journal of Machine Learn ing Research. 2006. Vol. 7. С. 85-115.
- Nikulin V., Bakharia A., Huang T.H.: On the evaluation of the homogeneous ensembles with CV-passports//PAKDD 2013, LNCS Springer, J. Li et.al. (Eds.). 2013. Vol. 7867. P. 181-195.