Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений

Дружков Павел Николаевич, Золотых Николай Юрьевич, Половинкин Алексей Николаевич; Druzhkov Pavel Nikolaevich, Zolotykh Nikolai Yurevich, Polovinkin Aleksey Nikolayevich

Научные статьи \ Общие вопросы науки и культуры \ Информационные технологии. Вычислительная техника. Обработка данных \ Искусственный интеллект

Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений

Автор: Дружков Павел Николаевич, Золотых Николай Юрьевич, Половинкин Алексей Николаевич

Журнал: Вестник Южно-Уральского государственного университета. Серия: Математическое моделирование и программирование @vestnik-susu-mmp

Рубрика: Программирование

Статья в выпуске: 37 (254), 2011 года.

Бесплатный доступ

Описано несколько параллельных реализаций одного из алгоритмов обучения с учителем - градиентного бустинга деревьев решений (Gradient Boosting Trees) - с использованием библиотеки Intel Threading Building Blocks. Приводятся результаты экспериментального сравнения и анализ производительности различных подходов к распараллеливанию.

Градиентный бустинг деревьев решений

Короткий адрес: https://sciup.org/147159115

IDR: 147159115 | УДК: 004.852,

Parallel implementation of prediction algorithm in gradient boosting trees method

Several variations of parallel implementations of one of the supervised learning algorithms, Gradient Boosting Trees (GBT), with the use of Intel Threading Building Blocks are described. Results of experimental comparison and performance analysis of different approaches to parallelization are discussed.

Список литературы Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений

Breiman, L. Random Forests/L. Breiman//Machine Learning. -2001. -V. 45, №1. -P. 5 -32.
Classification and Regression Trees/L. Breiman, J. Friedman, R. Olshen, C. Stone. -Wadsworth, 1983.
Breiman, L. Bagging predictors/L. Breiman//Machine Learning. -1996. -V. 26, №2. -P. 123 -140.
Enzweiler, M. Monocular Pedestrian Detection: Survey and Experiments/M. Enzweiler, D.M. Gavrila//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2009. -V.31, №12. -P. 2179-2195.
Freund, Y. Experiments with a New Boosting Algorithm/Y. Freund, R. Schapire//Machine Learning: Proceedings of the Thirteenth International Conference. -San Francisco: Morgan Kauffman, 1996. -P. 148 -156.
Friedman, J.H. Greedy Function Approximation: a Gradient Boosting Machine/J.H. Friedman. -Technical report. -Dept. of Statistics, Stanford University, 1999.
Friedman, J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
Geurts, P. Extremely Randomized Trees/P. Geurts, D. Ernst, L. Wehenkel//Machine Learning. -2006. -V. 36, № 1. -P. 3 -42.
Hastie, T. The Elements of Statistical Learning/T. Hastie, R. Tibshirani, J. Friedman. -Springer-Verlag, 2008.
Intel Threading Building Blocks. URL: http://www.threadingbuildingblocks.org> (дата обращения: 07.12.2010).
OpenCV Wiki. URL: http://opencv.willowgarage.com/wiki (дата обращения: 07.12.2010).
UCI Machine Learning Repository. URL: http://archive.ics.uci.edu/ml> (дата обращения: 07.12.2010).
Вапник, В.Н. Восстановление зависимостей по эмпирическим данным/В.Н. Вапник. -М.: Наука, 1979.
Breiman L. Random Forests. Machine Learning, 2001, v. 45, no. 1, pp. 5 -32.
Breiman L., Friedman J., Olshen R., Stone C. Classification and Regression Trees. Wadsworth, 1983.
Breiman L. Bagging predictors Machine Learning, 1996, v. 26, no. 2, pp. 123 -140.
Enzweiler M., Gavrila D.M. Monocular Pedestrian Detection: Survey and Experiments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, v.31, no. 12, pp. 2179 -2195.
Freund Y., Schapire R. Experiments with a New Boosting Algorithm. Machine Learning: Proceedings of the Thirteenth International Conference. San Francisco, Morgan Kauffman, 1996, pp.148 -156.
Friedman J.H. Greedy Function Approximation: a Gradient Boosting Machine. Technical report. Dept. of Statistics, Stanford University, 1999.
Friedman J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
Geurts P., Ernst D., Wehenkel L. Extremely Randomized Trees. Machine Learning, 2006, v. 36, no.l, pp. 3 -42.
Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer-Verlag, 2008.
Intel Threading Building Blocks. Available at: (accessed' TARGET='_new'>http://www.threadingbuildingblocks.org>(accessed 07.12.2010).
OpenCV Wiki. Available at: http://opencv.willowgarage.com/wiki> (accessed 07.12.2010).
UCI Machine Learning Repository. Available at: http://archive.ics.uci.edu/ml> (accessed 07.12.2010).
Vapnik V. Estimation of dependences based on empirical data. Springer, 1981.

Еще