Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений

Автор: Дружков Павел Николаевич, Золотых Николай Юрьевич, Половинкин Алексей Николаевич

Журнал: Вестник Южно-Уральского государственного университета. Серия: Математическое моделирование и программирование @vestnik-susu-mmp

Рубрика: Программирование

Статья в выпуске: 37 (254), 2011 года.

Бесплатный доступ

Описано несколько параллельных реализаций одного из алгоритмов обучения с учителем - градиентного бустинга деревьев решений (Gradient Boosting Trees) - с использованием библиотеки Intel Threading Building Blocks. Приводятся результаты экспериментального сравнения и анализ производительности различных подходов к распараллеливанию.

Градиентный бустинг деревьев решений

Короткий адрес: https://sciup.org/147159115

IDR: 147159115

Список литературы Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений

Breiman, L. Random Forests/L. Breiman//Machine Learning. -2001. -V. 45, №1. -P. 5 -32.
Classification and Regression Trees/L. Breiman, J. Friedman, R. Olshen, C. Stone. -Wadsworth, 1983.
Breiman, L. Bagging predictors/L. Breiman//Machine Learning. -1996. -V. 26, №2. -P. 123 -140.
Enzweiler, M. Monocular Pedestrian Detection: Survey and Experiments/M. Enzweiler, D.M. Gavrila//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2009. -V.31, №12. -P. 2179-2195.
Freund, Y. Experiments with a New Boosting Algorithm/Y. Freund, R. Schapire//Machine Learning: Proceedings of the Thirteenth International Conference. -San Francisco: Morgan Kauffman, 1996. -P. 148 -156.
Friedman, J.H. Greedy Function Approximation: a Gradient Boosting Machine/J.H. Friedman. -Technical report. -Dept. of Statistics, Stanford University, 1999.
Friedman, J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
Geurts, P. Extremely Randomized Trees/P. Geurts, D. Ernst, L. Wehenkel//Machine Learning. -2006. -V. 36, № 1. -P. 3 -42.
Hastie, T. The Elements of Statistical Learning/T. Hastie, R. Tibshirani, J. Friedman. -Springer-Verlag, 2008.
Intel Threading Building Blocks. URL: http://www.threadingbuildingblocks.org> (дата обращения: 07.12.2010).
OpenCV Wiki. URL: http://opencv.willowgarage.com/wiki (дата обращения: 07.12.2010).
UCI Machine Learning Repository. URL: http://archive.ics.uci.edu/ml> (дата обращения: 07.12.2010).
Вапник, В.Н. Восстановление зависимостей по эмпирическим данным/В.Н. Вапник. -М.: Наука, 1979.
Breiman L. Random Forests. Machine Learning, 2001, v. 45, no. 1, pp. 5 -32.
Breiman L., Friedman J., Olshen R., Stone C. Classification and Regression Trees. Wadsworth, 1983.
Breiman L. Bagging predictors Machine Learning, 1996, v. 26, no. 2, pp. 123 -140.
Enzweiler M., Gavrila D.M. Monocular Pedestrian Detection: Survey and Experiments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, v.31, no. 12, pp. 2179 -2195.
Freund Y., Schapire R. Experiments with a New Boosting Algorithm. Machine Learning: Proceedings of the Thirteenth International Conference. San Francisco, Morgan Kauffman, 1996, pp.148 -156.
Friedman J.H. Greedy Function Approximation: a Gradient Boosting Machine. Technical report. Dept. of Statistics, Stanford University, 1999.
Friedman J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
Geurts P., Ernst D., Wehenkel L. Extremely Randomized Trees. Machine Learning, 2006, v. 36, no.l, pp. 3 -42.
Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer-Verlag, 2008.
Intel Threading Building Blocks. Available at: (accessed' TARGET='_new'>http://www.threadingbuildingblocks.org>(accessed 07.12.2010).
OpenCV Wiki. Available at: http://opencv.willowgarage.com/wiki> (accessed 07.12.2010).
UCI Machine Learning Repository. Available at: http://archive.ics.uci.edu/ml> (accessed 07.12.2010).
Vapnik V. Estimation of dependences based on empirical data. Springer, 1981.

Еще

Статья научная