Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений
Автор: Дружков Павел Николаевич, Золотых Николай Юрьевич, Половинкин Алексей Николаевич
Рубрика: Программирование
Статья в выпуске: 37 (254), 2011 года.
Бесплатный доступ
Описано несколько параллельных реализаций одного из алгоритмов обучения с учителем - градиентного бустинга деревьев решений (Gradient Boosting Trees) - с использованием библиотеки Intel Threading Building Blocks. Приводятся результаты экспериментального сравнения и анализ производительности различных подходов к распараллеливанию.
Градиентный бустинг деревьев решений
Короткий адрес: https://sciup.org/147159115
IDR: 147159115
Список литературы Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений
- Breiman, L. Random Forests/L. Breiman//Machine Learning. -2001. -V. 45, №1. -P. 5 -32.
- Classification and Regression Trees/L. Breiman, J. Friedman, R. Olshen, C. Stone. -Wadsworth, 1983.
- Breiman, L. Bagging predictors/L. Breiman//Machine Learning. -1996. -V. 26, №2. -P. 123 -140.
- Enzweiler, M. Monocular Pedestrian Detection: Survey and Experiments/M. Enzweiler, D.M. Gavrila//IEEE Transactions on Pattern Analysis and Machine Intelligence. -2009. -V.31, №12. -P. 2179-2195.
- Freund, Y. Experiments with a New Boosting Algorithm/Y. Freund, R. Schapire//Machine Learning: Proceedings of the Thirteenth International Conference. -San Francisco: Morgan Kauffman, 1996. -P. 148 -156.
- Friedman, J.H. Greedy Function Approximation: a Gradient Boosting Machine/J.H. Friedman. -Technical report. -Dept. of Statistics, Stanford University, 1999.
- Friedman, J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
- Geurts, P. Extremely Randomized Trees/P. Geurts, D. Ernst, L. Wehenkel//Machine Learning. -2006. -V. 36, № 1. -P. 3 -42.
- Hastie, T. The Elements of Statistical Learning/T. Hastie, R. Tibshirani, J. Friedman. -Springer-Verlag, 2008.
- Intel Threading Building Blocks. URL: http://www.threadingbuildingblocks.org> (дата обращения: 07.12.2010).
- OpenCV Wiki. URL: http://opencv.willowgarage.com/wiki (дата обращения: 07.12.2010).
- UCI Machine Learning Repository. URL: http://archive.ics.uci.edu/ml> (дата обращения: 07.12.2010).
- Вапник, В.Н. Восстановление зависимостей по эмпирическим данным/В.Н. Вапник. -М.: Наука, 1979.
- Breiman L. Random Forests. Machine Learning, 2001, v. 45, no. 1, pp. 5 -32.
- Breiman L., Friedman J., Olshen R., Stone C. Classification and Regression Trees. Wadsworth, 1983.
- Breiman L. Bagging predictors Machine Learning, 1996, v. 26, no. 2, pp. 123 -140.
- Enzweiler M., Gavrila D.M. Monocular Pedestrian Detection: Survey and Experiments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, v.31, no. 12, pp. 2179 -2195.
- Freund Y., Schapire R. Experiments with a New Boosting Algorithm. Machine Learning: Proceedings of the Thirteenth International Conference. San Francisco, Morgan Kauffman, 1996, pp.148 -156.
- Friedman J.H. Greedy Function Approximation: a Gradient Boosting Machine. Technical report. Dept. of Statistics, Stanford University, 1999.
- Friedman J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
- Geurts P., Ernst D., Wehenkel L. Extremely Randomized Trees. Machine Learning, 2006, v. 36, no.l, pp. 3 -42.
- Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer-Verlag, 2008.
- Intel Threading Building Blocks. Available at: (accessed' TARGET='_new'>http://www.threadingbuildingblocks.org>(accessed 07.12.2010).
- OpenCV Wiki. Available at: http://opencv.willowgarage.com/wiki> (accessed 07.12.2010).
- UCI Machine Learning Repository. Available at: http://archive.ics.uci.edu/ml> (accessed 07.12.2010).
- Vapnik V. Estimation of dependences based on empirical data. Springer, 1981.
Статья научная
