Оптимизация стохастического градиентного бустинга с помощью out-of-sample оценок качества

Стохастический градиентный бустинг (SGB) - это мощный метод ансамблевого обучения, широко используемый в различных приложениях машинного обучения. Он использует регуляризацию, отбрасывая подмножество данных на каждой итерации, что помогает предотвратить переобучение. Однако эти данные вне выборки (OOS), которые обычно остаются неиспользованными во время обучения модели, представляют собой нераскрытую возможность для повышения стабильности процесса обучения. В данной работе мы предлагаем новый подход, который использует OOS данные не только для оценки качества построенных деревьев решений, но и для целенаправленной оптимизации гиперпараметров. Оценивая корреляцию между фактическими и предсказанными значениями градиентов на OOS данных, мы выводим метрики, которые эффективно приближают производительность деревьев на невидимых тестовых данных. Наши эмпирические исследования, проведенные на коллекции реальных наборов данных размером до 100,000 примеров, демонстрируют эффективность этого метода. Результаты показывают последовательное снижение уровня ошибок с улучшениями до 2% по logloss по сравнению со стандартными реализациями SGB. Эти выводы подчеркивают потенциал настройки гиперпараметров на основе OOS данных не только для повышения точности модели, но и для предоставления вычислительно-эффективного пути к регуляризации в рамках градиентного бустинга.