Сравнительный анализ метрик качества для моделей бинарной классификации на примере кредитного скоринга
Автор: Архипов В.А.
Журнал: Вестник Алтайской академии экономики и права @vestnik-aael
Рубрика: Экономические науки
Статья в выпуске: 9-2, 2019 года.
Бесплатный доступ
Разработка моделей машинного обучения, помимо прочего, включает в себя определение оптимальной для конкретной бизнес-задачи метрики качества. Выбор корректной метрики зачастую связан с изменениями в подходе к моделированию, т.к. одни модели машинного обучения в результате оптимизации внутренней функции потерь более ориентированы на решение задачи ранжирования, другие модели - на минимизацию ошибки 1-го рода и т.д. На примере кредитного скоринга показано, что выбор оптимальной метрики качества является нетривиальной задачей с учётом особенностей различных доступных метрик. Например, максимизация интегральной метрики качества ROC-AUC далеко не всегда может приводить разработчика к желаемому в смысле бизнес-эффекта результату. Использование исключительно интегральных метрик качества может приводить к негативным результатам при применении модели. Например, в случае использования модели для принятия решения о выдаче кредита клиенту, более правильным является подход на основе балансировки показателей Precision/Recall, т.к...
Моделирование, кредитный скоринг, машинное обучение, метрики качества, бинарная классификация
Короткий адрес: https://sciup.org/142222841
IDR: 142222841
Список литературы Сравнительный анализ метрик качества для моделей бинарной классификации на примере кредитного скоринга
- Rezac M., Rezac F. How to measure the quality of credit scoring models // Finance a Uver. - 2011. - Т. 61. - № 5. - С. 486.
- Frunza M.C. Computing a standard error for the Gini coefficient: an application to credit risk model validation // The Journal of Risk Model Validation. - 2013. - Т. 7. - № 1. - С. 61.
- Friedman J., Hastie T., Tibshirani R. The elements of statistical learning. - New York, NY, USA: Springer series in statistics, 2001. - Т. 1. - № 10.
- Hand D.J., Henley W.E. Statistical classification methods in consumer credit scoring: a review // Journal of the Royal Statistical Society: Series A (Statistics in Society). - 1997. - Т. 160. - № 3. - С. 523-541.
- Siddiqi N. Credit risk scorecards: developing and implementing intelligent credit scoring. - John Wiley
- C. Sammut and G.I. Webb, Eds., Encyclopedia of Machine Learning. New York: Springer, 2011.
