Переобучение в машинном обучении: проблемы и решения
Автор: Парасич В.А., Парасич И.В., Волович Г.И., Некрасов С.Г., Парасич А.В.
Рубрика: Информатика и вычислительная техника
Статья в выпуске: 2 т.24, 2024 года.
Бесплатный доступ
Переобучение является одним из важнейших факторов, влияющих на качество работы алгоритмов машинного обучения. При решении задач машинного обучения важно уметь эффективно решать проблему переобучения. Цель исследования. Цель данной статьи - изучить проблему переобучения в задачах машинного обучения. В статье рассматриваются эффективные приёмы обучения, направленные на предотвращение переобучения.
Машинное обучение, переобучение, глубокое обучение, деревья решений, обучение метрик, обучающая выборка
Короткий адрес: https://sciup.org/147243963
IDR: 147243963 | DOI: 10.14529/ctcr240202
Список литературы Переобучение в машинном обучении: проблемы и решения
- Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Статистические проблемы обучения. М.: Наука, 1974. 416 с.
- Reconciling modern machine-learning practice and the classical bias-variance trade-off / M. Bel-kin, D. Hsu, S. Ma, S. Mandal // Proceedings of the National Academy of Sciences. 2019. Vol. 116, no. 32. P. 15849-15854. DOI: 10.1073/pnas.1903070116
- Аркадьев А.Г., Браверман Э.М. Обучение машины распознаванию образов. М.: Наука, 1964. 110 с.
- Загоруйко Н.Г. Гипотезы компактности и ^-компактности в методах анализа данных // Сибирский журнал индустриальной математики. 1998. Т. 1, № 1, С. 114-126.
- Augot D., Finiasz M., Sendrier N. A fast provably secure cryptographic hash function // Cryptology ePrint Archive. 2003. No. 230. P. 3-4.
- Fisher R.A. The use of multiple measurements in taxonomic problems // Annals of eugenics. 1936. Vol. 7, no. 2. P. 179-188. DOI: 10.1111/j.1469-1809.1936.tb02137.x
- Dang Q. Secure Hash Standard. Federal Inf. Process. Stds. (NIST FIPS), National Institute of Standards and Technology, Gaithersburg, MD, 2015. DOI: 10.6028/NIST.FIPS.180-4
- Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.
- Xiao Y., Wang W.Y. On hallucination and predictive uncertainty in conditional language generation // arXiv preprint arXiv:2103.15025. 2021. DOI: 10.48550/arXiv.2103.15025
- Language models are few-shot learners / T. Brown et al. // Advances in neural information processing systems. 2020. Vol. 33. P. 1877-1901.
- mixup: Beyond empirical risk minimization / H. Zhang, M. Cisse, Y.N. Dauphin, D. Lopez-Paz // arXiv preprint arXiv:1710.09412. 2017. DOI: 10.48550/arXiv.1710.09412
- Cutmix: Regularization strategy to train strong classifiers with localizable features / S. Yun, D. Han, S.J. Oh et al. // Proceedings of the IEEE/CVF international conference on computer vision. 2019. P. 6023-6032. DOI: 10.1109/ICCV.2019.00612
- Pseudo-labeling and confirmation bias in deep semi-supervised learning / E. Arazo, D. Ortego, P. Albert et al. // 2020 International Joint Conference on Neural Networks (IJCNN). IEEE. 2020. P. 1-8. DOI: 10.1109/IJCNN48605.2020.9207304
- The 'K' in K-fold Cross Validation / D. Anguita, L. Ghelardoni, A. Ghio et al. // Conference: European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN). 2012. P. 441-446.
- Magee J.F. Decision trees for decision making // Harvard Business Review. 1964. Vol. 42, no. 4. P.126-138.
