Предотвращение переобучения моделей Partial Least Squares Discriminant Analysis и Principal Component Analysis – Linear Discriminant Analysis классификации рамановских спектров рака кожи, обученных на малой выборке данных
Журнал: Компьютерная оптика @computer-optics
Рубрика: Численные методы и анализ данных
Статья в выпуске: 5 т.50, 2026 года.
Бесплатный доступ
Современная медицинская диагностика активно внедряет методы оптической спектроскопии, среди которых особое место занимает рамановская спектроскопия. Эта технология демонстрирует исключительную чувствительность к мельчайшим молекулярным изменениям в биологических тканях, что делает ее перспективным инструментом для неинвазивного выявления злокачественных новообразований кожи. В исследовательской практике для обработки спектральных данных широко применяются алгоритмы машинного обучения, однако их реализация часто не учитывает специфику спектроскопической информации, что приводит к созданию переобученных моделей–«черных ящиков». Исследование предоставляет методику обучения классификатора на малой выборке данных, которая гарантирует его устойчивость и высокую точность предсказания. В представленной работе рассматривается методика построения классификатора на основе двух методов: Partial Least Squares – Discriminant Analysis (дискриминантного анализа методом наименьших квадратов) и Principal Component Analysis – Linear Discriminant Analysis (метода главных компонент – линейного дискриминантного анализа), обученного на ограниченной выборке рамановских спектров. Исследование сосредоточено на дифференциации двух наиболее распространенных типов злокачественных поражений кожи – базальноклеточной карциномы и меланомы. Комплексный анализ, включающий оценку среднеквадратичной ошибки, процедуры кросс-валидации, визуализацию счетов и нагрузок, а также расчет точности классификации, позволил определить оптимальную сложность моделей и оптимальное число их главных компонент для устойчивого предсказания классификатора.
Короткий адрес: https://sciup.org/140316979
IDS: 140316979 | DOI: 10.18287/COJ1721
Preventing Overfitting of Partial Least Squares Discriminant Analysis and Principal Component Analysis – Linear Discriminant Analysis Models for Classification of Raman Spectra of Skin Cancer, Trained on a Small Data Sample
Modern medical diagnostics actively implements optical spectroscopy methods, among which Raman spectroscopy occupies a special place. This technology demonstrates exceptional sensitivity to the smallest molecular changes in biological tissues, which makes it a promising tool for non-invasive detection of malignant skin tumors. In research practice, machine learning algorithms are widely used to process spectral data, but their implementation often does not take into account the specifics of spectroscopic information, which leads to the creation of overfitted "black-box" models. This study presents a method for training a classifier on a small data sample, which guarantees its stability and high prediction accuracy. The presented work considers a method for constructing a classifier based on two methods: PLS-DA (Least Squares Discriminant Analysis) and PCA-LDA (Principal Component Analysis - Linear Discriminant Analysis), trained on a limited sample of Raman spectra. The study focuses on differentiating two most common types of malignant skin lesions - basal cell carcinoma and melanoma. A comprehensive analysis, including mean square error estimation, cross-validation procedures, visualization of scores and loadings, and calculation of classification accuracy, allowed us to determine the optimal complexity of models and the optimal number of their principal components for robust classifier prediction.