Отбор признаков в условиях несбалансированности классов: эмпирическое сравнение корреляции и взаимной информации

Рассматривается проблема несбалансированности данных в задачах предварительного отбора признаков с использованием скрининга с гарантированной независимостью. В рамках данного подхода анализируется выбор меры зависимости, применяемой для ранжирования признаков. В работе исследуются два наиболее распространенных показателя взаимосвязи – коэффициент корреляции и взаимная информация. Коэффициент корреляции характеризует линейную зависимость между переменными, его оценки просты в вычислении и обладают хорошими статистическими свойствами. Взаимная информация является более универсальной мерой, способной выявлять нелинейные зависимости, однако ее оценивание требует восстановления распределений по выборочным данным, что приводит к повышенной вычислительной сложности и чувствительности к выбору параметров. На основе серии вычислительных экспериментов показано, что методы оценивания взаимной информации на основе k ближайших соседей уступают ядерным методам с точки зрения устойчивости и качества скрининга. Установлено, что во всех рассмотренных сценариях, включая различные уровни несбалансированности данных, корреляционные меры обеспечивают более стабильные оценки и более надежное ранжирование признаков по сравнению с взаимной информацией. Практическая применимость результатов продемонстрирована на реальных данных электроэнцефалографии, связанных с анализом арифметических способностей. Показано, что двухшаговая процедура, включающая скрининг на основе коэффициента корреляции и последующее моделирование с использованием LASSO-регрессии, обеспечивает существенное снижение ошибки кросс-валидации по сравнению с подходами, основанными на взаимной информации и отсутствием предварительного отбора. Использование главной компоненты, построенной по отобранным признакам, позволяет повысить точность прогноза. Полученные результаты свидетельствуют о том, что в условиях малых выборок, мультиколлинеарности и несбалансированности данных корреляционные меры являются более предпочтительными для задач предварительного отбора признаков с точки зрения устойчивости и воспроизводимости.