Экспериментальное сравнение методов векторизации текста для задачи классификации тональности отзывов

В работе представлено сравнительное исследование эффективности различных методов векторизации текста для задачи анализа тональности (Sentiment Analysis) на русскоязычных данных. Рассмотрены три категории методов: частотные (TF IDF, N-grams), статистические, основанные на word embeddings (Word2Vec, FastText), и современные контекстуальные методы на основе трансформеров (BERT). Проведен теоретический анализ преимуществ и недостатков каждого подхода с точки зрения качества классификации, скорости обучения и инференса, а также требований к вычислительным ресурсам. Практическая часть исследования включает реализацию пайплайна обработки текста и обучения классификаторов (логистическая регрессия и наивный байесовский классификатор) с использованием различных методов векторизации на датасете русскоязычных отзывов с маркетплейса. В качестве метрик оценки использовались точность (accuracy), F1-мера и время работы. Результаты экспериментов наглядно демонстрируют, что контекстуальные методы (BERT) обеспечивают значительный прирост качества на сложных, неоднозначных текстах, однако требуют на несколько порядков больше вычислительного времени и ресурсов. Частотные методы показывают высокую скорость и удовлетворительное качество на больших объемах четко структурированных данных. Статистические embeddings являются компромиссным решением.