Использование нейронных сетей для бинарной классификации сообщений из социальных сетей в сфере городского хозяйства
Автор: Йосифова А.И.
Журнал: Международный журнал гуманитарных и естественных наук @intjournal
Рубрика: Технические науки
Статья в выпуске: 1-3 (100), 2025 года.
Бесплатный доступ
В данной работе рассматривается применение различных моделей архитектуры BERT семейства трансформеров в решении задачи классификации сообщений из социальных сетей. Актуальность работы обусловлена необходимостью разработки решения данной задачи с целью повышения эффективности обработки информации в городском хозяйстве. Для этого был выбран подход дообучения (fine-tuning) уже предобученных моделей из открытых ресурсов на основе имеющегося набора размеченных данных. При этом были использованы различные модели на основе данной архитектуры, такие как BERT, RuBERT, RoBERTa и др. Результаты работы показали большую эффективность применения данных моделей по совокупности метрик: точность, полнота, скорость работы и количество ложноположительных ответов. Для достижения максимального значения метрики полнота был снижен порог отнесения объекта моделью к положительному классу, при этом точность моделей уменьшилась незначительно. Особенно хорошо себя показали модели, предобученные на русскоязычных текстах и на текстах из социальных сетей. Лучшей оказалась модель ai-forever/ruBert-base, при использовании которой значительно снизилось количество ложноположительных ответов.
Классификация текста, машинное обучение, обработка естественного языка, социальные сети
Короткий адрес: https://sciup.org/170208958
IDR: 170208958 | DOI: 10.24412/2500-1000-2025-1-3-148-153
Список литературы Использование нейронных сетей для бинарной классификации сообщений из социальных сетей в сфере городского хозяйства
- Devlin J. et al. Bert: Pre-training of deep bidirectional transformers for language understanding // arXiv preprint arXiv:1810.04805. - 2018.
- Tezgider M., Yildiz B., Aydin G. Text classification using improved bidirectional transformer // Concurrency and Computation: Practice and Experience. - 2022. - T. 34. - № 9.
- Solomin A.A., Ivanova Y.A. Modern approaches to multielass intent classification based on pre-trained transformers // Scientife and Techrical Journal of Information Technologies, Mechanics and Optics. - 2020. - Т. 20. - № 4. - С. 532-538.
- Sun C. et al. How to fine-tune bert for text classification? // Chinese Computational Linguistics: 18th China National Conference, CCL 2019, Kunming, China, October 18-20, Proceedings 18. Springer International Publishing. - 2019. - C. 194-206.
- Белоногова А.Д., Огнянович П.А., Гайдамака К.И. Применение методов машинного обучения для обеспечения качества спецификаций требований // International Journal of Open Information Technologies. - 2021. - Т. 9. - № 8.
