Внутренние методы оценки информационной полноты рефератов в задаче автоматического реферирования текстов
Автор: Челышев Э.А., Раскатова М.В., Щголев П.
Рубрика: Информатика и вычислительная техника
Статья в выпуске: 3, 2024 года.
Бесплатный доступ
В статье представлена классификация существующих методов оценки качества рефератов в задаче автоматического реферирования текстов. Представлена формальная постановка задачи автоматического реферирования текстов. Рассмотрено понятие качества реферата. Подробно рассмотрены внутренние методы оценки информационной полноты реферата, такие как метрики группы ROUGE, косинусное сходство, расстояние Кульбака - Лейблера, расстояние Дженсена -Шеннона. Представлены достоинства и недостатки рассмотренных внутренних методов и методов, использующих экспертную оценку.
Автоматическое реферирование, rouge, косинусное сходство, расстояние кульбака - лейблера, расстояние дженсена - шеннона, векторизация
Короткий адрес: https://sciup.org/148330045
IDR: 148330045 | DOI: 10.18137/RNU.V9187.24.03.P.144
Список литературы Внутренние методы оценки информационной полноты рефератов в задаче автоматического реферирования текстов
- Luhn H. The automatic creation of literature abstracts // IB M Journal of Research and Development. New York, 1958. Vol. 2 (2). P. 159–165. DOI: 10.1147/rd.22.0159
- Бабуркин Э.В., Нестругина Е.С. Разработка языковых моделей для различных жанров текста и языка текста на основе глубокого обучения в системе автоматического реферирования текста // Донецкие чтения 2022: образование, наука, инновации, культура и вызовы современности: Материалы VII Международной научной конференции, посвящённой 85-летию Донецкого национального университета, Донецк, 27–28 октября 2022 г. / Под общ. ред. С.В. Беспаловой. Т. 2. Донецк: Донецкий национальный университет, 2022. С. 224–226. EDN MFEGT H.
- Челышев Э.А., Раскатова М.В., Мишин А.А., Щёголев П.В. Автоматическое реферирование текстов: обзор алгоритмов и подходов к оценке качества // Инженерный вестник Дона. 2023. № 12 (108). С. 11–23. EDN NKOZOS.
- Батура Т.В., Бакиева А.М. Методы и системы автоматического реферирования текстов. Новосибирск: Новосибирский национальный исследовательский государственный университет, 2019. 110 с. ISBN 978-5-4437-0974-1.
- Aries A., Zegour D.E., Hidouci W.-K. Automatic text summarization: What has been done and what has to be done // arXiv. 2019. April. URL: https://arxiv.org/abs/1904.00688 (дата обращения: 11.08.2024).
- Louis A., Nenkova A. Automatic Summary Evaluation without Human Models // Theory and Applications of Categories. 2008. URL: https://tac.nist.gov/publications/2008/additional.papers/Penn.proceedings.pdf (дата обращения: 11.08.2024).
- Lin C.-Y. ROUGE: A package for automatic evaluation of summaries // Proceedings of ACL Text Summarization Branches Out Workshop. Barcelona, Spain, 2004. P. 74–81. URL: https://typeset.io/papers/rouge-a-package-for-automatic-evaluation-of-summaries-2tymbd14i8?ysclid=m0bkmbvfwi294060368 (дата обращения: 11.08.2024).
- Aliguliyev R. M. Using the F-measure as similarity measure for automatictext summarization // Computational Technologies. 2008. Vol. 13. No. 3. P. 5–14. EDN KMKOFD.
- Раскатова М.В., Челышев Э.А. Векторизация текстов в задачах обработки естественного языка: история и развитие // Современное программирование: Материалы IV Международной научно-практической конференции, Нижневартовск, 08 декабря 2021 г. / Под общ. ред. Т.Б. Казиахмедова. Нижневартовск: Нижневартовский государственный университет, 2022. С. 284–288. EDN BZQQVZ. DOI: 10.36906/AP -2022/47
- Mikolov T., Sutskever I., Chen K., Corrado G., Dean J. (2013). Distributed Representations of Words and Phrases and their compositionality // NIPS ’13: Proceedings of the 26th International Conference on Neural Information Processing Systems. 2013. Vol. 2. Pp. 3111–3119. URL: https://dl.acm.org/doi/abs/10.5555/2999792.2999959?cookieSet=1 (дата обращения: 11.08.2024).
- Савченко Т.Ю. Обработка естественного языка для использования в машинном обучении: частотная векторизация, TF-IDF , word2vec // Аллея науки. 2018. Т. 4. № 6 (22). С. 1000–1002. EDN UVDSCA.
- Manning C.D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge, England: Cambridge University Press, 2008. 482 p. ISBN 0521865719.
- Брюховецкий А.А. Модель обнаружения аномальных данных на основе информационного критерия // Дневник науки. 2021. № 4 (52). EDN UOQDO Y.
- Челышев Э.А., Раскатова М.В., Маковец А.С. Сравнительный анализ алгоритмов автоматического квазиреферирования текстов // Вестник Российского нового университета. Серия: Сложные системы: модели, анализ и управление. 2023. № 4. С. 176–184. EDN YQIJFY. DOI: 10.18137/RNU.V9187.23.04.P.176
- Lin C.-Y., Cao G., Gao J., Nie J.-Y. An Information-Theoretic Approach to Automatic Evaluation of Summaries // Moore R.C., Bilmes J., Chu-Carroll J., Sanderson M. (Eds) Proceedings of the Human Language Technology Conference of the NAACL , Main Conference. New York City, USA , 2006. P. 463–470. URL: https://aclanthology.org/N06-1059 (дата обращения: 11.08.2024).
Статья научная
