Сравнительный анализ алгоритмов автоматического квазиреферирования текстов
Автор: Челышев Эдуард Артурович, Раскатова Марина Викторовна, Маковец Антон Сергеевич
Рубрика: Информатика и вычислительная техника
Статья в выпуске: 4, 2023 года.
Бесплатный доступ
Приводится постановка задачи автоматического квазиреферирования текстов, а также подробно рассматриваются такие алгоритмы автоматического квазиреферирования текстов, как алгоритм Луна, латентный семантический анализ, TextRank и LexRank. Выполнена оценка информационной полноты для набора рефератов, сгенерированных при помощи указанных алгоритмов, с использованием метрик информационной близости: метрики, основанной на расстоянии Дженсена - Шеннона, и косинусного сходства, примененных к векторным представлениям исходного текста и полученных рефератов. Проведен статистический анализ полученных результатов.
Реферат, реферирование, квазиреферирование, расстояние дженсена - шеннона, косинусное сходство
Короткий адрес: https://sciup.org/148327851
IDR: 148327851 | DOI: 10.18137/RNU.V9187.23.04.P.176
Список литературы Сравнительный анализ алгоритмов автоматического квазиреферирования текстов
- Luhn H. The automatic creation of literature abstracts // IBM Journal of Research and Development. 1958.Vol. 2. Pp. 159–165. DOI: 10.1147/rd.22.0159
- Бакиева А.М., Батура Т.В., Федотов А.М. Методы и системы автоматического реферирования текста // Вычислительные и информационные технологии в науке, технике и образовании (CITech-2015). Алматы, 24–27 сентября 2015 г. Ч. 1. Алматы: Казахский национальный университет имени Аль-Фараби, 2015. С. 263–274. EDN UJOVTL.
- Батура Т.В., Бакиева А.М. Методы и системы автоматического реферирования текстов. Новосибирск: Новосибирский национальный исследовательский государственный университет, 2019. 110 с. ISBN 978-5-4437-0974-1. EDN VLYL OR.
- Полицына Е.В., Полицын С. А., Касаткина А. О. Создание интегрального алгоритма и инструментов автоматического реферирования текстов на русском языке // Информационные технологии. 2020. Т. 26. № 1. С. 30–38. EDN KCJZGM. DOI: 10.17587/it.26.30-38
- Челышев Э.А., Оцоков Ш.А., Раскатова М.В., Щеголев П. Сравнение методов классификации русскоязычных новостных текстов с использованием алгоритмов машинного обучения // Вестник кибернетики. 2022. № 1 (45). С. 63–71. EDN VHTYBB. DOI: 10.34822/1999-7604-2022-1-63-71
- Kumar Y.J., Goh O.S., Basiron H. A review on automatic text summarization approaches // Journal of Computer Science. 2016. Vol. 12. No. 4. Pp. 178–190. DOI: 10.3844/jcssp.2016.178.190
- Louis A., Nenkova A. Automatic Summary Evaluation without Human Models // Theory and Applications of Categories. 2008. URL: https://tac.nist.gov/publications/2008/additional.papers/Penn.proceedings.pdf (дата обращения: 12.04.2023).
- Крылов В.С. Автоматическое аннотирование текста с помощью R-пакета LexRank // Информационно-компьютерные технологии в экономике, образовании и социальной сфере. 2022. № 3 (37). С. 73–81. EDN TSCNBZ.
- Lin C.-Y., Cao G., Gao J., Nie J.-Y. An Information-Theoretic Approach to Automatic Evaluation of Summaries // Proceedings of the Human Language Technology Conference of the NAACL. Main Conference, New York City, USA, 2006. Pp. 463–470. URL: https://aclanthology.org/N06-1059/# (дата обращения: 12.04.2023).
- Manning C.D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge, England: Cambridge University Press, 2008. 482 p. ISBN 0521865719.
- Раскатова М.В., Челышев Э.А. Векторизация текстов в задачах обработки естественного языка: история и развитие // Современное программирование: Материалы IV Международной научно-практической конференции, Нижневартовск, 08 декабря 2021 г. / Под общ. ред. Т.Б. Казиахмедова. Нижневартовск: Нижневартовский государственный университет, 2022. С. 284–288. EDN BZQQVZ. DOI: 10.36906/AP-2022/47
- News dataset from Lenta.Ru. Corpus of Russian news articles collected from Lenta.Ru // Kaggle.com. URL: https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta (дата обращения: 12.04.2023).
