Комплексный подход к анализу аргументативных отношений в текстах научной коммуникации

Автор: Сидорова Е.А., Ахмадеева И.Р., Загорулько Ю.А., Кононенко И.С., Серый А.С., Чагина П.М., Шестаков В.К.

Журнал: Онтология проектирования @ontology-of-designing

Статья в выпуске: 4 (50) т.13, 2023 года.

Бесплатный доступ

Рассматривается задача автоматического анализа аргументации в текстах научной коммуникации. Под аргументацией понимается упорядоченная совокупность аргументов, используемых для подтверждения некоторого тезиса. Аргумент включает как минимум одну посылку и одно заключение, связанные аргументативным отношением. Цель работы - экспериментальное исследование нейросетевых подходов к решению задачи поиска и извлечения аргументативных отношений между утверждениями, расположенными близко в тексте. Исследование проводилось на корпусе текстов с аргументативной разметкой, созданной с помощью разработанной веб-платформы. Корпус включал тексты научных новостей, аналитические статьи с сайта Хабр, научные статьи и рецензии. На основе этих текстов построены наборы данных для машинного обучения. Для повышения качества обучения нейросетевых моделей эти наборы дополнены путём применения автоматических методов перефразирования и двойного перевода. Рассмотрено два подхода к обучению моделей: с маркированием индикаторов в текстах и с предварительным обучением языковой модели на задаче предсказания индикаторов. Для оценивания результатов работы моделей предложен подход на основе оценок согласия между экспертами, применяемый для сравнения разметок текстов, созданных вручную. Сравнение коэффициентов согласия между экспертами и обученными моделями показало, что порог качества для извлечения аргументативных связей достигнут на модели с маркированными индикаторами. Анализ ошибок модели проведён путём визуализации полученных результатов. Новизна работы заключается в применении комплексного подхода к созданию наборов данных, обучению моделей и оцениванию результатов, полученных при автоматическом извлечении аргументативных отношений.

Еще

Аргументация, автоматический анализ, разметка текста, аргументативные отношения, индикатор аргументации, согласованность разметки, набор данных

Короткий адрес: https://sciup.org/170201899

IDR: 170201899 | DOI: 10.18287/2223-9537-2023-13-4-562-579

Список литературы Комплексный подход к анализу аргументативных отношений в текстах научной коммуникации

Toulmin S. The Uses of Argument. Cambridge University Press, 2003. 262 p.
Walton D., Reed C., Macagno F. Argumentation schemes. Cambridge University Press, 2008.
Perelman C., Olbrechts-Tyteca L. The new rhetoric. A treatise on argumentation. Notre Dame: University of Notre Dame Press, 1969. 576 p. DOI: 10.2307/j.ctvpj74xx
Wagemans J.H.M. Constructing a Periodic Table of Arguments // In: L. Benacquista, & P. Bondy (ed.): Argumentation, Objectivity and Bias: Proceedings of the Ontario Society for the Study of Argumentation Conference, vol. 11. University of Windsor, 2016.
Rahwan I., Reed C. The argument interchange format // In: G. Simari, I. Rahwan (ed.): Argumentation in Artificial Intelligence. Boston: Springer, 2009. P.383-402.
Cerutti F., Toniolo A., Norman T.J., Bex F., Rahwan I., Reed C. AIF-EL – an OWL2-EL compliant AIF ontology // In: Computational Models of Argument. Proc. of COMMA 2018. Vol. 305. IOS Press, 2018. P. 455–456.
Lippi M., Torroni P. Argumentation Mining: State of the Art and Emerging Trends. ACM Transactions on Internet Technology. 2016. Vol. 16, Issue 2, Article No. 10. P. 1-25. DOI: 10.1145/2850417.
Besnard P., Garcia A., Hunter A., Modgil A., Prakken H., Simari G., Toni F. Introduction to structured argumentation. Argument & Computation 2014, 5(1). P. 1-4.
Walton D. Argumentation theory: A very short introduction // In: G. Simari, I. Rahwan (ed.): Argumentation in Artificial Intelligence. Boston: Springer, 2009. P.1-22.
Кононенко И.С., Загорулько Ю.А., Серый А.С., Сидорова Е.А., Шестаков В.К. Классификация типовых моделей рассуждения и их применение для исследования аргументации в текстах научной коммуникации // “Знания – Онтологии – Теории”: Труды IX Международной конф. ЗОНТ-2023. Новосибирск: Институт математики им. С.Л. Соболева СО РАН, Новосибирский государственный университет, 2023. С.178-187.
Кибрик А.А. Модус, жанр и другие параметры классификации дискурсов // Вопросы языкознания. 2009. № 2. С.3-21.
Chen T. BERT Argues: How Attention Informs Argument Mining. Honors Theses, vol. 1589. 2021.
Putra J.W.G., Teufel S., Tokunaga T. Multi-Task and Multi-Corpora Training Strategies to Enhance Argumentative Sentence Linking Performance // In: Proc. of the 8th Workshop on Argument Mining. Punta Cana: Association for Computational Linguistics, 2021. P.12-23.
Prasad R., Miltsakaki E., Dinesh N., Lee A., Joshi A. The Penn Discourse Treebank 2.0 Annotation Manual. Pennsylvania: Institute for Research in Cognitive Science, University of Pennsylvania, 2007. 99 p.
Eckle-Kohler J., Kluge R., Gurevych I. On the role of discourse markers for discriminating claims and premises in argumentative discourse // In: Proc. of the Conf. on Empirical Methods in Natural Language Processing. Lisbon: Association for Computational Linguistics, 2015. P.2236-2242.
Fisher R.A. Statistical Methods for Research Workers. London: Oliver and Boyd, 1932.
Xu H., Ashley K. Multi-Granularity Argument Mining in Legal Texts // Legal Knowledge and Information Systems. IOS Press, 2022. P.261-266.
Dutta S., Juneja J., Das D., Chakraborty T. Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining? // In: Proc. of the 60th Annual Meeting of the Association for Computational Linguistics. Vol. 1: Long Papers. Dublin: Association for Computational Linguistics, 2022. P.7774-7786.
Сидорова Е.А., Ахмадеева И.Р., Загорулько Ю.А., Серый А.С., Шестаков В.К. Платформа для исследования аргументации в научно-популярном дискурсе // Онтология проектирования. 2020. Т. 10, №4 (38). С. 489-502. DOI: 10.18287/2223-9537-2020-10-4-489-502.
Загорулько Ю.А., Гаранина Н.О. , Боровикова О.И., Доманов О.А. Моделирование аргументации в научно-популярном дискурсе с использованием онтологий // Онтология проектирования. 2019. Т. 9, № 4(34). С. 496-509. DOI: 10.18287/2223-9537-2019-9-4-496-509.
Sidorova E.A., Akhmadeeva I.R., Kononenko I.S., Chagina P.M. Argument Extraction Based on the Indicator Approach // Pattern Recognition and Image Analysis. Vol.33(3). 2023. P.498–505. DOI: 10.1134/S1054661823030410.
Alibaeva K., Loukachevitch N. Analyzing COVID-related Stance and Arguments using BERT-based Natural Language Inference // In: Proc. of the Int. Conf. on Computational Linguistics and Intellectual Technologies “Dialogue 2022”. Issue 21. 2022. P.8-17.
Кононенко И.С., Ахмадеева И.Р., Сидорова Е.А. Лингвистические аспекты исследования аргументации на основе онтологии // Информационные и математические технологии в науке и управлении. 2020. №4 (20). С. 44-55. DOI: 10.38028/ESI.2020.20.4.004
Ng N., Yee K., Baevski A., Ott M., Auli M., Edunov S. Facebook FAIR's WMT19 news translation task submission // arXiv preprint: 1907.06616. 2019.
Fenogenova A. Russian paraphrasers: Paraphrase with transformers // In: Proc. of 8th Workshop on Balto-Slavic Natural Language Processing. Ukraine. 2021.
Сидорова Е.А., Загорулько Ю.А., Кононенко И.С., Серый А.С., Чагина П.М. Подход к построению датасета для задачи извлечения аргументативных отношений // Двадцать первая Национальная конференция по искусственному интеллекту с международным участием КИИ-2023: Труды конф. (Смоленск, 16–20 октября 2023 г.). Т.1. Смоленск: Принт-Экспресс, 2023. С.211-222.
Zmitrovich D., Abramov A., Kalmykov A., Tikhonova M., Taktasheva E., Astafurov D., Baushenko M., Snegirev A., Shavrina T., Markov S., Mikhailov V., Fenogenova A. A Family of Pretrained Transformer Language Models for Russian. 2023. ArXiv, abs/2309.10931.
Krippendorff K. Content Analysis: An Introduction to Its Methodology. SAGE, Thousand Oaks, 2004.
Олейник А.Н., Попова И.П., Кирдина С.Г., Шаталова Т.Ю. Надежность и достоверность в контентанализе текстов: выбор показателей // Психологический журнал. 2014. Т. 35, №6. С. 99-113.
Teruel M., Cardellino C., Cardellino F., Alemany L., Villata S. Increasing Argument Annotation Reproducibility by Using Inter-annotator Agreement to Improve Guidelines // In: Proc. of the 11th Int. Conf. on Language Resources and Evaluation (LREC 2018). Miyazaki, Japan, 2018.
Lindahl A., Borin L., Rouces J. Towards Assessing Argumentation Annotation – A First Step // In: Proc. of the 6th Workshop on Argument Mining (Florency, Italy, 2019). 2019. P. 177-186.
Пименов И.С. Анализ расхождений в аргументационной разметке научных статей на русском языке // Вестник НГУ. Серия: Лингвистика и межкультурная коммуникация. 2023. Т.21, №2. С.89-104. DOI 10.25205/1818-7935-2023-21-2-89-104.

Еще

Статья научная