Метод классификации аспектов аргументации в русскоязычных текстах
Автор: Фищева И.Н., Пескишева Т.А., Головизнина В.С., Котельников Е.В.
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Искусственный интеллект, интеллектуальные системы, нейронные сети
Статья в выпуске: 4 (59) т.14, 2023 года.
Бесплатный доступ
Автоматический анализ аргументации в текстах привлекает в последние годы внимание исследователей в связи с широким диапазоном приложений, в частности, в анализе научных и юридических текстов, новостных статей, политических дебатов, студенческих эссе и социальных медиа. Новая задача в этой области- анализ аргументации с учетом аспектов, где под аспектом понимается свойство объекта, относительно которого строится довод. Учет аспектов позволяет уточнить направленность аргументации и понимание аргументационной структуры, а также может быть использован для генерации высококачественных и специфичных для выбранных аспектов доводов. В статье предлагается метод классификации аспектов аргументации в текстах на русском языке, построение на его основе и исследование моделей классификации аспектов аргументации с использованием машинного обучения и нейронных сетей. Впервые сформирован русскоязычный текстовый корпус, включающий 1426 предложений и размеченный по 16 аспектам аргументации, построена нейросетевая языковая модель классификации аргументов ArgBERT и обучены модели Random Forest для классификации аспектов аргументации. Качество классификации на основе Random Forest составляет в среднем F1=0,6373. Наилучшее качество разработанные модели демонстрируют для аспектов «Безопасность», «Влияние на здоровье», «Влияние на психику», «Отношение властей» и «Уровень жизни» (F1-мера выше 0,75).
Анализ аргументации, текстовые корпуса, нейросетевые языковые модели, машинное обучение, random forest, аспекты аргументации
Короткий адрес: https://sciup.org/143181011
IDR: 143181011 | DOI: 10.25209/2079-3316-2023-14-4-25-45
Список литературы Метод классификации аспектов аргументации в русскоязычных текстах
- van Eemeren F. H., Grootendorst R., Johnson R. H., Plantin C., Willard C. A. Fundamentals of Argumentation Theory. A Handbook of Historical Backgrounds and Contemporary Developments.– New York–London: Routledge Taylor& Francis Group.– 1996.– ISBN 978-1-136-68803-4. https://doi.org/10.4324/9780203811306
- Lawrence J., Reed C. Argument mining: a survey // Computational Linguistics.– 2020.– Vol. 45.– No. 4.– Pp. 765–818. https://doi.org/10.1162/coli_a_00364
- Stede M., Schneider J. Argumentation Mining, Synthesis Lectures on Human Language Technologies.– Vol. 40.– Morgan & Claypool.– 2018.– ISBN 978-3-031-01041-5.– xv+175 pp. https://doi.org/10.2200/S00883ED1V01Y201811HLT040
- Addawood A. A., Bashir M. N. What is your evidence? A study of controversial topics on social media // Proceedings of the Third Workshop on Argument Mining, ArgMining-2016 (Berlin, Germany).– ACL.– 2016.– Pp. 1–11. https://doi.org/10.18653/v1/W16-2801
- Lippi M., Palka P., Contissa G., Lagioia F., Micklitz H.-W., Sartor G., Torroni P. CLAUDETTE: An automated detector of potentially unfair clauses in online terms of service // Artificial Intelligence and Law.– 2019.– Vol. 27.– Pp. 117–139. https://doi.org/10.1007/s10506-019-09243-2
- Green N. L. Towards mining scientific discourse using argumentation schemes // Argument & Computation.– 2018.– Vol. 9.– No. 2.– Pp. 121–135. https://doi.org/10.3233/AAC-180038
- Hua X., Nikolov M., Badugu N., Wang L. Argument mining for understanding peer reviews // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies.– V. 1: Long and Short Papers, NAACL 2019 (Minneapolis, Minnesota).– ACL.– 2019.– Pp. 2131–2137. https://doi.org/10.18653/v1/N19-1219
- Roush A., Balaji A. DebateSum: A large-scale argument mining and summarization dataset // Proceedings of the 7th Workshop on Argument Mining.– ACL.– 2020.– Pp. 1–7. hUtRtpLs://aclanthology.org/2020.argmining-1.1
- El Baff R., Wachsmuth H., Al-Khatib K., Stein B. Analyzing the persuasive effect of style in news editorial argumentation // Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.– ACL.– 2020.– Pp. 3154–3160. https://doi.org/10.18653/v1/2020.acl-main.287
- Stab C., Gurevych I. Identifying argumentative discourse structures in persuasive essays // Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP-2014 (Doha, Qatar).– ACL.– 2014.– Pp. 46–56. https://doi.org/10.3115/v1/D14-1006
- Mohammad S., Kiritchenko S., Sobhani P., Zhu X., Cherry C. SemEval-2016 task 6: Detecting stance in tweets // Proceedings of the 10th International Workshop on Semantic Evaluation, SemEval-2016 (San Diego, California).– 2016.– Pp. 31–41. https://doi.org/10.18653/v1/S16-1003
- Bondarenko A., Hagen M., Potthast M., Wachsmuth H., Beloucif M., Biemann C., Panchenko A., Stein B. Touche: First shared task on argument retrieval // Proceedings of the 42nd European Conference on Information Retrieval, ECIR 2020, Advances in Information Retrieval.– vol. 12036.– 2020.– Pp. 517–523. https://doi.org/10.1007/F978-3-030-45442-5_67
- Bondarenko A., Gienapp L., Frobe M., Beloucif M., Ajjour Y., Panchenko A., Biemann C., Stein B., Wachsmuth H., Potthast M., Hagen M. Overview of Touché 2021: Argument retrieval // Experimental IR Meets Multilinguality, Multimodality, and Interaction, CLEF 2021, Lecture Notes in Computer Science.– vol. 12880, Cham: Springer.– 2021.– ISBN 978-3-030-85250-4.– Pp. 450–467. https://doi.org/10.1007/978-3-030-85251-1_28
- Kotelnikov E., Loukachevitch N., Nikishina I., Panchenko A. RuArg-2022: Argument mining evaluation, Papers from the Annual International Conference “Dialogue-2022” (Moscow, June 15–18, 2022), Computational Linguistics and Intellectual Technologies.– vol. 21.– ISBN 978-5-7281-3205-9.– Pp. 333–348. hUtRtpLs://www.dialog-21.rhut/tpmse:/d/iad/o5i.7o7r3g/k1o0t.2e8ln9i9k5o/v2e0p7lu5s-7et1a8l21-1210.2p2d-f21-333-348
- Fishcheva I. N., Goloviznina V. S., Kotelnikov E. V. Traditional machine learning and deep learning models for argumentation mining in Russian texts, Papers from the Annual International Conference “Dialogue-2021”, Computational Linguistics and Intellectual Technologies.– vol. 20.– 2021.– ISBN 978-5-7281-3032-1.– Pp. 246–258. https://doi.org/10.28995/2075-7182-2021-20-246-258
- Fishcheva I. N., Kotelnikov E. V. Cross-lingual argumentation mining for Russian texts, 8th International Conference “Analysis of Images, Social networks and Texts” (AIST 2019), Lecture Notes in Computer Science.– vol. 11832, Cham: Springer.– 2019.– ISBN 978-3-030-37333-7.– Pp. 134–144. https://doi.org/10.1007/978-3-030-37334-4_12
- Salomatina N. V., Kononenko I. S., Sidorova E. A., Pimenov I. S. Identification of connected arguments based on reasoning schemes “from expert opinion”, International Conference «Marchuk Scientific Readings 2020» (MSR-2020), dedicated to the 95th anniversary of the birthday of RAS Academician Guri I. Marchuk (October 19–23, 2020, Akademgorodok, Novosibirsk, Russia), Journal of Physics: Conference Series.– vol. 1715.– 2021.– id. 012013.– 11 pp. https://doi.org/10.1088/1742-6596/1715/1/012013
- Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics.– V. 1: Long and Short Papers (Minneapolis, Minnesota).– ACL.– 2019.– Pp. 4171–4186. https://doi.org/10.18653/v1/N19-1423
- Brown T., Mann B., Ryder N., Subbiah M., Kaplan J. D., Dhariwal P., Neelakantan A., Shyam P., Sastry G., Askell A., Agarwal S., Herbert-Voss A., Krueger G., Henighan T., Child R., Ramesh A., Ziegler D., Wu J., Winter C., Hesse Ch., Chen M., Sigler E., Litwin M., Gray S., Chess B., Clark J., Berner Ch., McCandlish S., Radford A., Sutskever I., Amodei D. Language models are few shot learners, NeurIPS 2020, Advances in Neural Information Processing Systems.– vol. 33.– 2020.– ISBN 9781713829546.– Pp. 1877–1901.
- Ruckdeschel M., Wiedemann G. Boundary detection and categorization of argument aspects via supervised learning // Proceedings of the 9th Workshop on Argument Mining (Online and in Gyeongju, Republic of Korea).– International Conference on Computational Linguistics.– 2022.– Pp. 126–136. hUtRtpLs://aclanthology.org/2022.argmining-1.12
- Schiller B., Daxenberger J., Gurevych I. Aspect-controlled neural argument generation , aspect-controlled neural argument generation // Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL 2021.– ACL.– 2021.– Pp. 380–396. https://doi.org/10.18653/v1/2021.naacl-main.34
- Jurkschat L., Wiedemann G., Heinrich M., Ruckdeschel M., Torge S. Few-shot learning for argument aspects of the nuclear energy debate // Proceedings of the 13th Language Resources and Evaluation Conference, LREC-2022 (Marseille, France).– European Language Resources Association.– 2022.– Pp. 663–672. UhtRtpLs://aclanthology.org/2022.lrec-1.69
- Stab C., GurevychI.Recognizing insufficiently supportedargumentsin argumentative essays // Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics.– V. 1: Long Papers, EACL-2017 (Valencia, Spain).– ACL.– 2017.– Pp. 980–990. hUtRtpLs://aclanthology.org/E17-1092
- Fishcheva I. N., Osadchiy D., Bochenina K. O., Kotelnikov E. V. Argumentative text generation in economic domain, Papers from the Annual International Conference “Dialogue-2022” (Moscow, June 15–18, 2022), Computational Linguistics and Intellectual Technologies.– vol. 21.– ISBN 978-5-7281-3205-9.– Pp. 211–222. https://doi.org/10.28995/2075-7182-2022-21-211-222
- Keskar N. S., McCann B., Varshney L. R., Xiong C., Socher R. CTRL: A conditional transformer language model for controllable generation.– 2019.– 18 pp. arXivarXiv 1909.05858
- Gormley C., Tong Z. Elasticsearch: The Definitive Guide: A Distributed Real-Time Search and Analytics Engine.– O’Reilly Media Inc..– 2015.– ISBN 978-1449358549.– 721 pp.
- Peldszus A., Stede M. Joint prediction in MST-style discourse parsing for argumentation mining // Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP 2015 (Lisbon, Portugal).– ACL.– 2015.– Pp. 938–948. https://doi.org/10.18653/v1/D15-1110
- Stab C., Miller T., Schiller B., Rai P., Gurevych I. Cross-topic argument mining from heterogeneous sources // Proceedings of the Conference on Empirical Methods in Natural Language Processing, EMNLP-2018 (Brussels, Belgium).– ACL.– 2018.– Pp. 3664–3674. https://doi.org/10.18653/v1/D18-1402
- Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval.– Cambridge University Press.– 2008.– ISBN 978-0521865715.– 506 pp.
- Fleiss J. L. Measuring nominal scale agreement among many raters // Psychological Bulletin.– 1971.– Vol. 76.– No. 5.– Pp. 378–382. https://doi.org/doi/10.1037/h0031619
- Artstein R., Poesio M. Inter-coder agreement for computational linguistics // Computational Linguistics.– 2008.– Vol. 34.– No. 4.– Pp. 555–596. https://doi.org/10.1162/coli.07-034-R2
- Breiman L. Random forests // Machine Learning.– 2001.– Vol. 45.– Pp. 5–32. https://doi.org/10.1023/A:1010933404324
- Goloviznina V. S., Fishcheva I. N., Peskisheva T. A., Kotelnikov E. V. Aspect-based argument generation in Russian, Papers from the Annual International Conference “Dialogue” (2023) (June 14–16, 2023), Computational Linguistics and Intellectual Technologies.– vol. 22, Supplementary volume.– Pp. 117–129. https://doi.org/10.28995/2075-7182-2023-22-117-129
- Touvron H., Lavril T., Izacard G., Martinet X., Lachaux M.-A., Lacroix T., Rozière B., Goyal N., Hambro E., Azhar F., Rodriguez A., Joulin A., Grave E., Lample G. LLaMA: Open and efficient foundation language models.– 2023.– 27 pp. arXivarXiv 2302.13971
Статья научная
