Разрешение событийно-несобытийной неоднозначности существительных: нейросетевой подход

Автор: Трофимов Игорь Владимирович, Сердюк Юрий Петрович, Сулейманова Елена Анатольевна, Власова Наталья Александровна

Журнал: Программные системы: теория и приложения @programmnye-sistemy

Рубрика: Искусственный интеллект, интеллектуальные системы, нейронные сети

Статья в выпуске: 4 (47) т.11, 2020 года.

Бесплатный доступ

В работе предложен метод автоматического определения значения существительных, неоднозначных с точки зрения событийно-несобытийной категоризации. Представлены результаты сопоставительного анализа нескольких нейросетевых архитектур, использованных для снятия неоднозначности. Обсуждается проблема обнаружения в тексте упоминаний о событиях.

Обнаружение событий в тексте, разрешение лексической неоднозначности, нейронная сеть, обработка естественного языка

Короткий адрес: https://sciup.org/143175970

IDR: 143175970   |   УДК: 004.89:81'322.2   |   DOI: 10.25209/2079-3316-2020-11-4-31-53

Eventive vs. non-eventive sense of nouns: disambiguation using neural network approach

The paper addresses the issue of automatic disambiguation of event nominals. Such nouns account for a large proportion of event mentions in text and therefore are, together with verbs, of relevance to the task of event extraction. Since event-denoting nouns are often polysemous between ‘eventuality’ and ‘non-eventuality’ senses, disambiguation is a critical step in event recognition. We expect that the suggested disambiguation method will contribute to the accuracy of event extraction from text. Lack of labelled data is a well-known impediment to machine-learning word sense disambiguation. To handle this problem, we used a semi-supervised technique. Two sets of unambiguous event- and entity-denoting nouns were created by hand (610 and 820 nouns resp.). From a large text corpus (PaRuS, 2.6 B tokens), we extracted 5~000 sentences per noun and split this set of contexts into two disjoint subsets: the validation set (contexts for 20 event-denoting nouns and 20 non-event nouns) and the training set (contexts for the rest of the nouns). We used the training set to train eight neural network classifiers of different architecture (MLP, CNN, RNN, BERT+MLP). For evaluation of this method, we tested the trained classifiers on the Russian Event Noun Disambiguation Test Set. The BERT-based model achieved the highest average accuracy of 84.8 ..

Список литературы Разрешение событийно-несобытийной неоднозначности существительных: нейросетевой подход

  • F. Hogenboom, F. Frasincar, U. Kaymak, F.D. Jong. "An overview of event extraction from text", Workshop on Detection, Representation and Exploitation of Events in the Semantic Web (DeRiVE) (Bonn, Germany, October 23, 2011), CEUR Workshop Proceedings, vol. 779, 2011, pp. 48-57.
  • W. Xiang, B. Wang. "A survey of event extraction from text", IEEE Access, 7 (2019), pp. 173111-173137.' 31
  • Z. Subecz. "Automatic Detection of nominal events in Hungarian texts with dependency parsing and WordNet", ICIST 2016: Information and Software Technologies, Communications in Computer and Information Science, vol. 639, eds. G. Dregvaite, R. Damasevicius, Springer, Cham, 2016, ISBN 978-3-319-46253-0, pp. 580-592. t3i 32
  • J. Allan, Topic Detection and Tracking: Event-Based Information Organization, The Information Retrieval Series, vol. 12, Springer Science & Business Media, 2012, ISBN 978-1-4613-5311-9. 31
  • A. Lefeuvre-Halftermeyer, J.-Y. Antoine, A. Couillault, E. Schang, L. Abouda, A. Savary, D. Maurel, I. Eshkol, D. Battistelli. "Covering various needs in temporal annotation: a proposal of extension of ISO TimeML that preserves upward compatibility", Proceedings of the Tenth International Conference on Language Resources and Evaluation, LREC'16, European Language Resources Association (ELRA), 2016, pp. 3802-3806. .url: 31
  • N. UzZaman, H. Llorens, L. Derczynski, J. Allen, M. Verhagen, J. Pustejovsky. "SemEval-2013 Task 1: TempEval-3: Evaluating Time expressions, events, and temporal relations", Second Joint Conference on Lexical and Computational Semantics (*SEM). V. 2: Proceedings of the Seventh International Workshop on Semantic Evaluation (SemEval 2013), Association for Computational Linguistics, 2013, pp. 1-9. (;uri)
  • C. Creswell, M.J. Beal, J. Chen, Th.L. Cornell, L. Nilsson, R. K. Srihari. "Automatically Extracting Nominal Mentions of Events with a Bootstrapped Probabilistic Classifier", Proceedings of the COLING/ACL 2006 MainConference Poster Sessions (Sydney, Australia, July, 2016), Association for Computational Linguistics, 2006, pp. 168-175. url 31 32 33 42
  • И. В. Трофимов, Е. А. Сулейманова, Н. А. Власова, А. В. Подобряев. «Разрешение событийно-несобытийной неоднозначности существительных», Программные системы: теория и приложения, 9:4(39) (2018), с. 3-33 (in Russian). Н» 1*32 41
  • E. Tadesse, R. Tsegaye, K. Qaqqabaa. "Event extraction from unstructured amharic text", Proceedings of The 12th Language Resources and Evaluation Conference (Marseille, France, May, 2020), European Language Resources Association, 2020, pp. 2103-2109. ml, 32
  • B. Arnulphy, V. Claveau, X. Tannier, A. Vilnat. "Supervised machine learning techniques to detect TimeML events in French and English", NLDB 2015: Natural Language Processing and Information Systems (Passau, Germany, June 17-19, 2015), Lecture Notes in Computer Science, vol. 9103, eds. Ch. Biemarm, S. Handschuh, A. Freita.s, F. Meziane, E. Metais, Springer, Cham, 2015, ISBN 978-3-319-19580-3, pp. 19-32. t32
  • R. Sauri, R. Knippen, M. Verhagen, J. Pustejovsky. "Evita: a RobustEvent recognizer for QA Systems", Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, HLT/EMNLP 2005 (Vancouver, British Columbia, Canada, October, 2005), pp. 700-707. .url. 32 41
  • T. Petrolito, F. Bond. "A survey of WordNet annotated corpora", Proceedings of the Seventh Global Wordnet Conference (Tartu, Estonia, January, 2014), University of Tartu Press, 2014, pp. 236-245. url 32
  • G. A. Miller. "WordNet: a lexical database for English", Communications of the ACM, 38:11 (1995), pp. 39-41. i ' 32
  • WordNet: An Electronic Lexical Database, ed. Ch. Fellbaum, MIT Press, 1998, ISBN 9780262061971, 449 pp. t32
  • M. Peters, M. Neumann, M. Iyyer, M. Gardner, Ch. Clark, K. Lee, L. Zettlemoyer. "Deep contextualized word representations", Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. V. 1 (New Orleans, Louisiana, June, 2018), Association for Computational Linguistics, 2018, pp. 2227-2237. url 34
  • J. Devlin, M-W. Chang, K. Lee, K. Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for language understanding, 2018, 16 pp. ai-Xiv;^ 1810.04805~[cs.CL] 34
  • Yu. Kuratov, M. Arkhipov. Adaptation of Deep Bidirectional Multilingual Transformers for Russian language, 2019, 8 pp. arXivW 1905.07213~[cs.CL]
  • Y. Wu, M. Schuster, Zh. Chen, Q.V. Le, M. Norouzi, W. Macherey, M. Krikun, Y. Cao, Q. Gao, K. Macherey, J. Klingner, A. Shah, M. Johnson, X Liu, L. Kaiser, S. Gouws, Y. Kato, T. Kudo, H. Kazawa, K. Stevens, G. Kurian, N. Patil, W. Wang, C. Young, J. Smith, J. Riesa, A. Rudnick, O. Vinyals, G. Corrado, M. Hughes, J. Dean. "Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation", Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2018. t34
  • Н. А. Власова, И. В. Трофимов, Ю.П. Сердюк, Е.А. Сулейманова, И. Н. Воздвиженский. «PaRuS — синтаксически аннотированный корпус русского языка», Программные системы: теория и приложения, 10:4(43) (2019), с. 181-199. I sj{ 36
  • I. V. Trofimov, N. A. Vlasova, E. A. Suleymanova, A. V. Podobryaev. Russian event noun disambiguation test set (6x200), Zenodo, 2018. 37
  • T. Mikolov, K. Chen, G. Corrado, J. Dean. Efficient estimation of word representations in vector space, 2013, 12 pp. arXivgJ 1301.3781~[cs.CL] 37
  • А. Панченко, Н. В. Лукашевич, Д. Усталов, Д. Паперно, К. М. Мейер, Н. Константинова. «RUSSE: семинар по оценке семантической близости для русского языка», Annual International Conference «Dialogue», RGGU, 2015, с. 89-105 (in English). URL 37
  • И. В. Трофимов, Е. А. Сулейманова. «Дистрибутивная модель для различения семантического сходства и ассоциации», International Conference «Dialogue», Computational Linguistics and Intellectual Technologies, т. 1(16), 2017, c. 349-359 (in English). ) ije 3r
  • H. Schmid. "Probabilistic part-of-speech tagging using decision trees", Proceedings of the Conference on New Methods in Language Processing (Manchester, UK, 1994), 1994, pp. 44-49. url 37
  • O. Н. Ляшевская, Т. О. Шаврина, И. В. Трофимов, Н. А. Власова. «GramEval 2020: дорожка по автоматическому морфологическому и синтаксическому анализу русских текстов», Annual International Conference «Dialogue», 19, 2020, с. 553-569 (in English). url 38
  • Анна А. Зализняк. «Феномен многозначности и способы его описания», Вопросы языкознания, 2004, №2, с. 20-45. p^t42
  • А. А. Сорокин, С. В. Макогонов, С. П. Королев. «Информационная инфраструктура для коллективной работы ученых Дальнего Востока России», Научно-техническая информация. Сер. 1: Организация и методика информационной работы, 2017, №12, с. 14-16. '43
Еще