Применение методов машинного обучения для выявления аргументативных связей в текстах научной коммуникации

Представлены результаты экспериментов по оценке применимости методов машинного обучения для решения задачи распознавания аргументативных связей в текстах научной коммуникации. Под аргументативной связью понимается отношение, связывающее посылку и заключение типового рассуждения или аргумента, используемого автором для убеждения аудитории. Для оценки качества применялись характеристики точности, полноты и F -меры, полученные при решении задачи распознавания аргументативных связей между смежными текстовыми фрагментами двух видов: предложений и клауз. Базой эксперимента послужил русскоязычный корпус текстов из области научной коммуникации с размеченной экспертами-лингвистами аргументацией. Для разметки использован инструмент ArgNetBank Studio , позволяющий создавать коллекции текстов с детализированной разметкой аргументации. На основе размеченных текстов построены наборы данных для машинного обучения, в которых соотношение связанных и несвязанных аргументативными отношениями пар фрагментов текста (предложений или клауз) составило 1 к 3. Для повышения качества обучения моделей наборы были сбалансированы двумя способами. В первом случае баланс достигался за счёт того, что из каждого текста отбиралось равное количество пар обоих типов, во втором - пары дублировались. На полученных наборах данных проведены эксперименты по связыванию фрагментов текста методами машинного обучения разных типов. Экспериментально определён диапазон изменения оценок качества при распознавании связанных фрагментов в зависимости от их доли в обучающей и тестовой коллекциях. Установлено, что в рамках существующего дисбаланса в реальных коллекциях значения оценок качества могут изменяться в пределах 40-50%. Новизна работы заключается в исследовании диапазона возможных расхождений в оценках качества при применении разных методов машинного обучения на сбалансированных и несбалансированных обучающих и тестовых коллекциях на русскоязычном материале.