Алгоритм построения дерева синтаксических единиц русскоязычного предложения по дереву синтаксических связей

Анатолий Юрьевич Полетаев Илья Вячеславович Парамонов Елена Игоревна Бойчук

Журнал: Информатика и автоматизация (Труды СПИИРАН) @ia-spcras

Рубрика: Искусственный интеллект, инженерия данных и знаний

Статья в выпуске: Том 22 № 6, 2023 года.

Бесплатный доступ

Автоматический синтаксический анализ предложения — одна из важных задач компьютерной лингвистики. В настоящее время для русского языка отсутствуют общедоступные и пригодные для практического применения анализаторы синтаксической структуры. Создание таких анализаторов «с нуля» требует составления корпуса деревьев, размеченного в соответствии с заданной формальной грамматикой, что представляет собой крайне трудоёмкую задачу. Однако, поскольку для русского языка существует несколько анализаторов синтаксических связей, представляется полезным использовать результаты их работы для анализа синтаксической структуры предложений. В настоящей работе предлагается алгоритм, позволяющий построить дерево синтаксических единиц русскоязычного предложения по данному дереву синтаксических связей. Алгоритм использует грамматику, сформулированную в соответствии с классическим справочником Д.Э. Розенталя. Приведены результаты экспериментов по оценке качества работы предложенного алгоритма на корпусе из 300 предложений на русском языке. 200 предложений были выбраны из вышеупомянутого справочника и 100 из открытого корпуса публицистических текстов OpenCorpora. В ходе экспериментов предложения подавались на вход анализаторов из состава библиотек Stanza, SpaCy и Natasha, после чего полученные деревья синтаксических связей обрабатывались предложенным алгоритмом. Полученные в результате обработки деревья синтаксических единиц сравнивались с размеченными вручную экспертами-филологами. Наилучшее качество было получено при использовании анализатора синтаксических связей из библиотеки Stanza: F1-мера построения синтаксических единиц составила 0.85, а точность определения членов предложения — 0.93, чего должно быть достаточно для решения многих практических задач в таких областях, как извлечение событий, информационный поиск, анализ тональности.

компьютерная лингвистика \ обработка естественного языка \ синтаксический анализ \ дерево синтаксических единиц \ дерево синтаксических связей \ формальная грамматика

Похожие статьи в разделе Прикладные информационные (компьютерные) технологии. Методы основанные на применении компьютеров

Parus - синтаксически аннотированный корпус русского языка
Parus - синтаксически аннотированный корпус русского языка

Власова Наталья Александровна, Трофимов Игорь Владимирович, Сердюк Юрий Петрович, Сулейманова Елена Анатольевна, Воздвиженский Илья Николаевич

Оценка фактуальности для пропозиции в синтаксически подчиненном положении
Оценка фактуальности для пропозиции в синтаксически подчиненном положении

Момот Седа Рубеновна, Воздвиженский Илья Николаевич

Информационная система для создания размеченных корпусов малой размерности
Информационная система для создания размеченных корпусов малой размерности

Котов Андрей Александрович, Некрасов Михаил Юрьевич, Седов Алексей Владимирович, Рогов Александр Александрович

Проект синтаксического словаря языка русской поэзии XVIII - первой половины XIX века
Проект синтаксического словаря языка русской поэзии XVIII - первой половины XIX века

Патроева Наталья Викторовна, Лебедев Александр Александрович

Короткий адрес: https://sciup.org/14128224

IDS: 14128224   |   УДК: 004.912   |   DOI: 10.15622/ia.22.6.3