Разработка инструмента обработки естественного языка для решения прикладной задачи извлечения статистических данных из текста

Обработка текстов на естественном языке (Natural Language Processing, NLP) – наиболее заметно развивающиеся направление, за которым стоит несколько десятков лет фундаментальных исследований и плодотворной работы в области лингвистики, математики и информатики. Термин относят к области искусственного интеллекта, в основе идеи лежит процесс интерпретации и преобразования необработанного письменного текста в форму, понятную машине [1; 2].

NLP в последнее время активно применяется в повседневной жизни человека и становится все более важным направлением по мере того, как языковые технологии используются в различных областях. Яркими примерами разработок на основе NLP, с которыми многие сталкиваются в повседневной жизни, являются голосовые системы GPS, цифровые помощники и т.д. Но NLP также играет все более важную роль в корпоративных решениях, помогающих упростить бизнес-опера-ции, повысить производительность сотрудников и упростить критически важные бизнес-процессы.

Актуальность NLP и развитие одного из важнейших ее этапов, семантического анализа [3], подтверждается тем, что ряд мировых компаний создают собственные экосистемы и сервисы анализа текста. Стоит отметить и ряд опубликованных российских проектов [4; 5]:

– языковая модель RuBERT от DeepPavlov [21; 22];

– бенчмарк для русского языка RussianSuperGlue.

Кроме того, такие LLM (Large Language Model) как ChatGPT, подчеркивают важность и своевременность проводимых исследований и программных разработок в данной области [6].

Применение рассматриваемых методов и технологий для решения прикладных задач в области NLP [23], в том числе извлечение статистических показателей по текстовым данным, может быть использовано в программных разработках по обработке текстов. Например, их можно применять в анализе тональности текста [12; 13; 16; 17], определении частоты использования определенных слов или фраз, выявлении ключевых тем или идей, представленных в тексте, а также многими другими способами [14; 15]. Ряд таких проектов реализуется на базе научно-исследовательской лаборатории искусственного интеллекта (НИЛ ИИ) Поволжского государственного университета телекоммуникаций и информатики (ПГУТИ). Статистические показатели, собираемые разрабатываемым инструментом, будут применяться при работе с большими объемами текста, такими как новостные, научные статьи и социальные медиа-посты. Они позволят быстро получить представление о содержании текста и выделить наиболее важные аспекты.

В связи с этим актуальной является задача по программной реализации алгоритма, реализующего описываемые функциональные возможности, особенно на основе русскоязычных текстов, за счет использования современных библиотек. В рамках разработки программного инструмента на основе рассматриваемого алгоритма была взята за основу библиотека textacy (библиотека Python для выполнения различных задач NLP, построенная на высокопроизводительной библиотеке spaCy).

В свою очередь, spaCy – это библиотека для расширенной обработки в Python и Cython. Она основана на самых последних исследованиях и с самого начала разрабатывалась для использования в реальных продуктах. SpaCy предлагает предварительно обученные конвейеры, которые позволяют работать с текстом на более чем 60 языках. SpaCy также поддерживает многозадачное обучение с использованием предварительно обученных преобразователей, таких как BERT (Bidirectional Encoder Representations from Transformers).

Алгоритм извлечения статистических данных из текстов

Как уже говорилось выше – процесс обработки естественного языка [19] состоит из двух основных этапов: понимания естественного языка и генерации естественного языка.

NLU (Natural Language Understanding) пытается понять смысл данного текста. Характер и структура каждого слова внутри текста должны быть из- вестны для NLU. Для понимания структуры NLU пытается разрешить следующую двусмысленность, присутствующую в естественном языке [7]:

• –    лексическая неоднозначность;

• –    синтаксическая неоднозначность;

• –    семантическая неоднозначность [11];

• –    анафорическая двусмысленность.

Затем смысл каждого слова понимается с помощью лексикона (лексики) и набора грамматических правил.

NLG (Natural Language Generation) – это процесс автоматического создания текстовых данных из структурированных данных в удобочитаемом формате со значимыми фразами и предложениями [1; 2]. С проблемой генерации естественного языка трудно справиться. Процесс реализации чаще всего включает в себя три этапа:

• –    планирование текста – выполняется упорядочение основного контента в структурированные данные;

• –    планирование предложений. Предложения объединяются со структурированными данными для представления потока информации;

• –    реализация. В конечном итоге для представления текста создаются грамматически правильные предложения.

В ходе нашей работы мы использовали несколько методов для разработки алгоритма по обработке текста:

• 1.    Простейшие метрики [8].

• 2.    Векторизация [8].

Обработка естественного языка обычно означает обработку текста или текстовой информации (аудио, видео). Важным этапом в этом процессе является преобразование разных слов и словоформ в одну речевую форму. Кроме того, часто нужно измерить, насколько похожи или различны строки. Обычно в этом случае используем различные метрики, показывающие разницу между словами.

Одной из простых и в то же время широко используемых метрик является расстояние редактирования – алгоритм оценки схожести двух строковых значений (слово, форма слова, состав слова), путем сравнения минимального количества операций по преобразованию одного значения в другое.

Векторизация – это процедура преобразования слов (текстовой информации) в цифры для извлечения текстовых атрибутов (признаков) и дальнейшего использования алгоритмов машинного обучения (NLP). Другими словами, векторизация текста представляет собой преобразование текста в числовые векторы.

Была подготовлена схема поэтапного выполнения блоков алгоритма (рисунок 1), использую- щего библиотеки, в работе по процессу извлечения объектов выстроенного алгоритма [18].

Более полно рассмотренную схему взаимодействия было решено реализовать по основным этапам обработки текстовых данных в формате схематичного алгоритма на языке Python для решения прикладной задачи (рисунок 2).

В качестве основного инструмента для решения рассмотренных задач был выбран язык Python, среда разработки Google Colab и набор инструментов для обработки естественного языка Natural Language Toolkit (NLTK).

NLTK – это платформа для создания проектов Python, популярная благодаря своим массивным корпусам, обилию библиотек и подробной документации [7].

Рисунок 1. Основные этапы обработки текста, реализованные в разрабатываемом алгоритме

Рисунок 2. Этапы обработки текста для извлечения статистических данных

Google Colab представляет собой бесплатный онлайн-сервис для работы с машинным обучением и анализа данных, предлагаемый корпорацией Google, и предоставляет пользователям доступ к мощным вычислительным ресурсам, таким как GPU-ускорение (графические ускорители) и TPU (тензорные процессоры), что позволяет ускорить процесс обработки текстовых данных и обеспе- чивает получение более точных результатов. Это делает его идеальным инструментом для разработки и тестирования новых алгоритмов и методов обработки текстовых данных.

Исходя из разработанной схемы поэтапного выполнения модулей программного инструмента (рисунок 1), использующего библиотеки в работе по процессу извлечения объектов [20] выстроенного алгоритма, была реализована программа, написанная на яыке Python.

Процесс извлечения объектов в рамках реализации алгоритма работы метода NLP для сбора статистики из текстов

Для проведения исследования были задействованы реальные данные, собранные с информационно-новостного портала по Самарской области «https://» в рамках реализации концептуального проекта «Ферма данных» НИЛ ИИ ПГУТИ, где ежедневно публикуются новости, обсуждаются проблемы региона и сообщается о происшествиях. Собранная структура данных представлена на рисунке 3.

Вид собираемых данных в формате полнотекстовых записей (тексты статей), а также комментарии для этих тестов, для дальнейшей обработки разрабатываемым инструментом наглядно показывают их неоднородность и различную тематическую направленность (рисунок 4).

CSV fl Ie

(str) -id

(date_time) date_news

(str) rubrics_title

(str) format_title

(str) theme_titile

(str) link

(str) title

(str) subtitle

(int) view_news

(int) numbercomment

(str) article

(str)author

(str) author_description

(str) link_author

(list) result_list_tags_articie

(diet) react! on_article

(list) all_comment

Рисунок 3. Структура данных, полученных с портала «https://»

Полные статьи

3] : text_l = df_l[1 article'][0] print(textl)

В «Трамвайно-троллейбусном управлении» Самары придумали, как модернизировать старые трамваи. Предприятие планирует начать реализаци ю программы капитально-восстановительного ремонта. Об этом в интервью 63. RU рассказал директор ТТУ Михаил Ефремов. — Что она из себ я представляет? «Татру» разбирают до железного «скелета», на который «навешивают» новую проводку, стекло, кресла. Это позволяет про длить срок службы трамвая, чтобы он смог проехать еще 380 тысяч километров. И сейчас этот вопрос мы прорабатываем вместе с департам ентом транспорта. Уже нашли компанию в Екатеринбурге, которая занимается модернизацией трамваев. Они сотрудничают с местным горэлек тротранспортом. Правда, их специалисты работали с другими вагонами от другого производителя. Но мы уверены, что и с «Татрами» справ ятся. Ожидаем, что к концу осени у нас уже появится первый модернизированный трамвай, — пояснил Михаил Ефремов. Такая модернизация — тоже удовольствие не из дешевых. По предварительным подсчетам, один вагон обойдется в 19 миллионов рублей. Но если всё пойдет по плану, то реализация программы начнется уже в этом году. По сути, это будет новый трамвай, с современной системой безопасности, кон диционирования, мягкими сиденьями. Можно даже поменять внешний вид трамвая. — Предполагается, что модернизация станет совместным пр оектом с участием Северного и Городского трамвайного депо и коллег из Екатеринбурга. Если всё получится, то будет польза и предприя тию, и всему городу. Можно будет по 20 трамваев в год ремонтировать. Это хорошая цифра, колоссальный объем, — резюмировал директор ТТУ. Он уточнил, что если программа будет длиться минимум 5 лет, то получилось бы отремонтировать 100 трамваев.

4]: text_2 = df_l[1 article'][1] print(text_2)

Бездомные псы, на первый взгляд, бывают милыми. Но от них можно ожидать всего, чего угодно В Кошкинский районный суд подали иск о в зыскании морального и материального вреда с владелицы собаки. Об этом рассказали в прокуратуре Самарской области. Собака напала на 13-летнего мальчика в феврале 2022 года. Пес укусил подростка за кисть руки. Мальчику сделали цикл уколов от бешенства. Семья мальч ика потратила деньги на лекарства, а сам он испытал нравственные страдания. — Прокуратура во время проверки выяснила, что нападение собаки на ребенка случилось по вине собственницы животного - жительницы села Русская Васильевка, — говорится в сообщении облпрокура туры. Теперь с собственницы пса требуют компенсацию в 100 000 рублей. Нападение собак на людей, к сожалению, очень часто встречающе еся явление в Самарской области. Недавно стая собак набросилась на двух школьниц в Новокуйбышевске. Одной из девочек пес прокусил б едро. Еще один случай произошел в Самаре: здесь бездомные собаки напали на мальчика. Самую оперативную информацию о жизни Самары и области мы публикуем в нашем телеграм-канале 63.RU. А в нашей группе во «ВКонтакте» вы можете предложить свои новости, истории, фот ографии и видео.

5]: text_3 = df_l['article'][10] print(text_3)

Помните, как лет 20-30 назад бразильские сериалы заполонили телеканалы? Каждый вечер мы стремились к экранам, чтобы вникать в увлек ательные перипетии загадочной латиноамериканской жизни. Мы решили вернуть вам эти беззаботные времена, а заодно проверить, наскольк о хорошо вы помните всё, что смотрели. Справятся только те, кто смотрел «Клон» — но его одного, конечно же, не хватит!

Рисунок 4. Вид собираемых данных в формате полнотекстовых записей

При этом для решения ряда фундаментальных и практических задач и сбора дополнительных статистических данных, используемых в различных математических моделях по проектам лаборатории, возникла необходимость разработки готового интегрируемого инструмента извлечения статистических данных из необработанных текстов.

В результате проведенного анализа предметной области, тестирования наработок в этом отношении, а также современных средств машинного обучения, был разработан программный инструмент, основанный на описываемом выше функционале рассматриваемой библиотеки textary [7; 9].

Ниже приведен фрагмент кода, реализующий данный алгоритм:

text = «Каждый день, каждый вечер, я выходил на улицу. Улица была тихая, улица была спокойная. Шаг за шагом, шаг за шагом, я шел вперед. Вдыхая свежий воздух, вдыхая ароматы весны. С каждым шагом, с каждым вдохом, я чувствовал себя свободным.»

se = SentsExtractor(tokenizer=re.compile(r’, ‘))

se.extract(text)

we.extract(text)

we.get_most_common(3)

На рисунке 5 представлен результат работы алгоритма, использующего данную библиотеку.

[nltk_data] Downloading package stopwords to /root/nltk_data... [nltk_data] Package stopwords is already up-to-date!

[('шаг', 5), ('каждый', 4), ('улица', 3)]

Рисунок 5. Результат работы алгоритма по обнаружению повторяющихся слов

Библиотека BasicStats, также применявшаяся в разработке программного инструмента, позволяет извлекать из текста различные статистические показатели.

Python statistics – это внутренняя библиотека Python для описательной статистики. Ниже приведен фрагмент кода, реализующий алгоритм описательной статистики:

from ruts import BasicStats text = «Он смотрел вдаль, словно ища что-то, что ускользнуло из его памяти, но так и не нашел.»

bs = BasicStats(text)

bs.get_stats()

bs.print_stats()

На рисунке 6 представлен результат работы библиотеки BasicStats.

Статистика | Значение

Предложения Слова

Уникальные слова

Длинные слова Сложные слова Простые слова Односложные слова Многосложные слова Символы Буквы Пробелы Слоги

Знаки препинания

16 16

86 бб

1Б 27

Рисунок 6. Вывод результата с использованием библиотеки BasicStats

Примененная библиотека ReadabilityStats в разработанном программном инструменте (рисунок 6) предоставляет возможность вычисления метрик для текстовых данных.

Коэффициенты метрик для русского языка были взяты из работы исследователей проекта Plain Russian Language [10], которые получили их на основе специально подобранных текстов с предварительными возрастными пометками.

Ниже приведем фрагмент кода программного средства, реализующий алгоритм обработки текста по метрикам:

from ruts import ReadabilityStats text = «После заката, когда небо окуталось сумерками, он отправлялся на прогулку, вдыхая свежий воздух и наслаждаясь тишиной и спокойствием окружающего мира.»

rs = ReadabilityStats(text)

rs.get_stats()

rs.print_stats()

После запуска кода с использованием библиотеки ReadabilityStats видим результат обработки текста по метрикам на рисунке 7, которые были описаны ранее.

Метрика                  | Значение

Тест Флеша-Кинкэйда	| 12.92
Индекс удобочитаемости Флеша	18.56
Индекс Колман-Лиау	12.37
Индекс SMOG	21.71
Автоматический индекс удобочитаемости	14.01
Индекс удобочитаемости ИХ	30.00

Рисунок 7. Вывод результата использования библиотеки ReadabilityStats в работе структуры алгоритма

Библиотека SovChLi, применяемая в алгоритме (рисунок 8), обеспечивает возможность работы с несколькими предварительно обработанными текстовыми наборами данных.

Далее приведем фрагмент кода с использованием данной библиотеки на практике:

from ruts.datasets import SovChLit svc = SovChLit()

svc.download()

sc = SovChLit()

print(i)

for i in sc.get_texts(text_type=’Рассказ’, limit=1):

print(i)

Таблица 1. Перечень библиотек, реализованных в разработанном программном инструменте

	Основная работа библиотеки
BasicStats	Вычисляет обзор основных статистических значений
ReadabilityStats	Для вычисления основных метрик удобочитаемости текста. В качестве источника данных может использоваться как непосредственно текст, так и объект класса Doc библиотеки spaCy
SovChLit	Выполняет загрузку набора данных из сети и извлечение файлов

В таблице 1 сформулирован основной функционал применяемых в разработанном программном средстве и описанных выше библиотек.

Заключение

Анализ существующих наработок в области обработки текстовых данных, в частности на базе русскоязычных текстов, показал, что обработка текстовых данных – это сложная задача, требующая большого объема данных и вычислительных ресурсов. Кроме того, результаты могут быть не всегда точными, особенно если тексты содержат неоднозначности или сложные кон- струкции. В рамках реализации ряда проектов на базе лаборатории искусственного интеллекта извлечение статистических данных из необработанных текстов является важным инструментом для анализа больших объемов информации и может быть использовано в различных областях для решения фундаментальных задач и применения этих данных в качестве параметров при математическом моделировании, что создает необходимость разработки интегрируемого в такие проекты программного инструмента.

Разработан программный инструмент, основанный на алгоритме извлечения статистических данных из текстов. Для этого была написана программа на языке Python, использующая библиотеки обработки текста NLTK и SpaCy, а ее работоспособность протестирована в среде Google Colab на различных тематиках текстов, собираемых в рамках текущих проектов НИЛ ИИ ПГУТИ.

Разработанное программное средство позволяет осуществлять извлечение объектов, подсчет базовой статистики, показателей удобочитаемости и метрики лексического разнообразия текстовыми данными в процессе сбора и обработки текстовых данных.

Проведенное исследование позволяет обозначить контуры дальнейшего направления работы с большими массивами текстов. В соответствии с проведенной работой по исследованию тематики обработки естественного языка, разработке соответствующего программного инструмента на основе машинного обучения для такой обработки и демонстрации его работы на примерах по извлечению статистики из текстовых данных, собираемых в проектах лаборатории, можно сделать вывод о практической значимости предложенного решения, связанной с его возможным применением, как одного из связующих звеньев в цепи оптимизации кода для программ по обработке текстов. Таким образом, можно выделить возможные точки роста и новые направления исследований.

(’В саду у Мичурина даже рябина стала хорошим плодовым деревом: ягоды на ней '

'родились крупные, сочные и сладкие. А низенькие вишнёвые деревья летом были '

'густо обсыпаны ягодами. На яблонях висели душистые, румяные яблоки, да такие '

'крупные, что одно яблоко едва держишь в руках.\п'

'Мичурин много и упорно работал. Советская власть помогала ему в работе.\п'

'Мичурин вырастил новые, чудесные сорта яблонь, груш, вишен и винограда. '

'Теперь во всех колхозных садах растут мичуринские сорта яблонь и груш, слив ' 'и вишен.')

Рисунок 8. Использование библиотеки SovChLit в работе алгоритма