Интеллектуальный тренд-майнинг как одно из современных направлений лингвистических исследований

Выявление тенденций в различных областях человеческой деятельности (гуманитарной, научно-технической, военной и т. д.) имеет неоспоримо важное значение для прогнозирования и стратегического планирования как для успешного развития общества, так и в плане обеспечения безопасности. В настоящее время беспрецедентно быстрое создание огромных информационных потоков и уровень современных технологий обработки информации, в частности компьютерной лингвистики, требуют и делают возможным разработку автоматизированных методов экстракции тенденций из разного типа источников (текстов, графиков, временных рядов и т. д.). В связи с этим по аналогии с терминами text-mining (текст-майнинг) и data-mining (дата-майнинг) вводится в оборот английский терминн trend-mining, который в отличие от его русской кальки «тренд-майнинг», используемой в русскоязычных текстах пока только в связи с криптовалютой, имеет более широкое значение и означает «автоматическую идентификацию тенденций» в любой области человеческой деятельности. Далее мы будем использовать русскоязычный термин «тренд-майнинг» в широком значении его англоязычного оригинала. Конечной целью тренд-майнинга является обработка изменений в коллекциях документов, содержательная интерпретация изменений и представление их пользователю в «читабельной» форме.

Наиболее популярные методы современного тренд-майнинга ориентированы на обработку структурированной информации, источники количественных фактов, основаны на числовых данных и в общем случае не пригодны для экстракции значений качественных параметров из неструктурированных текстовых потоков, что позволило бы получить более глубокие знания о развитии различных процессов в социуме.

Попытки применить неглубокие технологии обработки текстов к неструктурированным информационным потокам также не обеспечивают высокого качества результатов экстракции тенденций, делая очевидным необходимость более глубокого, как правило, с применением семантики («интеллектуального») анализа информации и «интеллектуального тред-майнинга (intelligent trend-mining)». В стремлении использовать большой потенциал интеллектуального тренд-майнинга неструктурированных текстов для повышения качества и количества автоматически полученной информации о новых тенденциях в ведущих западных странах этой области исследований уже достаточно давно уделяется серьезное внимание (см. список литературы), в то время как, к сожалению, в нашей стране интеллектуальный тренд-майнинг текстовых потоков до сих пор находится на периферии исследовательского интереса.

В настоящей статье делается попытка систематизировать основные направления исследований и методы решения конкретных задач, возникающих при разработке технологий, связанных с интеллектуальной экстракцией тенденций. Приводятся основные этапы обработки текстов при интеллектуальной экстракции тенденций, подчеркивается связь тренд-майнинга с контент анализом и необходимость разработки не зависящих от конкретного языка методов интеллектуального тренд-майнинга, рассматривается роль специализированных онтологий как основного ресурса для достижения этой цели. Рассматриваются наиболее релевантные методики автоматической генерации текстов, представляющих результаты тренд-майнинга.

1.    Интеллектуальный тренд-майнинг: основные направления

Огромный рост объема неструктурированных текстовых информационных потоков вызывает постоянно растущий спрос на поиск новых решений в области интеллектуальной (с использованием семантики) автоматической обработки текстов, на основе которого, в свою очередь, развивается интеллектуальный тренд-майнинг [1]. К настоящему времени исследования в области интеллектуального тренд-майнинга в связи со сложностью проблем глубокого автоматического анализа текстов представляют собой разрозненные теоретические и практические работы, опытные апробирования различных программно-методических средств и предлагают набор узкоспециализированных методов, обеспечивающих, как правило, небольшие или точечные решения для конкретной предметной области одного национального языка.

Большая часть исследований посвящена отслеживанию тенденций рынка, конкурентной среды, дизайна продукции и здравоохранения [1–6]. Отдельные работы имеют целью продемонстрировать тенденции изменений в области социальных проблем [7], технологий [8] и научного знания [9]. Подавляющее большинство открытых работ по тренд-майнингу ориентированно на английский или (значительно) реже на отдельный национальный язык, например испанский [7] или немецкий [2]. Появляются работы по многоязычному тренд-майнингу (как правило, не покрывающие русский язык), к наиболее масштабным из которых относится проект TrendMiner [10]. Этот проект нацелен на интеллектуальный тренд-майнинг социальных сетей с разработкой и апробацией методологии на материале отдельных предметных областей (финансов, политики и здравоохранения) на английском, немецком, испанском, венгерском и польском языках. К сожалению, финальные результаты этого проекта недоступны. Что касается исследований по интеллектуальному тренд-майнингу для обработки русскоязычной информации, то немногочисленные релевантные для этой области исследования представлены работами [3, 4] и системами OntosMiner ,

RCO for Oracle , Гитика ,         ABBYY

Compreno и ВААЛ .

При этом достаточно большое количество исследований посвящено решению отдельных задач процесса тренд-майнинга. Например, в [2] описан метод выявления релевантных для тренд-майнинга языковых шаблонов в немецком корпусе финансовых новостей, который сочетает дата-майнинг и обучение на основе семантической сети.

Ниже представлен общий набор процедур интеллектуального тренд-майнинга (не всегда реализуемый в полном объеме и не всегда выполняемый в представленном ниже порядке), который включает:

1. Сбор коллекций текстовых документов текстов предметной области, относящихся к различным временным интервалам:

• a)    классификация/кластеризация текстов;

• b)    определение специфики предметной области;

• c)    извлечение релевантных для тренд-анализа частей текстовых документов, если необходимо.

• 2.    Предварительная обработка текста.

• 3.    Формализация экспертных знаний:

• a)    определение категорий анализа;

• b)    определение единиц анализа (слов, словосочетаний и т. д.);

• c)    построение баз данных/знаний (облаков слов/меток, онтологий и т. д.);

• d)    кодирование (разметка/анализ) текстов (поверхностно, на основе онтологий, вручную, автоматизированно), включение формализованного экспертного знания в процесс тренд-майнинга.

• 4.    Обработка размеченных текстов:

• a)    классификация/анализ текстов;

• b)    извлечение знаний;

• c)    представление знаний.

• 5.    Интерпретация извлеченных единиц обработки текстов.

• 6.    Сравнение результатов извлечения знаний из корпусов, относящихся к различным временным интервалам.

• 7.    Генерация отчетов тренд-майнинга.

2.    Тренд-майнинги онтологические ресурсы 3.    Автоматическая генерация результатов тренд-майнинга

Конкретные методики обработки текста, применяемые на каждом из указанных этапов интеллектуального тренд-майнинга, варьируют от самых простых до глубоких с опорой на семантические базы знаний, например, онтологии, от «ручных» до автоматизированных или автоматических, и основаны на взаимопересекающихся приемах дата-майнинга [11, 12], текст-майнинга [13, 14] и контент-анализа [15–18]. Среди последних очень интересным является проект по разработке системы контент-анализа ВААЛ для русского языка, близкой по своим задачам к тренд-майнингу . Задачи всех указанных выше исследований и раз- работок решаются в рамках разных подходов: классического лингвистического, статистического или гибридного. Все более популярными становятся методы машинного обучения, в частности, на основе нейросетей [13]. Большое внимание уделяется проблемам построения баз данных и/или баз знаний, анализа и генерации текстов с результатами тренд-майнинга на естественном языке.

Решения относительно экстракции, категоризации и сопоставления информации для обнаружения тенденций предполагают, с одной стороны, осознание релевантных или отличительных признаков текста и, с другой стороны, наличие возможности выделения и формализации элементов текста, которые наилучшим образом передают эти признаки, в результате чего неструктурированный текст преобразуется в измеримые сущности с разнообразными аннотациями, которые, в свою очередь, позволяют автоматически измерять сдвиги в значениях интересующих исследователя параметров. Релевантные для тренд-майнинга технологии решают перечисленные выше вопросы, например, рассмотрением изменений статистических характеристик отдельных слов или выражений, аннотированных как «потенциально интересные» ( например, слов-триггеров в клинических записях, которые могут указывать на высокую вероятность ухудшения состояния пациента) и учитывать лингвистический контекст, например, лексические единицы, выражающие отрицания.

Сложным, но многообещающим и поэтому все больше привлекающим внимание исследователей вариантом создания моделей экстракции, категоризации и сопоставления параметров текстов является обработка неструктурированной информации с помощью специализированных онтологий. Онтологический анализ позволяет аннотировать релевантные для тренд-майнинга текстовые элементы семантическими метками и таким образом формализовать семантические признаки лексических единиц, делая их измеримыми, что в сочетании с традиционными поверхностно-статистическими характеристиками значительно повышает качество анализа текста и, как следствие, тренд-майнинга [19–21]. Использование онтологий для тренд-майнинга требует их специальной адаптации, что ставит перед исследователем большое количество нетривиальных задач. Во-первых, необходимо решить вопросы относительно того, что должна содержать ориентированная на тренд-майнинг онтология (концепты, отношения между ними) и в каком формализме должны быть представлены онтологические знания. Последнее должно обеспечивать автоматическое использование онтологических знаний в процессе семантического аннотирования и измерения семантических признаков. Во-вторых, нетривиаль- ным является решение вопроса, каким образом и из каких источников извлекать специализированные онтологические знания при построении онтологического ресурса. В настоящее время популярными источниками онтологических знаний являются электронные онлайн-ресурсы (корпусы текстов,Wikipedia, библиотеки онтологий и т. д.) [22]. Возможные приемы моделирования ориен-трованных на тренд-майнинг онтологий на примере исследования рынка и предметной области «терроризм» описаны в [21] и [23], соответственно. В-третьих, использование онтологий для тред-майнинга требует разработки формальной процедуры онтоанализа. Наиболее распространенный прием предполагает предварительное построение (отдельно) онтологических и лексикографических ресурсов с указанием в словарных статьях последних соответствующего концепта онтологии, наиболее близко описывающего значение лексической единицы, что требует от разработки специальных процедур сопоставления: количество концептов онтологии всегда значительно меньше, чем количество единиц в лексиконе и взаимно-однозначное соответствие «лексема-концепт» возможно далеко не всегда. Онтоанализ заключается в аннотировании лексической единцы текста меткой соответствующего концепта, указанного в ее словарной статье. Решение этой эадачи требует: а) автоматического выделения единицы анализа (например, многокомпонентной именной группы), б) обеспечения покрываемости лексического и онтологического ресурсов, в) разрешения семантической неоднозначности, поскольку одна и та же лексема может быть аннотирована несколькими концептами. В настоящее время в связи со сложностью разработки процедур тренд-майнинга все большее внимание уделяется вопросу универсальности таких процедур, что позволило бы применять одну и ту же методологию (и даже инструмент) к различным предметным областям и национальным языкам. В этом аспекте существенным является вопрос разработки не зависящей от конкретного языка онтологии, как, например, MikroKosmos [24], SUMO (Suggested Upper Merged Ontology) [25] или BFO (Basic Formal Ontology) [26]. В отечественной лингвистике наиболее многообещающее исследование по созданию онтологических ресурсов описано в работе [27]. Отметим, что на практике релевантные для тренд-майнинга работы по созданию онтологий, как правило, либо ориентированы на отдельные аспекты конкретной предметной области, либо ограничиваются построением базовых онтологий, не отражающих специфику каждого из направлений предметных областей, и представляют собой исследовательские проекты в процессе развития, а не конечные продукты, что еще раз подчеркивает сложность разработки онтологических ресурсов. При этом в каждом конкретном случае авторы разрабатывают собственные системы концептов и специфические методики решения связанных с созданием такого рода ресурсов проблем. Например, онтологии предметной области терроризм PiT (Profiles in Terror) [28] и AIT (Adversary–Intent–Target) [29] разрабатываются для различных аспектов контртеррористической деятельности: первая предназначена для представления знаний о структуре террористической сети, включающей в себя совокупность индивидов и организаций и связей между ними, а вторая – для прогнозирования террористических актов на основе данных о террористических организациях, их намерениях и вооружении. С популяризацией семантической сети (Semantic Web) в 2001 году число работ по онтологиям с обещанием взаимодействия данных на семантическом уровне значительно возросло [30]. В настоящее время объем исследований и разработок по онтологии варьирует от языковых и методологических вопросов до инструментов и фактографических баз знаний, предназначенных для охвата общих или предметных знаний. Онлайн существует довольно много онтологических библиотек [31], делающих эти разработки общедоступными для исследований всех типов и для тренд-майнинга в том числе.

Форматы представления результатов тренд-майнинга варьируют от таблиц и графиков до резюме в текстовой форме, причем последнее часто составляется вручную. Относительно небольшое количество работ, описывающих автоматизированные методы генерации результатов тренд-майнинга в текстовой форме, в качестве исходных данных используют в основном численные показатели релевантных параметров [3]. Проект TrendMiner не предусматривает текстовую генерацию результатов тренд-майнинга как такового; в рамках этого проекта была заявлена разработка новых методов многоязычного автоматического реферирования медиапотоков, относящихся к отдельным временным интервалам, в хронологическом порядке [11].

Представление результатов тренд-майнинга в виде текстовых сообщений предполагает использование методов генерации естественного языка (Natural Language Generation – NLG) [32]. В [33] описана система NLG, разработанная для обнаружения и суммирования событий во входных данных, распознавания значимости информации и ее релевантности для пользователя, а затем генерации текста на естественном языке, представляющем эту информацию. Конкретной реализацией этой системы является проект BabyTalk [34], предназначенный для обобщения клинических записей пациентов в отделении интенсивной терапии новорожденных с учетом различных временных периодов для разных конечных пользователей. Необходимость и возможность разработки интеллектуальных методик и инструментария, представляющих результаты извлечения знаний из текстов в виде резюме на естественном языке, подчеркивается в работе [35], где представлена прототипная система CliniText, которая генерирует интеллектуальное текстовое резюме на основе электронных записей о состоянии пациентов в различные периоды времени. В рамках проекта TrendMiner представлено два подхода к генерации резюме медиапотоков: а) на основе облаков терминов, б) на основе микромнений, с их реализацией в виде прототипов [36]. Разработки в области генерации текста на основе чисто статистических методов или методов на основе нейронных сетей пока не обеспечивают корректного представления содержания текстов, и их релевантность для генерации текстовых резюме с результатами интеллектуального тренд-майнинга проблематична. В целом в настоящее время качество работы систем NLG, как и всех систем интеллектуальной обработки естественного языка, зависит от их ориентации на конкретную предметную область, задачу и язык, что не исключает, как показывают пилотные исследования, разработку универсальных (по крайней мере в рамках определенной группы языков) методик и моделей генерации.

Заключение

В настоящей статье представлен обзор и сделана попытка систематизации существующих методов и инструментов интеллектуального тренд-майнинга, которые оказываются тем успешнее, чем более детерминирована предметная область. Подчеркивается, что существующие исследования пока не обеспечивают надежной методологической базы для экстраполяции разработанных методик на новые предметные области и языки, в частности на русский язык. Очевидно, что решение проблем интеллектуального тренд-майнинга как необходимого инструмента извлечения знаний о тенденциях в различных сферах жизни общества может быть получено только на основе междисциплинарного индуктивнодедуктивного подхода, сочетающего методы многоязычной автоматической обработки текста в рамках лингвистического и статистического подходов, машинного обучения, методов лингвистического моделирования, а также анализа, систематизации и адаптации к поставленной задаче современных методик построения и использования онтологий, онтоанализа, корпусной лингвистики, контент-анализа, текст-майнинга и дата-майнинга. Исследования в области должны быть основаны и проверены на эмпирических данных и знаниях, полученных путем статистического и качественного анализа находящихся в открытом доступе разноязычных текстов различных временных периодов в режиме приращения объема данных и знаний, последовательного уточнения их описания и совершенствования построенных на более ранних этапах исследования моделей и алгоритмов.

Особое внимание должно уделяться разработке методик и инструментария, хорошо работающих на материале русского языка, поскольку подавляющее большинство работ в области интеллектуального тренд-майнинга ориентировано на английский язык, что не позволяет непосредственное применение результатов этих работ к русскоязычным источникам. Развитие методических и методологических основ интеллектуального тренд-майнинга способно существенно повлиять как на исследования в смежных областях лингвистики – лексикографии, компьютерной лингвистики, – так и на прикладные разработки, например, информационный поиск, автоматическое реферирование и аннотирование, генерация текстов, машинный перевод и т. п.