Исследование методов автоматического формирования ассоциативно-иерархического портрета предметной области

Методика построения АИППО

Описываемый в работе подход по построению ассоциативно-иерархического портрета предметной области (АИППО) основывается на проведении автоматического статистического анализа больших объемов текстов из Интернета [3–5]. Иерархические связи, входящие в АИППО, образуют полииерархию и классификатор, облегчающие поиск и навигацию в предметной области АНПА (ПО АНПА). Подобная методика позволяет решать широкий класс задач как в области когнитивной семантики, так и в сфере информационно-поисковых систем, так как АИППО может в большинстве случаев, связанных с контекстным поиском, заменить или дополнить тезаурус/ онтологию предметной области, составление которого вручную представляет собой весьма трудоемкую задачу. Дополнительно проект затрагивает следующие задачи: мониторинг новых объектов, фактов и идей в ПО АНПА, автоматическая классификация новых объектов по классификатору АИППО, в частности вид/тип аппарата АНПА, его характеристики, компания-производитель, ее руководство, сотрудники, конкуренты, партнеры и т.д., как часто упоминается объект в различные периоды времени, тональность сообщений, источник информации, установление границ предметной области; развитие интеллектуальных интернет-технологий; автоматизированное формирование интерактивных предметно ориентированных энциклопедий; визуализация результатов интерактивного сетевого поиска (визуальные карты предметной области) [6; 8].

Методика построения ассоциативно-иерархического портрета предметной области (АИППО) основана на структуризации текстов предметной области и построении иерархии категорий, в которой для расчета иерархических связей между ЗС/ЗТ (значимые слова/значимые термины) используются методы тематического моделирования, такие, как LDA и hLDA. Выделенные по указанным методикам ассоциативные и иерархические связи между значимыми словосочетаниями и терминами позволяют разрабатывать более совершенные методы и метрики/меры подобия научных текстов.

Итак, методы тематического моделирования служат для построения тематической модели коллекции документов. Тематическая модель определяет, к каким темам относится каждый документ и какие слова (термины) образуют каждую тему. Алгоритм построения тематической модели получает на входе коллекцию текстовых документов. На выходе для каждого документа выдается числовой вектор, составленный из оценок степени принадлежности данного документа к каждой из тем. Размерность этого вектора, равная числу тем, может либо задаваться на входе, либо определяться моделью автоматически.

Далее коллекция документов, относящихся к одной предметной области обрабатывается специальным программным обеспечением.

Для анализа и обработки больших текстовых массивов первоначально надо провести разметку текста. Для этого существует множество способов и инструментов, в том числе общедоступных. Например, язык разметки RDF (Resource Description Framework) – среда описания ресурса, разработка консорциума W3C для описания метаданных; OWL (Web Ontology Language) – язык описания онтологий для семантической разметки информации, представленной в сети Интернет и т.д. [9]. В нашей работе используется оригинальная, разработанная в ИПИ РАН, система разметки текстов – PullEnty, в результате работы которой в тексте выделяются именованные типизированные сущности (персоны, организации, местоположения, даты, связи, …), события, их характеристики, например время, когда это событие произошло, действия и т.д. [10]. Кроме этого в работе используется инструмент анализа семантики текста, основанный на дистрибутивной семантике и векторном представлении слов – Word-2Vec [1; 2], который в результате обработки текста сопоставляет каждому слову вектор. Векторное представление строится на основе контекстной близости: считается, что слова, находящиеся ближе друг к другу, будут иметь похожие значения координат

Серия «Сложные системы …». Выпуск 1

векторов слов. Степень сходства документов оценивается на основе косинусного рас- стояния:

∑ di ⋅ bi

/=1

cos ( a ) =

nn

J E ( di )\ IE ( bi ) 2 i = 1                 i = 1

Здесь d и b – текстовые документы из коллекции документов, n – количество слов в словаре, составленном из слов коллекции документов, исключая стоп-слова (предлоги, союзы, местоимения и т.д.). Каждый документ представляется как разреженный вектор (потому что только отдельные слова из словаря входят в каждый документ):

D = ( d 1, d 2, … di , ..., dn ).

Здесь каждое значение di представляет частоту встречаемости i -го слова из словаря в тексте D , n – общее количество слов в словаре.

Модели векторных представлений, семантическое контекстное пространство

Разработчики СВП отмечают, что основная проблема известных семантических пространств – это недостаточный учет порядка слов в контексте. Для решения этой проблемы следует перейти от контекста слов к контексту значимых словосочетаний. Более того, технология СВП развивалась для английского языка. Проект СКП пред- полагает работу как с русским, так и с английским языками. Возможно в дальнейшем включение других языков. Построение семантического контекстного пространства СКП направлено на развитие методов СВП для решения следующих задач:

• 1.    Выявление синонимии и семантической близости слов и словосочетаний путем оценки их встречаемости в различных контекстах.

• 2.    Поиск категорий терминов и отношений с помощью лексико-синтаксических форм.

• 3.    Выявление близких по смыслу отношений и их классификация методами статистического анализа контекстных зависимостей.

• 4.    Автоматическая кластеризация слов по степени их близости в СКП и классификация слов путем использования лексико-семантических форм.

• 5.    Автоматическая генерация тезаурусов методами статистической обработки терминов и разрешение неоднозначности слов путем использования контекста.

• 6.    Расширение запросов за счет ассоциативных связей и извлечение знаний из текстов с использованием статистических методов и лингвистических моделей.

• 7.    Оценка степени сходства лексических конструкций на основе их лексикосемантического анализа.

• 2.1)    поиск иерархических связей терминов с помощью методов кластеризации в пространстве контекстных векторов из значимых словосочетаний (ЗС);

• 2.2)    поиск ассоциативных и иерархических связей при помощи методов тематического моделирования, включая построение полииерархии тем и аннотации произвольного размера из ключевых фраз для корпуса/коллекции;

• 2.3)    поиск иерархических связей с помощью методов кластеризации в пространстве тематических векторов по результатам тематического анализа (LDA);

• 2.4)    поиск иерархических связей с помощью лингвистического процессора PullEnty, который выделяет различные типы объектов, например люди и организации, относящихся к заданной предметной области;

• 2.5)    поиск иерархических и ассоциативных связей по различным лексическим шаблонам, например АНПА XXX (АНПА Ремус, АНПА Гавиа);

• 2.6)    поиск ассоциативных связей по косинусной мере между контекстными векторами ЗС;

• 2.7)    поиск связей перевода и ассоциативных связей при помощи программ перевода;

• 2.8)    объединение найденных иерархических связей по методу патентных заявок USPTO 20100161671 и 61/096255, в которых представлено изобретение, использованное Шарниным М.М. для построения одной из крупнейших иерархий категорий для электронной энциклопедии Keywen.

Описание разработанных программных средств

Коллективом разработана технология автоматического поиска научно-технических документов в Интернете и построения их коллекций. Также разработана технология автоматического выделения библиографических ссылок в найденных документах. Размер коллекции, построенной авторским коллективом из открытой информации в Интернете по тематике «Автономные необитаемые подводные аппараты» (АНПА), составляет более 200 документов.

Для пополнения коллекций текстов из Интернета разработан усовершенствованный метод (KeyCrawler-2) семантического поиска ЕЯ-текстов из Интернета с целью направленного извлечения из текстов информации для построения онтологий, в котором собственный поисковый робот в качестве начальных адресов в Интернете (URL) использует не только крупнейшие поисковики, но также каталоги электронных библиотек/магазинов и собственную разработку научного коллектива – энциклопедию ключевых понятий KEYWEN. KeyCrawler-2 по заданным ключевым терминам строит не только интернет-корпуса естественно-языковых текстов, но также строит тематические коллекции научных документов (PDF) с названиями, авторами и библиографическими ссылками. Метод KeyCrawler-2 апробирован на ряде предметных областей, включая АНПА. Разработан модуль статистического анализа для алгоритма формирования ассоциативно-иерархического портрета предметной области (АИППО).

Данный модуль статистического анализа включает в себя:

Серия «Сложные системы …». Выпуск 1

С помощью метода KeyCrawler-2 составлена коллекция научно-технических публикаций (статьи, диссертации, монографии) по выбранным предметным областям для проведения экспериментов, размером более 10 000 документов, в том числе коллекция по теме АНПА содержит более 200 документов, по теме «компьютерная графика» – более 900 документов, в которых выявлены ссылки еще на 6 000 документов.

Заключение

В результате проделанной работы разработан макетный вариант онтологии предметной области АНПА, выделены концептуальные термины предметной области (классы, целевое назначение, конструктивный облик, навесное оборудование, режим использования, виды работ, профильные компании и учреждения), представлены системы понятий и коллекции экземпляров [7].

Мы благодарны РФФИ за поддержку и финансирование наших проектов.