Машинное обучение агентов искусственного интеллекта на ассоциативно-гетерархической памяти

Процесс обработки естественного языка является важной задачей современных методов искусственного интеллекта [1]. Для решения таких задач авторами предложен новый математический формализм, основанный на понятии гиперграфа – ассоциативно-гетерархическая память (АГ-память), структура и система операций над которой описаны в предыдущих статьях авторского коллектива [2; 3]. В формуле (1) выражен состав АГ-памяти.

AG = ( S , C , P , H , L ), (1) где S – множество абстрактных символов, решающее проблему привязки символов [4], L – множество ассоциативных связей между всеми объектами АГ-памяти, C – гиперсеть общих знаний,

Рисунок. Типы обработки знаний в АГ-памяти

P – гиперсеть частных знаний и H – гиперсеть личной истории.

Машинное обучение используется в том числе для АГ-памяти, чтобы научить машины более эффективно обрабатывать данные [5]. Иногда после рассмотрения данных человек не может интерпретировать возможные закономерности в наборе данных или извлечь из них какую-либо информацию – в этом случае и применяется машинное обучение [6]. Цель машинного обучения – учиться на данных. Учеными уже проведено множество исследований о том, как заставить машины обучаться самостоятельно [7; 8]. Математики и программисты применяют большое количество подходов для решения этой проблемы.

В этой статье представлено взаимодействие АГ-памяти с применяемым для решения задач машинным обучением. В дальнейшем авторский коллектив намерен выпустить следующую статью об использовании фокуса активации в машинном обучении для АГ-памяти.

Использование машинногообучения в АГ-памяти

АГ-память – это метод представления знаний и фактов, которые ИИ-агент собирает в процессе своего функционирования. Для корректного роста эффективности и решения поставленных задач требуются механизмы вывода на знаниях, хранящихся в АГ-памяти, то есть методы обработки знаний [9].

Формализм АГ-памяти используется для представления знаний у ИИ-агентов, которые в процессе своего функционирования непрерывно принимают потоки сенсорной информации через все свои сенсорные системы. Важно отметить, что ИИ-агенты должны быть так или иначе пред-обучены, в особенности в множестве S и гиперсети C. Кроме того, в процессе функционирования ИИ-агент получает новые знания и обновляет имеющиеся, что говорит об актуализации знаний в АГ-памяти. А далее, знания АГ-памяти должны будут использоваться в выводе для принятия решений и выработки поведенческих реакций на среду ИИ-агентом.

Таким образом, можно говорить о следующих типах обработки знаний, хранящихся в АГ-памяти, что схематично представлено на рисунке и описано в списке ниже.

• 1.    Первичное обучение ИИ-агента. Перед запуском ИИ-агента его АГ-память должна быть наполнена базовым набором символов, чтобы ИИ-агент успешно функционировал в своем окружении. Это можно сделать как через копирование первичных данных другого ИИ-агента, так и прописание вручную. Предполагается, что первичное обучение приведет к заполненности гиперсети C и, вероятно, к частичному заполнению множества S, а также построение между их элементами ассоциативных связей. Остальные множества и гиперсети должны заполняться по мере работы ИИ-агента.

• 2.    Актуализация знаний в АГ-памяти. В процессе функционирования ИИ-агент получает новые знания о своем окружении, других акторах и объектах в нем, а также о самом себе. Все эти знания укладываются в АГ-память ИИ-агента. Однако новые символы, факты и другие элементы АГ-памяти должны гармонично встраиваться в имеющуюся структуру с помощью операций над АГ-памятью, описанных в предыдущей статье авторского коллектива [3].

• 3.    Актуализация связей между единицами знаний. При изменении и актуализации элементов АГ-памяти меняются и связи между ними, как ассоциативные, так и гиперсвязи. ИИ-агент актуализирует связи, создавая новые или изменяя имеющиеся.

• 4.    Обучение ИИ-агента. В процессе функционирования ИИ-агента может проводиться его обучение в классическом понимании этого слова, то есть обучение с учителем, обучение без учителя или обучение с подкреплением [10]. Далее в статье будут рассмотрены возможные предложения по реализации этих трех типов машинного обучения на структуре АГ-памяти.

• 5.    Вывод на знаниях. Для принятия решений ИИ-агентом используется вывод на знаниях. Поскольку АГ-память – это гиперграф знаний, то на нем можно осуществлять традиционный вывод, как на семантических сетях. Однако есть и второй способ – использование фокуса активации, которое будет описано в следующей статье авторского коллектива.

Существует важное отличие в обучении ИИ-агента на АГ-памяти от классической схемы машинного обучения. Если классическим методом модель сначала обучается, а только затем запу- скается в эксплуатацию, то для ИИ-агентов на АГ-памяти обучение должно осуществляться непосредственно в процессе эксплуатации.

После пояснений о типах обработки знаний следует более подробно рассмотреть детали этих процессов. Итак, как указано выше, ИИ-агент на базе АГ-памяти может быть обучен с использованием трех классических направлений машинного обучения: обучения с учителем, обучения без учителя и обучения с подкреплением. Все эти типы машинного обучения должны быть модифицированы для того, чтобы отвечать общей архитектуре и целям функционирования ИИ-агента.

• •    Обучение без учителя

Позволяет выявлять скрытые закономерности и выделять во входящих сенсорных потоках образы, которые ложатся в основу сенсорных символов [11]. Фактически обучение без учителя дает возможность выбирать повторяющиеся во входных сенсорных потоках паттерны, которые можно выделить из фона [12].

Если говорить общо, обучение без учителя позволяет ИИ-агенту выделить в каждой сенсорной модальности некоторые инвариантные последовательности стимулов, из которых формируются множества «предсимволов». В дальнейшем эти предсимволы ложатся в основу процедуры привязки символов, как это описано в статье [13] авторского коллектива.

Таким образом, процедура обучения без учителя воздействует на множество S в АГ-памяти. Конкретнее говоря, она формирует множества R_i для каждой из сенсорных модальностей i (описание см. в статье авторского коллектива [2]).

• •    Обучение с учителем

Обучение с учителем для ИИ-агентов, обладающих АГ-памятью, преобразуется в семантическое обучение с учителем, которое подробно описано в работе [14]. Фактически обучение с учителем для АГ-памяти строит ассоциативные связи в ней между различными элементами. Оно также ответственно за процедуру привязки символов, как описано в статье [13].

Если рассмотреть предобученного ИИ-агента, который обладает несколькими модальностями восприятия, то именно взаимодействие с учителем позволит такому объекту связывать друг с другом первичные сенсорные символы и связывать элементы АГ-памяти друг с другом именно ассоциативными связями.

• •    Обучение с подкреплением

Используется в ИИ-агенте для выработки оптимальных стратегий поведения в среде для достижения определенных целей [15]. Своеобраз- ным «учителем» выступает сама среда, которая «наказывает» или «поощряет» ИИ-агента за совершаемые им действия. Таким образом, для применения схемы обучения с подкреплением у ИИ-агента должна быть сенсорная модальность, которая позволяет ему «чувствовать» воздействия среды [16]. Впрочем, и среда должна быть соответствующей.

Более понятным способом применения АГ-памяти у ИИ-агентов является машинный вывод при помощи различных способов. Математическая структура АГ-памяти, описанная ранее, как минимум предполагает возможность использования двух методов машинного вывода – семантического и логического.

Поскольку АГ-память – это граф знаний, на нем можно осуществлять обычный семантический вывод с помощью онтологий и семантических сетей. Если сопоставить элементы АГ-памяти узлам семантической сети, а ассоциативные связи между элементами АГ-памяти – ребрам семантической сети, то семантический вывод станет устроен так же, как машинный вывод на семантических сетях. При применении к подмножествам элементов АГ-памяти схемы семантического вывода тогда, когда в этом подмножестве имеется гиперсвязь, она станет рассматриваться как отдельный элемент (узел), а после – как набор связей (ребер).

Одним из вариантов семантического вывода является вывод логический на основании логических правил Modus Ponens и Modus Tollens [17] в традиционной логике и им подобным в альтернативных логических системах. Этот тип машинного вывода также можно использовать на АГ-памяти, так как продукционные базы знаний вполне могут быть представлены в рамках этого формализма.

Другим вариантом семантического вывода, который расширяет традиционный логический вывод, является вывод на основе лингвистических правил. Это более широкий вариант логического вывода, при использовании которого применяются не правила формальной логики, а скорее, правила логики как философской дисциплины. Такой вывод похож на то, как человек использует свои знания в памяти и общие правила «здравого смысла» для принятия решений. В целом логическая и лингвистическая схемы машинного вывода основываются на том, как человек использует естественный язык для вывода новых знаний и принятия решений.

Семантический машинный вывод и его подтипы могут использоваться в том числе для обра- ботки входных воздействий на ИИ-агента через его текстовую сенсорную модальность. В частности, можно выделить три следующих главных типа таких воздействий [18].

• 1.    Сообщение факта. Выражается в виде последовательного предложения описательного характера. При получении такого воздействия ИИ-агент обновляет свою АГ-память.

• 2.    Получение вопроса. Выражается в виде вопросительного предложения. ИИ-агент должен найти ответ в своей АГ-памяти при помощи описанных выше механизмов семантического вывода.

• 3.    Получение команды. Выражается в виде побудительного предложения с глаголом в императивной форме. ИИ-агент должен прочитать команду, подготовить входные данные для программы реализации, подготовить саму программу и запустить ее исполнение, если это не противоречит поведенческим установкам ИИ-агента.

Заключение

Таким образом, в настоящей статье было представлено описание взаимодействия ИИ-агентов, основанных на АГ-памяти, с машинным обучением. Приведено исчерпывающее описание действия тех или иных методов на работу АГ-памяти, а также, объяснены типы обработки знаний, механизм формирования семантического вывода информации и типы главных воздействий на ИИ-агентов, основанных на АГ-памяти. В дальнейшем авторы планируют затронуть тему иного машинного вывода – фокуса активации.