Моделирование динамики принятия решений виртуальными агентами с учетом заданных предысторий в интерактивных средах

Моделирование поведения виртуальных агентов является одной из центральных задач искусственного интеллекта (ИИ) и агентных систем. В классических работах по интеллектуальным системам принятие решений рассматривается как выбор действия на основе текущего состояния среды и функции полезности [1]. В многоагентных системах поведение агента дополнительно зависит от взаимодействия с другими участниками среды [2].

В рамках обучения с подкреплением выбор действия формализуется через максимизацию ожидаемой награды, а динамика поведения описывается обновлением ценностной функции [3]. Однако большинство базовых моделей предполагает, что поведение агента определяется текущими наблюдениями и накопленной статистикой взаимодействий. Предварительно заданные биографические особенности или устойчивые установки в явном виде не учитываются.

В задачах социального моделирования и вычислительной экономики показано, что неоднородность агентов по поведенческим характеристикам существенно влияет на макродинамику системы [4; 5]. В связи с этим возникает задача формального включения предыстории в процесс принятия решений виртуальными агентами.

Целью исследования является разработка динамической модели, учитывающей заданные параметры предыстории, и анализ влияния этих параметров на индивидуальную и коллективную динамику поведения в интерактивной среде.

Актуальность исследования обусловлена расширением применения виртуальных агентов в интерактивных цифровых средах, включая обучающие системы, компьютерное моделирование и интеллектуальные сервисы поддержки принятия решений. При этом традиционные модели поведения агентов в большинстве случаев учитывают только текущее состояние среды, что приводит к упрощению стратегий взаимодействия. Учет предыстории агента позволяет моделировать устойчивые поведенческие различия и повышает реалистичность многоагентных систем, что делает разработку соответствующих моделей принятия решений востребованной научной задачей.

Вестник Российского нового университета

Серия «Сложные системы: модели, анализ и управление». 2026. № 2

Предшествующий опыт виртуального агента в рамках модели описывается совокупностью устойчивых поведенческих характеристик, формируемых до начала взаимодействия со средой. В исследованиях многоагентных систем подобные характеристики рассматриваются как параметры предпочтений и внутреннего состояния агента, влияющие на процесс выбора действий [2].

В моделях обучения с подкреплением поведение агента часто задаётся параметризованной политикой принятия решений, зависящей от набора параметров θ [3]. По аналогии с данным подходом предыстория агента в настоящем исследовании представляется в виде вектора параметров

H = (h1, h2, …, hn), где компоненты вектора характеризуют устойчивые особенности поведения агента, сформированные до начала моделирования.

Параметры могут отражать:

• –    склонность агента к риску;

• –    уровень доверия при взаимодействии с другими агентами;

• –    чувствительность к потерям или санкциям;

• –    скорость адаптации к изменениям среды.

Использование параметрического описания позволяет учитывать неоднородность агентов, которая рассматривается как важный фактор формирования коллективной динамики в агентно-ориентированных моделях социально-экономических систем [4; 5].

Формальная динамическая модель рассматривает дискретное время t = 1, 2, …, T . На каждом шаге агент наблюдает состояние среды S_t , обладает за внутренним состоянием I_t и выбирает действие a_t .

Вероятность выбора действия определяется логит-моделью

P ( a_t | S_t , I_t , H ) =

Функция Q ( a_t ; S_t , I_t , H ) представляется в виде

Q = R((at, St) – C(at) + Ф(at, H), где R – ожидаемая награда;

• С    – издержки;

Ф – поправка, зависящая от параметров предыстории.

Обновление внутреннего состояния осуществляется по формуле

It+1 = α(H)It + β(H)g(St, at), где коэффициенты а (H) и в( H) определяют степень сохранения прошлого состояния и скорость адаптации к новой информации.

Таким образом, параметры предыстории влияют на выбор действий и на динамику внутренних состояний.

Для анализа поведения агентов разработана симулированная среда с ограниченным ресурсом и возможностью кооперативного или конкурентного взаимодействия. На каж-

Моделирование динамики принятия решений виртуальными агентами с учетом заданных предысторий в интерактивных средах дом шаге агент выбирает одну из стратегий: сотрудничество, индивидуальное извлечение ресурса или санкционирование других участников.

Эксперимент включал три сценария:

• 1)    агенты без предыстории ( H = 0);

• 2)    агенты с одинаковыми параметрами H ;

• 3)    агенты с индивидуально различающимися параметрами.

Число агентов составляло 100, горизонт моделирования – 500 шагов. Для каждого сценария проводилось 50 прогонов с различными начальными условиями. Сводные количественные результаты моделирования представлены в Таблице.

В первом сценарии наблюдалось быстрое формирование доминирующей стратегии. После 150–200 шагов система переходила в устойчивое состояние с незначительными флуктуациями.

Во втором сценарии динамика отличалась от динамики первого, однако однородность параметров предыстории приводила к синхронному поведению агентов и снижению вариативности стратегий.

В третьем сценарии зафиксировано увеличение дисперсии стратегий и формирование устойчивых коалиций. Часть агентов демонстрировала долгосрочную ориентацию на сотрудничество, другая – склонность к краткосрочной выгоде. Система не достигала единого стационарного состояния в пределах заданного горизонта моделирования.

Таблица

Сравнение результатов моделирования при различных сценариях учета предыстории

Сценарий моделирования	Средняя награда агента	Дисперсия стратегий	Время стабилизации (шаги)	Доля кооперации
Без учета предыстории	0,64	0,12	178	0,41
Однородная предыстория	0,68	0,19	231	0,47
Индивидуальные предыстории	0,66	0,37	500	0,53

Сравнение средних значений совокупной награды показало, что гетерогенная структура предысторий приводит к более высокой вариативности результатов при сопоставимом среднем уровне эффективности.

Полученные результаты согласуются с выводами работ по агентному моделированию социальных систем [4; 5], где неоднородность характеристик агентов рассматривается как источник сложной коллективной динамики.

Учет предыстории позволяет моделировать устойчивые поведенческие различия, не сводимые к случайным флуктуациям. При этом чрезмерное влияние параметров H на функцию выбора действий приводит к снижению адаптивности системы.

Практическое применение модели возможно в задачах разработки игровых сред, систем обучения, симуляторов коллективного поведения и тестирования алгоритмов координации. В перспективе модель может быть расширена за счет автоматического обновления параметров предыстории на основе длительных серий взаимодействий.

Разработанная модель позволяет учитывать устойчивые поведенческие различия между агентами, сформированные до начала взаимодействия в среде. В отличие от классических моделей принятия решений, ориентированных преимущественно на текущее

Вестник Российского нового университета

Серия «Сложные системы: модели, анализ и управление». 2026. № 2

состояние системы и накопленную награду [1; 3], предложенный подход вводит дополнительный уровень индивидуализации поведения за счет параметров предшествующего опыта.

Проведенное имитационное моделирование показало, что учет предыстории оказывает заметное влияние на коллективную динамику системы. В сценариях без индивидуализации поведения агенты сравнительно быстро переходят к устойчивым стратегиям, что приводит к снижению разнообразия взаимодействий. Использование однородных параметров предыстории изменяет распределение стратегий, однако не устраняет синхронность поведения.