Разработка стратегий управления сложными проектами на основе алгоритмов обучения с подкреплением
Автор: Баркалов С.А., Белоусов А.В., Серебрякова Е.А.
Рубрика: Управление в социально-экономических системах
Статья в выпуске: 1 т.26, 2026 года.
Бесплатный доступ
В данной работе рассматриваются основные подходы к формированию стратегий управления сложными проектами на основе методов машинного обучения с подкреплением. Масштаб и разнообразие задач сложных проектов, количество исполнителей и используемых ресурсов могут создавать весьма сложные комбинаторные схемы, поэтому эффективное оперативное интерпретирование таких структур и принятие обоснованных решений, гарантирующих соблюдение сроков, представляют собой значительную сложность. Чтобы преодолеть обозначенные сложности, применяются интеллектуальные системы, способные анализировать и предсказывать временные и ресурсные характеристики, относящиеся как к отдельным задачам, так и к их совокупности. Такой процесс интегрирован в марковскую модель принятия решений. В ее состав входит разработка системы показателей как количественных, так и качественных, предназначенных для оценки работы проектов. Все эти аспекты играют существенную роль в определении тех технических и экономических рисков, которые могут возникнуть в процессе реализации проектов путем определения стратегий. Цель исследования заключается в формировании интеллектуальной модели и алгоритма принятия решений при выборе стратегий реализации сложных проектов на основе моделей машинного обучения с подкреплением. Методы исследования. Для решения задачи выбора стратегий управления сложными проектами использовалась марковская модель принятия решений, используемая для оценки ценности состояний и действий агента при выборе стратегий на основе метода temporal difference. В результате оценка ценности действий производилась на основе алгоритма SARSA, позволяющего получить оптимальные варианты действий на каждой задаче выполнения проекта в зависимости от факторов внутренней и внешней неопределённости. Результаты. Представленные в статье методы предоставляют эффективный инструмент для оперативного разрешения широкого спектра задач, неизбежно возникающих при воплощении сложных проектов, учитывая как внутренние, так и внешние факторы неопределенности. Благодаря использованию модели машинного обучения с подкреплением, основанной на марковском процессе, создается основа для системы поддержки принятия решений. Эта система способна динамически оценивать ход выполнения проекта и формировать адаптивные и точные стратегии с низким уровнем погрешности. В ее структуру могут быть интегрированы различные подмодели, такие как регрессии, классификаторы, кластеризаторы и глубокие нейронные сети. Заключение. Полученные результаты в полной мере применимы для формирования эффективных стратегий управления сложными проектами. Доказано, что использование марковских моделей принятия решений в полной мере позволяет нивелировать неопределённость при определении характера закона распределения случайной величины генеральной совокупности данных, необходимых для обучения проекта. Кроме того, дискретность в МППР соответствует характеру формирования и управления сложным проектом, осуществляемым варьированием параметров и , а в случае, когда проект длится значительное время, возможно использование параметра, эффективность применения которого подлежит дальнейшим исследованиям.
Алгоритм, марковская модель принятия решений, граф, обучение с подкреплением, стратегии, таблица ценности действий
Короткий адрес: https://sciup.org/147253159
IDR: 147253159 | УДК: 63.009.34 | DOI: 10.14529/ctcr260108
Development of strategy of management of the difficult projects on the basis of tutoring algorithms with the reinforcement
In this work the main approaches to formation of strategy of management of the difficult projects on the basis of methods of machine learning with a reinforcement are considered. The scale and a variety of tasks of the difficult projects, the number of performers and the used resources can create very the compound combinatory circuits therefore effective expeditious interpretation of such structures and adoption of the justified decisions guaranteeing keeping of terms represent the considerable complexity. To overcome the designated difficulties, the intellectual systems capable to analyze and predict the temporary and resource characteristics relating both to separate tasks, and to their set are applied. Such process is integrated into Markov model of a decision making. Development of the system of indexes as the quantitative, and the qualitative, intended for job evaluation projects is its part. All these aspects play an essential role in determination of those technical and economic risks which can arise during implementation of projects a path of definition of strategy. The research objective consists in formation of intellectual model and algorithm of a decision making when choosing strategy of implementation of the difficult projects on the basis of models of machine learning with a reinforcement. Research techniques. For the solution of a problem of the choice of strategy of management of the difficult projects the Markov model of acceptance of decisions used for assessment of value of states and actions of the agent when choosing strategy on the basis of the temporal difference method was used. As a result, assessment of value of actions was made on the basis of the algorithm SARSA allowing to receive optimal variants of actions on each problem of implementation of the project depending on factors of internal and external indeterminacy. Results. The methods presented in article provide the effective tool for operational permission of a wide range of the tasks which are inevitably arising at the embodiment of the difficult projects, considering both internal, and external factors of indeterminacy. Thanks to the model of machine learning with a reinforcement based on the Markovian process the basis for the system of support of a decision making is created. This system is capable to estimate dynamically the course of implementation of the project and to form adaptive and exact strategy with low level of an error. Various sub models, such as regressions, qualifiers, clustering and deep neural networks can be integrated into its structure. Conclusion. The received results in to the complete measure are applicable for formation of effective strategy of management of the difficult projects. It is proved that use of Markov models of a decision making fully allows to level indeterminacy when determining nature of the distribution law of a random value of a universe of the data necessary for tutoring of the project. Besides the discretization in MPPR corresponds to the nature of formation and management of the difficult project which is carried out by variation of parameters ε and γ and in case the project lasts the considerable time perhaps of use of parameter β which effectiveness of application is subject to further researches.
