Организационно-экономическая модель оценки рисков проектов

Автор: Орлов А.И., Цисарский А.Д.

Журнал: Сибирский аэрокосмический журнал @vestnik-sibsau

Рубрика: Экономика

Статья в выпуске: 2 т.18, 2017 года.

Бесплатный доступ

При моделировании жизненного цикла программы создания наукоемкой продукции необходимо учитывать риски, специфические при создании ракетно-космической техники. Представлен новый вид организационно- экономических моделей оценки рисков проектов создания ракетно-космической техники. В них впервые рас- сматривается в общем виде обобщение аддитивно-мультипликативной модели оценки рисков. В двухуровневой схеме на нижнем уровне оценки рисков объединяются аддитивно, на верхнем - мультипликативно. Аддитивно- мультипликативная модель применена для оценки рисков проектов создания ракетно-космической техники. Выделено 44 частных риска на нижнем уровне и 8 - на верхнем, соответственно этапам выполнения проекта. Аддитивно-мультипликативная модель полезна и для решения других задач оценки рисков. Она применялась для оценки рисков выполнения инновационных проектов в вузах (с участием внешних партнеров) и для оценки рисков при выпуске новых инновационных изделий. Рассматриваются последовательно основные элементы нового вида моделей оценки рисков: иерархическая система рисков, экспертная оценка рисков нижнего уровня, агрегирование показателей нижележащей группы рисков для расчета группового риска более высокого уровня, использование результатов оценивания для управления рисками, последствия срыва сроков и методы их пре- одоления. За созданием иерархической системы рисков следующий шаг - построение и применение системы экспертной оценки рисков нижнего уровня (частных рисков). Человеку свойственно использовать для оценки нечисловые характеристики, поэтому естественно давать оценки рисков конкретного проекта создания ракетно-космической техники с помощью лингвистических переменных. Значения лингвистических переменных могут быть получены непосредственно от экспертов в виде баллов из ряда 0, 1, 2, 3, 4, 5. При дальнейшем раз- витии организационно-экономической модели оценки рисков проектов с целью углубленного описания неопреде- ленностей могут быть использованы другие математические средства, основанные на теории нечетких множеств и интервальной математике. Перспективные методы агрегирования оценок рисков предполагают использование взвешенных средних по Колмогорову, взвешенных медиан I и II типов. Результаты оценивания используют при управлении рисками. Подход и разработанная математическая модель могут быть полезны проектным менеджерам, осуществляющим свою деятельность в ракетно-космической промышленности

Еще

Риск, оценка, моделирование, проекты, ракетно-космическая техника, вероятность, экспертные процедуры

Короткий адрес: https://sciup.org/148177722

IDR: 148177722

Текст научной статьи Организационно-экономическая модель оценки рисков проектов

Введение. Успешная реализация проектов создания ракетно-космической техники необходима для обеспечения национальной безопасности нашей страны, в том числе ее экономической составляющей. Поэтому вполне естественно, что стратегия инновационного развития Российской Федерации на период до 2020 года предусматривает ускоренное развитие космической отрасли [1]. Для его обеспечения необходимо решение ряда задач экономики космической деятельности [2]. Работы нашего научного коллектива по организационно-экономическому обеспечению ракетно-космической промышленности проанализированы в статье [3] и главе 4 монографии [4]. В частности, необходима разработка организационноэкономических моделей оценки рисков проектов в ракетно-космической промышленности.

При моделировании жизненного цикла программы создания наукоемкой продукции необходимо учитывать риски, специфические при создании ракетнокосмической техники [5]. Поэтому большое значение имеет развитие технологий адаптивного управления проектами создания, эксплуатации и утилизации ракетно-космической техники [6]. Так, для повышения эффективности реализации проектов по созданию перспективных образцов ракетно-космической техники целесообразно применять концепцию управления требованиями [7].

Настоящая статья посвящена новому виду организационно-экономических моделей оценки рисков проектов создания ракетно-космической техники. В них впервые рассматривается в общем виде обобщение аддитивно-мультипликативной модели оценки рисков. Работа посвящена дальнейшему развитию подхода, предложенного нами в статьях [8; 9] и докладах [10; 11]. Элементы рассматриваемого подхода уже используются в ЦНИИМАШ при выполнении научноисследовательских работ и вошли в учебные курсы МГТУ им. Н. Э. Баумана (дисциплины «Организационно-экономическое моделирование», «Управление проектами» и «Контроллинг рисков»).

Рассмотрим последовательно основные элементы нового вида моделей оценки рисков: иерархическую систему рисков, экспертную оценку рисков нижнего уровня, агрегирование показателей нижележащей группы рисков для расчета группового риска более высокого уровня, использование результатов оценивания для управления рисками, последствия срыва сроков и методы их преодоления.

Иерархическая система рисков. Рассматриваемый подход основан на построении иерархической системы рисков. В работах [8; 9] с целью моделирования особенностей оценки рисков при создании ракетно-космической техники (РКТ) использовалась трехуровневая иерархическая система: риск невыполнения проекта в срок – групповые риски – частные риски. При этом групповые риски – это риски невыполнения в срок этапов проекта.

Основная идея построения иерархической системы – переход от сложного оцениваемого глобального риска к более простым групповым и от них – к частным рискам, которые могут быть оценены (например, экспертами) сравнительно легко. Для демонстрации предлагаемого подхода примем, что разработка РКТ состоит из следующих восьми этапов:

  • 1)    концепция;

  • 2)    разработка технического проекта (аванпроекта и эскизного проекта);

  • 3)    разработка рабочей конструкторской документации;

  • 4)    разработка технологической документации и техпроцессов;

  • 5)    изготовление макета и опытных изделий (опытного образца);

  • 6)    наземная отработка (испытания);

  • 7)    летные испытания и доработка документации для производства по результатам испытаний;

  • 8)    запуск в производство.

На каждом этапе имеются те или иные частные риски. Так, на этапе 5 «Изготовление опытного образца» нами выделены 7 частных рисков:

R 14 – риск ошибок при изготовлении деталей и блоков;

R 24 – риск ошибок при сборке;

R 34 – риск недостатка ресурсов (станочного парка, кадровых, компьютерных, временных и других ресурсов);

R 44 – риски, связанные с невыполнением обязательств смежниками и субподрядчиками (кооперация);

R 54 – организационный риск (риск срыва работ из-за плохой их организации);

R 64 – риск, вызванный действиями поставщиков сырья, комплектующих, материалов (низкое качество, нарушение сроков);

R 74 – внешний риск (по другим причинам).

По всем 8 этапам было выделено 44 частных риска Rij, где i – номер этапа, i = 1, 2, 3, …, 8, а j – номер частного риска внутри этапа, j = 1, 2, ..., n(i), где n(i) – количество частных рисков, выделенных на этапе i (при этом n(i) менялось от 3 до 7). Полный перечень 44 частных рисков (с разделением по группам) приведен в статьях [8; 9].

Ясно, что трехуровневая иерархическая система может быть развернута в более подробную систему с большим числом уровней. Частные риски могут быть подвергнуты декомпозиции. Так, риск R 14 ошибок при изготовлении деталей и блоков может быть разложен на группу рисков, соответствующих отдельным деталям и блокам. Поскольку подобное разложение может быть проведено и для других частных рисков, указанных в статьях [8; 9], то трехуровневая иерархическая система рисков может быть развернута до четырехуровневой. Очевидно, можно рассмотреть и другие частные риски, например, риски ошибок при изготовлении отдельных блоков. Тогда можно выделить отдельные ошибки, которые возможны при изготовлении конкретного блока. Следовательно, появляются частные риски на пятом уровне иерархии и т. д.

В работах [8; 9] нами была выбрана трехуровневая схема, позволяющая достаточно подробно описать многообразие рисков и в то же время достаточно быстро провести численную оценку рисков. При развитии системы риск-менеджмента на предприятии, создающем РКТ, может оказаться полезной детализация рисков, переход к большему числу уровней иерархии.

Построение иерархической системы рисков проводится специалистами в предметной области при анализе риска на первом этапе применения теории риска (имеются в виду три раздела теории риска: анализ риска, оценка риска, управление риском). Рассматриваемый в настоящей статье подход можно применять не только для оценки рисков проектов создания РКТ. В статье [9] приведена информация о построении трехуровневых иерархических систем рисков еще в двух предметных областях: для выполнения инновационных проектов в вузах (с участием внешних партнеров) и для выпуска новых инновационных изделий.

Экспертная оценка частных рисков. За созданием иерархической системы рисков следующий шаг – построение и применение системы экспертной оценки рисков нижнего уровня (частных рисков).

Человеку свойственно использовать для оценки нечисловые характеристики [12], поэтому естественно давать оценки рисков конкретного проекта создания РКТ с помощью лингвистических переменных. Например, члены экспертной комиссии оценивают вероятность реализации риска R ij с помощью градаций лингвистической переменной X ij , выбирая ее значения (градации) из списка:

0 – практически невозможное событие (с вероятностью не более 0,01);

  • 1    – крайне маловероятное событие (с вероятностью от 0,01 до 0,05);

  • 2    – маловероятное событие (вероятность от 0,05 до 0,10);

  • 3    – событие с вероятностью, которой нельзя пренебречь (от 0,10 до 0,20);

  • 4    – достаточно вероятное событие (вероятность от 0,20 до 0,30);

  • 5    – событие с заметной вероятностью (более 0,30).

Ответ эксперта – одна из формулировок, выделенных курсивом. Слева приведена условная кодировка, ее осуществляют организаторы экспертизы. Может быть использована другая кодировка, например, вместо 0, 1, 2, 3, 4, 5 использованы значения 1, 10, 100, 1000, 10000, 100000. Справа приведены еще более условные границы для вероятности. Их назначение – предварительная ориентация экспертов перед началом оценивания с помощью градаций лингвистической переменной.

Очевидно, система оценивания частных рисков с помощью лингвистических переменных может меняться в соответствии с конкретной задачей оценки и управления риском. В частности, могут быть изменены:

  • –    количество градаций;

  • –    способ оцифровки градаций;

    – граничные значения для вероятностей (например, если нежелательные события являются редкими, но соответствующий им ущерб велик, то вероятность практически невозможного события должна быть не более 10–5, вместо «не более 0,01», как указано выше, и т. п.)

Естественно принять, что значения X ij , используемые для оцифровки градаций, неотрицательны.

Конкретные процедуры экспертного оценивания выбирает исследователь в соответствии с рекомендациями учебника [13]. Отметим, что мы считаем нецелесообразным использование так называемого метода анализа иерархий Т. Л. Саати. К аргументам В. В. Поди-новского и О. В. Подиновской [13–15] надо добавить, что метод Т. Л. Саати некорректен с точки зрения теории измерений [16], поскольку построен на неправомерной оцифровке (при переходе к количественной шкале) полученных от экспертов данных, измеренных в порядковой шкале.

Подходы к описанию частных рисков. Как сказано выше, значения лингвистических переменных X ij могут быть получены непосредственно от экспертов в виде баллов из ряда 0, 1, 2, 3, 4, 5. При дальнейшем развитии организационно-экономической модели оценки рисков проектов создания РКТ с целью углубленного описания неопределенностей могут быть использованы другие математические средства [17].

Для описания лингвистических переменных напрашивается применение теории нечетких множеств (в соответствии с названием и содержанием классической книги Л. А. Заде [18]). Функции принадлежности используемых нечетких оценок рисков экспертами оцениваем с помощью экспертов. При таком подходе X ij – нечеткие числа.

Можно использовать «треугольные» нечеткие числа, у которых функция принадлежности описывается тремя числовыми параметрами a, b, c (a < b < c) и имеет треугольный вид: функция принадлежности равна 0 левее a и правее c, в точке b – равна 1, на интервалах (a, b) и (b, c) – линейна. Арифметические операции над такими числами описываются проще, чем для функций принадлежности общего вида.

Известно, что теория нечетких множеств в определенном смысле сводится к теории случайных чисел и, тем самым, к теории вероятностей [17; 19]. Однако это сведение формулируется в виде совокупности теорем и носит математический характер. С прикладной точки зрения вероятностно-статистические модели и модели на основе теории нечетких множеств в настоящее время целесообразно рассматривать как различные варианты математического инструментария.

Другое возможное обобщение – моделирование лингвистических переменных с помощью интервальных чисел (например, [11]). Тогда X ij – интервал ( a , b ) (или [ a , b ], ( a , b ], [ a , b )), т. е. описывается двумя числовыми параметрами a и b . В примере, описанном выше, «крайне маловероятное событие» описывается интервалом (0,01; 0,05]. Статистика интервальных данных подробно рассмотрена в [16; 17].

Для описания частных рисков используем матрицу «вероятность – тяжесть последствий». Тяжесть последствий A ij при реализации частного риска R ij задается числом – коэффициентом весомости (важности, значимости, существенности) и оценивается экспертно. Итак, у риска R ij выделяем две характеристики – показатель вероятности X ij и показатель тяжести последствий A ij. Итоговая оценка Q ij частного риска R ij имеет вид Q ij = A ij X ij , где A ij показатель весомости, например, оценка экономических потерь, вызванных данным видом риска; Xi j – показатель выраженности (распространенности). Эта формула обобщает известный способ оценки риска как произведения среднего ущерба (математического ожидания ущерба) на вероятность нежелательного события.

Агрегирование оценок рисков. Как из оценок рисков, входящих в определенную группу на нижнем уровне, получить оценку риска верхнего уровня? (Точнее, речь идет о подъеме на один уровень в иерархической системе рисков.) Рассмотрим агрегирование оценок рисков, т. е. построение обобщенного показателя, «рейтинга» риска более высокого уровня, усредняющего оценки рисков более низкого уровня.

Для i -й группы рисков оценка Q i группового риска R i рассчитывается как сумма оценок Q ij частных рисков:

Q i = Q i 1 + Q i 2 + … + Q in ( i ) =

= А i 1 Х i 1 + А i 2 Х i 2 + ... + А in ( i ) Х in ( i ) , т. е. агрегирование проводится аддитивно. Значения факторов Хi 1, Хi 2, ..., Хin ( i ) оценивают эксперты для каждого конкретного проекта создания РКТ, в то время как значения коэффициентов весомости А i 1 , А i 2 , ..., А ik ( i ) задаются одними и теми же для всех проектов – по результатам специально организованного экспертного опроса.

С оценкой Q i группового риска R i связана вероятность P i успешного выполнения i -го этапа, а именно, Pi = 1 – Qi , или Pi = 1 – Аi 1 Хi 1 Аi 2 Хi 2 – ... – Аin ( i ) Хin ( i ) .

Вероятность Pi должна быть неотрицательна при всех возможных значениях Хi1, Хi2, ..., Хik(i). Если все оценки факторов риска (частных рисков) принимают свои максимальные значения, то и оценка Qi группового риска Ri должна принять свое максимальное зна- чение, равное 1 (а вероятность Pi, соответственно, минимальное значение 0). Следовательно, коэффициенты весомости (важности) должны удовлетворять условию

А i 1 max Х i 1 + А i 2 max Х i 2 + ... + А ik ( i ) max Х in ( i ) = 1.

В рассмотренном выше варианте оцифровки максимальные значения Xi j равны 5. Следовательно, сумма Аi 1, Аi 2, ..., Аin ( i ) должна равняться 1/5 = 0,2.

В рассматриваемой модели принято, что события, относящиеся к различным группам рисков, независимы между собой в смысле теории вероятностей. Поскольку успешное выполнение проекта возможно тогда и только тогда, когда все этапы выполнены, то вероятность P выполнения проекта в срок равна произведению всех вероятностей P i успешного выполнения этапов, т. е. агрегирование проводится мультипликативно:

P = P 1 P 2 ... P т = (1 – Q 1 ) (1 – Q 2 )...(1 – Q m ), где m – число этапов (в просчитанных в статьях [8; 9] моделях разработка РКТ состоит из восьми этапов, m = 8; в рассмотренных в модели [9] выполнения инновационных проектов в вузах (с участием внешних партнеров) и модели выпуска новых инновационных изделий выделено 4 группы рисков, а потому m = 4).

Оценка Q риска невыполнения проекта в срок – это дополнение до 1 вероятности успешного выполнения проекта P , т. е. Q = 1 – P . Именно эта величина является основной при принятии управленческих решений.

Некоторые обоснования именно такого способа усреднения оценок частных рисков, как описано выше, приведены в [8; 9].

В теории принятия решений разработаны различные методы агрегирования, другими словами, построения обобщенных (интегральных) показателей, рейтингов [20; 21]. В организационно-экономической модели оценки рисков проектов создания РКТ перспективными представляются методы агрегирования оценок частных и групповых рисков с помощью степенных средних, средних по Колмогорову, взвешенных медиан I и II типов, а также методы агрегирования с отсечением недопустимо больших значений оценок частных и групповых рисков (т. е. обнаружение подобного недопустимо большого значения приводит к заключению о невыполнении проекта в срок) и др. Перечисленные методы агрегирования могут быть использованы при дальнейшем развитии организационно-экономической модели оценки рисков проектов.

Перспективные методы агрегирования. Рассмотрим подробнее некоторые методы агрегирования. Пусть необходимо агрегировать оценки рисков x 1 , x 2 , …, x n . При их упорядочении получаем вариационный ряд x (1) <   x (2) <   x (3) <  … <   x ( n ).

При реальных расчетах применяют средние двух типов. Первый тип – степенные средние, частными случаями которых являются среднее арифметическое, среднее квадратическое, среднее гармоническое. Среднее геометрическое является пределом степенного среднего, когда показатель степени стремится к 0. Более общим видом средних являются средние по Колмогорову:

<1            ^

F - 1 I 1 S F ( X i ) I ,

I n -=1        J где F – строго монотонная функция; F–1 – функция, обратная к ней.

Второй тип средних величин – структурные средние, прежде всего медиана и мода, а также члены вариационного ряда, минимум, максимум, квартили, децили.

Применение теории измерений позволило установить, как выбирать средние в соответствии со шкалами, в которых измерены исходные данные [12; 19; 20]. Так, для данных, измеренных в порядковой шкале, допустимыми средними являются только члены вариационного ряда. В частности, при нечетном объеме выборки – выборочная медиана, при четном – левая и правая медианы (т. е. два центральных члена вариационного ряда). В шкале интервалов из всех средних по Колмогорову можно использовать только среднее арифметическое. В шкале отношений из всех средних по Колмогорову допустимы только степенные средние и среднее геометрическое.

Взвешенные средние (синоним – средние взвешенные) – это средние величины, в которых усредняемые величины учитываются по-разному, в соответствии с весовыми коэффициентами. Выделим два типа взвешенных средних. Для средних I типа весовые коэффициенты соответствуют элементам выборки. Для средних II типа весовые коэффициенты соответствуют членам вариационного ряда.

Пусть a 1, a 2, …, an – весовые коэффициенты (веса), т. е. неотрицательные числа, в сумме составляющие 1. Удобно ввести случайные величины X ( a 1 , a 2 , …, a n ) и Y ( a 1 , a 2 , …, a n ) такие, что P ( X = x 1 ) = a 1 , P ( X = x 2 ) = = a 2 , …, P ( X = x n ) = a n , в то время как P ( Y = x (1)) = a 1 , P ( Y = x (2)) = a 2 , …, P ( Y = x ( n )) = a n . Таким образом, случайные величины X и Y принимают одни и те же значения (перечисленные в наборе x 1 , x 2 , …, x n ), но, вообще говоря, с разными вероятностями. Если все веса равны между собой (и равны 1/ n ), то распределения случайных величин X и Y совпадают и называются эмпирическим распределением.

Взвешенные средние легко определить с помощью введенных случайных величин X и Y . Среднее взвешенное арифметическое I типа – это математическое ожидание X , т. е.

n

M ( X ) = S a i X i .                 (1)

i = 1

Среднее взвешенное арифметическое II типа – это математическое ожидание Y , т. е.

n

M (Y ) = £ a i X ( i ).                  (2)

i = 1

Ясно, что результаты расчетов по формулам (1) и (2), вообще говоря, различны.

Среднее взвешенное по Колмогорову I типа – это

  • < 1              )

F - 1 ( M ( F ( X )) ) = F - 1 I- ^ a.F ( X ) I .

  • V    n 1 = 1           J

Среднее взвешенное по Колмогорову II типа – это

< )

F - 1 ( M ( F ( Y )) ) = F - 1I- S a i F ( x ( i )) I .

  • V    n i=1 J

Аналогично вводятся выборочная взвешенная медиана I типа – медиана случайной величины X , вероятности совпадения которой с элементами выборки равны заданным весам, и выборочная взвешенная медиана II типа – медиана случайной величины Y , вероятности совпадения которой с членами вариационного ряда равны заданным весам.

При использовании взвешенных средних величин в задачах системного анализа и принятия решений необходимо указывать тип средних, поскольку от типа средних зависят численные значения. В Московском государственном техническом университете им. Н. Э. Баумана при преподавании дисциплины «Прикладная статистика» и в Московском физикотехническом институте при преподавании дисциплины «Методы анализа данных» понятия средних взвешенных величин I типа и II типа входят в учебные программы, однако в научной и учебной литературе разделение средних взвешенных величин I типа и II типа нам не встречалось. Разделение необходимо, поскольку для одних и тех же исходных числовых данных значения одноименных средних взвешенных I и II типов различаются, что при практической работе может привести к недоразумениям.

Использование результатов оценивания при управлении рисками. Оценка Q риска невыполнения проекта в срок дает лицу, принимающему решение (ЛПР), основания для принятия тех или иных управленческих решений. Если оценка указанного риска мала (например, 1 %), то ЛПР может ограничиться контролем за выполнением этапов проекта. Если оценка Q риска невыполнения проекта в срок составляет 80–90 %, то сроки выполнения проекта следует признать нереальными, а потому необходимы кардинальные управленческие решения.

Управление рисками может быть основано не только на основе оценки Q риска невыполнения проекта в целом, но и на анализе влияний оценок частных и групповых рисков на итоговую оценку риска Q . Целесообразно принять меры по снижению наиболее заметных влияний, т. е. по снижению конкретных групповых, а затем и частных рисков. Так, в приведенном выше примере этапа 4 «Изготовление опытного образца» могут быть приняты меры по снижению частных рисков, например, усилен контроль при изготовлении деталей и блоков (с целью уменьшения оценки Х 14 риска R 14); проведено дополнительное обучение сборщиков (это позволит уменьшить оценку Х 24 риска R 24 ); проанализирована потребность в ресурсах (производственных, материальных, кадровых, временных и др.) и при необходимости увеличены выделяемые ресурсы с целью уменьшения оценки Х 34 риска R 34 недостатка ресурсов; отработаны взаимоотношения со смежниками и субподрядчиками, поставщиками сырья, комплектующих, материалов (это позволит уменьшить оценки Х 44 и Х 64 рисков R 44 и R 64 соответственно) и т. д.

Может быть поставлена и решена оптимизационная задача по распределению имеющихся ресурсов с целью максимально возможного снижения итогового риска путем воздействия на доступные управлению групповые и частные риски, как это было сделано при разработке нашим коллективом автоматизированной системы прогнозирования и предотвращения авиационных происшествий [22].

В работах [8; 9] нами рассмотрена последовательность этапов выполнения проекта по созданию РКТ. Срыв сроков выполнения определенного этапа приводит к необходимости изменения сроков дальнейших этапов. Принято предположение, что при срыве этапа он повторяется и при этом обязательно выполняется. Выделены варианты выполнения проекта создания РКТ с учетом возможных повторов. Можно рассмотреть более сложную теорию, когда повторное выполнение этапа приводит к успеху не наверняка, а лишь с некоторой вероятностью.

Заключение. Отличительная особенность рассмотренного в настоящей статье подхода состоит в том, что он основан на построении трехуровневой иерархической системы рисков. Выбранная трехуровневая схема позволяет достаточно подробно описать многообразие рисков и в то же время достаточно быстро провести их численную оценку. При необходимости трехуровневая иерархическая система рисков может быть развернута до четырехуровневой и даже пятиуровневой схемы. Декомпозиция риска верхнего уровня дает систему рисков, образующих группу рисков более низкого уровня иерархии.

Анализ оценки 44 рисков, приведенных в работах [8; 9], показывает, что отдельные риски второго порядка вносят в риски по этапам заметно больший вклад, чем другие риски на тех же этапах. Полученные результаты демонстрируют возможность оценки и управления такими рисками.

Учитывая значимость инноваций в области создания ракетно-космической техники, подход и разработанная математическая модель могут быть полезны проектным менеджерам, осуществляющим свою деятельность в ракетно-космической промышленности.

Авторы благодарны Д. Б. Пайсону за полезные замечания.

Список литературы Организационно-экономическая модель оценки рисков проектов

  • Инновационная Россия -2020 (Стратегия инновационного развития Российской Федерации на период до 2020 года). М.: Правительство Российской Федерации, 2011. 148 с.
  • Экономика развития космической деятельности/под ред. Г. Г. Райкунова. М.: Физматлит, 2013. 600 с.
  • Орлов А. И. Организационно-экономическое обеспечение ракетно-космической промышленности//Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2016. № 120. С. 86-114.
  • Орлов А. И., Луценко Е. В., Лойко В. И. Организационно-экономическое, математическое и программное обеспечение контроллинга, инноваций и менеджмента/под общ. ред. С. Г. Фалько. Краснодар: КубГАУ, 2016. 600 с.
  • Хрусталев Е. Ю., Хрусталев О. Е. Моделирование жизненного цикла программы создания наукоемкой продукции//Экономический анализ: теория и практика. 2012. № 16 (271). С. 2-12.
  • Грачев И. Д., Фионов А. С. Развитие технологий адаптивного управления проектами создания, эксплуатации и утилизации ракетно-космической техники//Национальные интересы: приоритеты и безопасность. 2012. № 42 (183). С. 2-14.
  • Цисарский А. Д. Повышение эффективности реализации проектов по созданию перспективных образцов ракетно-космической техники на основе концепции Requirements Engineering//Национальные интересы: приоритеты и безопасность. 2013. № 31. С. 25-29.
  • Орлов А. И., Цисарский А. Д. Особенности оценки рисков при создании ракетно-космической техники//Национальные интересы: приоритеты и безопасность. 2013. № 43 (232). С. 37-46.
  • Орлов А. И. Аддитивно-мультипликативная модель оценки рисков при создании ракетно-космической техники//Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 102. С. 78-111.
  • Орлов А. И., Цисарский А. Д. Аддитивно-мультипликативная модель оценки рисков и ее применение при разработке инновационно-инвестиционных проектов создания ракетно-космической техники//Проблемы управления безопасностью сложных систем: Труды ХХI Междунар. конф. (декабрь 2013, г. Москва)/под ред. Н. И. Архиповой, В. В. Кульбы. М.: РГГУ, 2013. С. 394-398.
  • Орлов А. И. Цисарский А. Д. Особенности оценки рисков при реализации инновационно-инвестиционных проектов в космической отрасли//Актуальные проблемы российской космонавтики: материалы XXXVIII Академических чтений по космонавтике (январь 2014, г. Москва)/под общ. ред. А. К. Медведевой. М.: Комиссия РАН по разработке научного наследия пионеров освоения космического пространства, 2014. С. 210-210.
  • Орлов А. И. Организационно-экономическое моделирование. Ч. 2. Экспертные оценки. М.: Изд-во МГТУ им. Н. Э. Баумана, 2011. 486 с.
  • Саати Т. Л. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1989. 316 с.
  • Подиновский В. В., Подиновская О. В. О не-корректности метода анализа иерархий//Проблемы управления. 2011. № 1. С. 8-13.
  • Подиновский В. В., Подиновская О. В. Еще раз о некорректности метода анализа иерархий//Проблемы управления. 2012. № 4. С. 75-78.
  • Орлов А. И. Организационно-экономическое моделирование. Ч. 1. Нечисловая статистика. М.: Изд-во МГТУ им. Н. Э. Баумана, 2009. 542 с.
  • Орлов А. И., Луценко Е. В. Системная нечеткая интервальная математика. Краснодар: КубГАУ, 2014. 600 с.
  • Заде Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 165 с.
  • Орлов А. И. Устойчивость в социально-экономических моделях. М.: Наука, 1979. 296 с.
  • Орлов А. И. Теория принятия решений. М.: Экзамен, 2006. 576 с.
  • Лындина М. И., Орлов А. И. Математическая теория рейтингов//Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 114. С. 1-26.
  • Хрусталев С. А., Орлов А. И., Шаров В. Д. Математические методы оценки эффективности управленческих решений//Заводская лаборатория. Диагностика материалов. 2013. Т. 79, № 11. С. 67-72.
Еще
Статья научная