Об использовании нечетких вычислений в решении проблемы неопределенности при оценке эффективности технологических инноваций на предприятии
Автор: Шаталова Ольга Михайловна
Рубрика: Управление инвестициями и инновационной деятельностью
Статья в выпуске: 3 т.12, 2018 года.
Бесплатный доступ
Статья посвящена вопросам развития методологии оценки эффективности инноваций как критерия принятия решений в управлении развитием предприятий в условиях неопределенности и нечеткости информации. Предложен методологический подход к оценке эффективности технологических инноваций (ТИ), основанный на системном понимании содержания эффективности и использовании аппарата теории нечетких множеств; в основе предложенного подхода положен принцип представления показателя целевого результата инновации в форме вектора трех параметров (целевой эффект, стоимость и срок проекта ТИ) и сопоставлении требуемых и ожидаемых значений этих параметров через нечеткий логический вывод. Представлены результаты практического применения разрабатываемого методологического подхода; полученные методами нечетких вычислений результаты оценки эффективности ТИ и их верификации показали достаточный уровень валидности и достоверности. На основе представленных в статье теоретико-методологических и практико-ориентированных результатов исследования поставлены задачи развития предложенного подхода и применяемых в его рамках методов, а также сформулирована область его использования - построение концептуальных имитационных моделей в управлении ТИ на прединвестиционной стадии жизненного цикла.
Технологические инновации, эффективность, управление, неопределенность, нечеткие вычисления, системный подход, инвестиции, предприятие
Короткий адрес: https://sciup.org/147232366
IDR: 147232366 | DOI: 10.14529/em180309
Текст научной статьи Об использовании нечетких вычислений в решении проблемы неопределенности при оценке эффективности технологических инноваций на предприятии
Природа инноваций априорно задает высокий уровень неопределенности, поскольку уровень новизны предмета инновационной деятельности становится ключевым условием обеспечения конкурентоспособности и развития организации. Используемые методы принятия решений должны соответствовать специфике инновационной деятельности, в том числе такой существенной особенности инновационных процессов, как высокий уровень неопределенности и нечеткости информации об объекте управления и среде его функционирования.
Наличие неопределенности (Н.) в системе управления технологическими инновациями (ТИ) существенно усложняет процесс принятия решений: наряду с детерминированными условиями, которые известны лицу, принимающему решения (ЛПР), с требуемой точностью, хорошо контролируемы и прогнозируемы, большую роль играют факторы, о значении и поведении которых в реальном процессе исследователь осведомлен не полностью. Повышение уровня управляемости инновационными процессами возможно при условии обеспеченности ЛПР адекватным методиче- ским инструментарием, в том числе инструментарием оценки эффективности инноваций, как критерия принятия решений о выборе вариантов инновационных стратегий, активных средств ее реализации и т.д. на различных стадиях жизненного цикла инновации.
Основные теоретико-методологические предпосылки исследования эффективности с позиций неопределенности
Формы неопределенности, существенные в управлении инновациями
Функционирование любых организационных систем связано с высоким уровнем Н. В классификации видов Н. выделяют две основные группы [1]: 1) Н., обусловленная случайными переменными; 2) Н., обусловленная переменными нестохастической природы. В исследовании случайных переменных широко используются теории вероятности и математической статистики. Методы исследования неопределенных переменных нестохастической природы зависят от вида Н.; в этой связи в работе выделяют следующие виды нестохастической Н. [2]: 1) поведенческая Н. (обусловлена наличием целенаправленного противодействия со стороны конкурирующей системы), 2) при- родная Н. (связана с недостаточной изученностью либо невозможности такого изучения явлений, сопровождающих процесс функционирования системы), 3) целевая Н. (состоящая в нечетком представлении цели операции, приводящем к неоднозначной трактовке соответствия реального (либо ожидаемого) результата требуемому); 4) неопределенность выбора (или неопределенность действий ЛПР), связанная с иррациональностью в принятии решений.
По нашему мнению, в управлении ТИ значительный методологический и практический интерес представляет проблема исследования и учета целевой и природной Н. В этой связи видится необходимым соответствующее развитие методического аппарата оценки эффективности инноваций, направленное на интеграцию детерминированных, стохастических и экспертных знаний об объекте управления и среде его функционирования; такое развитие методологии, по нашему мнению, возможно в концепции системного подхода к исследованию эффективности и применением положений теории нечетких множеств.
Основные предпосылки системного исследования эффективности в управлении инновациями
Категория «эффективность» в рамках системного подхода трактуется как «наиболее общее, определяющее свойство любой целенаправленной деятельности, которое с гносеологической точки зрения раскрывается через категорию цели и объективно выражается степенью достижения цели с учетом затрат ресурсов и времени» [2]. Т. е. с позиций системного подхода эффективность определяется как мера соответствия между ожидаемым (получаемым) целевым результатом и результатом, который обеспечивает требуемые свойства системы. В соответствии с данным пониманием, для измерения эффективности предложен подход:
W(u) = р(¥(и),¥тр). (1) где W ( u ) - показатель эффективности операции (проекта) при определенной стратегии и («страте-гия» при этом понимается как системная категория); – функция соответствия реального результата операции требуемому; Yтр – требуемый результат операции, обеспечивающий необходимые качества системы (устойчивость, развитие, организацию, самоорганизацию и др.); Y ( u ) - реальный (либо ожидаемый) результат операции, получаемый при реализации стратегии и ; Y - результат операции, определяемый исходя из совокупности трех параметров – целевой эффект (q), стоимость (С), сроки (Т).
Таким образом, в реализации системного подхода к исследованию эффективности инноваций высокое методологическое значение приобретает вопрос о форме представления Y и вида функции соответствия. Показатель целевого результата (Y) в рассматриваемой работе предложено представлять либо как скалярный показатель через «сверстку» составляющих его параметров в заданной функциональной форме, либо в виде m-мерного вектора, включающего в себя три соответствующих группы компонент (m = m1 + m2 + m3):
< m3 >
< m > /_< m1 > < mm>>
Y = (q ,C ,T
В случае представления Y в форме скалярного показателя оценка эффективности состоит в сопоставлении Y(u) и Yтр через обычное задание функции соответствия:
Г 1, если y(u) > утр;
р (y, утр) ) _ (3)
(0, в противном случае
(если целью операции выступает достижение требуемого результата)
Т. е. оцениваемое решение (u) признается эффективным, если Y(u) > Yтр и наоборот.
В случае представления Y в векторной форме вопрос о выборе функции соответствия требует своей проработки с учетом условий нечеткости информации и неопределенности условий реали- зации инновационных процессов.
О форме представления целевого результата (Y) в системном исследовании эффективности инноваций
В экономических исследованиях, в целом, и в исследованиях экономической эффективности, в частности, целевой результат представляют в форме скалярного показателя; при этом обеспечивается однозначное суждение о результате исследуемого процесса или явления. Задача исследователя состоит в выявлении значимых факторов и установлении характера связи между ними: а) в случае явных связей – через факторную детерминированную модель; б) в случае неявных связей, имеющих вероятностный характер – через стохастическую зависимость между факторами; в) также возможно решение данной задачи методами ква-лиметрии, методами парных сравнений (путем установления вектора приоритетов) и др.
В оценке эффективности инноваций находит широкое применение практика использования показателей инвестиционного анализа в концепции DCF-моделей, а также в концепции теории производственных функций. В табл. 1 приведены некоторые примеры показателей, которые рассматривают в качестве целевых результатов инновационной деятельности.
Содержание оценки эффективности инноваций при скалярной форме Y можно представить следующей схемой (рис. 1).
Таблица 1
Примеры представления Y в скалярной форме
Показатели |
Модели расчетных формул |
Чистый дисконтированный доход |
n n V CFt v'1 CIt NPV = ) -- ) — 2^(1 + 1)‘ £ 1 (1 + 0- |
Индекс доходности инвестиций |
V1 CF t CI t PI "Zt (i+i)t '^^ (i+i)t |
Динамическая производственная функция от результирующих факторов |
Y = f (x1(t), x2(t), … xn(t)) |
Степенная производственная функция от результирующих факторов |
Y= a 0 qa l qa 2 Ta 3 |
Следует отметить некоторые «препятствия» к представлению Y в форме скалярного показателя при оценке эффективности инноваций с позиций нестохастической Н.: а) «сверстка» параметров эффективности (q, C, T) допустима и целесообразна, если существует определенное представление о характере связи между ними либо характер связи может быть достоверно задан вероятностной стохастической моделью; при этом могут отсутствовать достаточные ретроспективные данные о поведении системы и состоянии среды; б) в оценке эффективности ТИ может потребоваться нестоимостное измерение целевого эффекта (q) либо представление q в лингвистическом описании; в) может потребоваться учет ограничений и предпочтений ЛПР в разрезе параметров целевого результата Y (например, предпочтительность достижения целевого эффекта в короткий срок либо, наоборот, приоритет экономичности и т. д.); г) ограничения по параметрам целевого результата Y могут быть заданы нечетко – в виде «информационных гранул» (в интервальных оценках и лингвистических критериях) [3, 4]; д) и другие.

Рис. 1. Схема оценки W при отображении Y в скалярной форме
Преодоление указанных сложностей оценки эффективности инноваций (т. е. сложностей при скалярном представлении целевого результата Y) возможно, по нашему мнению, путем задания Y в векторной форме. Содержание оценки эффективности W по векторному показателю целевого результата Y схематично отображено на рис. 2.

Рис. 2. Схема оценки W при векторном представлении целевого результата Y
Оценка W на основе Y, представляемого в векторной форме, имеет, по нашему мнению, следующие преимущества в сравнении со скалярной формой Y:
– требуемые значения могут быть заданы в интервальной форме (это условие представляется существенным поскольку, как правило, невозможно задать ожидания ЛПР в четком виде), и, таким образом, оценка эффективности сводится к выявлению тех вариантов, по которым значения ключевых параметров наилучшим образом соответствуют границам допустимых значений по q тр , C тр , тр ;
– сопоставление требуемых и ожидаемых значений параметров Y между собой дает возможность оценивать q не только в стоимостном выражении, q может быть представлен, например, как определенная технико-экономическая характеристика нового изделия либо как дополнительный объем выпуска, либо как условная величина и т. п.; кроме того, появляется возможность задания каждого из параметров Y в лингвистическом описании [5];
– использование Y в векторной форме при оценке W, как критерия принятия управленческих решений, может способствовать повышению оперативности получения информации о системе, так как дает возможность элиминированной оценки последствий воздействия на каждый фактор эффективности с учетом их взаимосвязей (например, возможно удорожание работ в обеспечение оперативности, но оценка значимости последствий для управляемого процесса на основе показателя W в скалярной форме достаточно трудоемка и сопряжена с целым рядом иных допущений, которые снижают точность и достоверность оценки);
– возможность расширенного представления каждого из параметров Y позволяет раскрыть содержание и движущие силы процесса управления ТИ и, тем самым, снизить Н. принятия решений и сформировать информационные предпосылки к обоснованному выбору анализируемых альтернатив ;
– становится возможным учет предпочтений ЛПР (через задание базы правил в нечетком логическом выводе комплексного показателя W), например, могут быть установлены приоритеты по экономичности либо срочности, либо результативности оцениваемой ТИ;
– возможность практического применения комплексного методического аппарата создает предпосылки к интеграции детерминированных, стохастических и экспертных знаний о системе.
Как следует из схемы (см. рис. 2), при векторном представлении целевого результата Y задачами оценки W становятся:
-
1) определение содержания и порядка оценивания каждого из параметров целевого результата (Y), т. е. q, C, T;
-
2) формирование и реализация приемлемой функции соответствия (р), обеспечивающей, с одной стороны, соотнесение требуемого и ожидаемого значений по каждому из параметров и формирование на этой основе комплексного измерителя W.
О функции соответствия (р) в оценке эффективности инноваций с позиций нестохастической Н.
При оценке эффективности W по векторному показателю целевого результата Y функция соответствия ρ, по мнению автора, может быть реализована через нечеткий логический вывод. В этом случае отождествляются категории «функция соответствия» и «эффективность» в следующем смысле: «полное соответствие» между параметра- ми Y(u) и Yтр можно трактовать как «высокую эффективность» и наоборот.
Общая схема модели нечеткого логического вывода W(u) представлена на рис. 3.
Преимущества применения нечетких вычислений в решении управленческих задач, решаемых как в технических, так и в организационных системах, достаточно подробно описаны в целом ряде работ. В том числе сложились разработки в решении задач управления инвестициями (в частности, разработки в данной области направлены на сопоставление показателей инвестиционного анализа с предпочтениями и ограничениями ЛПР [6]), риск-менеджмента (в том числе в управлении финансово-экономическими рисками на основе сопоставления ожидаемых экономических результатов с пределом допустимых значений, производственными рисками), логистического менеджмента [7], управления инновациями (например, путем сопоставления инвестиционных характеристики инновационного проекта с допустимыми значениями [8]) и др. Использование методического аппарата теории нечетких множеств представляется тем более обоснованным в оценке эффективности инноваций, если учитывать априорно присущую инновационным процессам Н . нестохастического характера, в том числе, природную и целевую .
Для реализации функции соответствия ρ через нечеткий логический вывод комплексного показателя эффективности (далее – НЛВ W) требуется ряд специальных задач, в т. ч . следующих: а) выявление предпочтений и задание базы правил (далее – БП) НЛВ W, б) выявление ограничений и формирование диапазона допустимых значений для q, C, T, в) установление критериев W, г) определение вида функции принадлежности, д) установление условий (т. е . метода и критериев) дефаззификации W, т. е. процесса перехода от результирующей функции принадлежности W нечетким терм-множествам к четкому (числовому) значению W. Порядок и результаты решения этих задач определяются постановкой задачи системного исследования эффективности.
О некоторых результатах практического использования нечетких вычислений в оценке эффективности инноваций
Рассматриваемый методический подход, основанный на векторном представлении Y и реали-

зации функции соответствия через НЛВ W, был использован при разработке ТЭО по проекту организации производства изделий металлического проката на основе переработки лома черных металлов. В ходе разработки ТЭО потребовалась оценка ряда альтернатив, в том числе были исследованы два альтернативных варианта технологии переработки.
Использование методического подхода оказалось возможным после проработки ряда принципиально значимых аспектов организации данного технологического бизнеса:
– сформулирована цель бизнеса – создание на основе ТИ долговременных предпосылок к обеспечению рыночной устойчивости бизнеса за счет достаточных объемов производства и продаж и ценовой конкурентоспособности на рынке товара (рынок характеризуется стабильным спросом, значимостью ценового фактора, высокой емкостью);
– задан целевой приоритет: в отношении трех ключевых параметров Y (т. е. q, C, T) с использованием метода анализа иерархий (МАИ) были измерены предпочтения инициатора проекта и установлен приоритет параметра q [9];
– определены объекты выбора: в качестве объектов выбора выступали две инновационные стратегии, различающиеся по технологии производства (способу переработки сырья), масштабам деятельности, объемам вложений, условиям использования интеллектуальной собственности, лежащей в основе инновации, и др.;
руб.; б) по срокам инвестиционного цикла инновации (Тжци) – не менее пяти лет; в) по критериям отдачи на капитал – определены, исходя из значений С, Тжци, приемлемой ставки дисконтирования (20 %) и приемлемой нормы рентабельности инвестиционного капитала (30 %), оценочные значения чистого дисконтированного дохода (ЧДД) в пределах от 45 до 450 млн руб.;
– в принятии решения о выборе приемлемого варианта ЛПР руководствовался критерием – потенциально возможный объем производства (упрощено в таком качестве был использован показатель «производственная мощность» (ПМ)); границы возможных значений данного параметра были заданы исходя из результатов маркетингового исследования и с ориентацией на целевого потребителя; для формирования прогнозных значений были использованы оценочные результаты ОКТР.
По каждой стратегии были сформированы экономические прогнозы и рассчитаны показатели инвестиционной привлекательности по широко применяемой методике инвестиционного анализа и планирования [10] (табл. 2).
Формализация показателей экономической эффективности (по вариантам стратегий) в виде типового набора показателей инвестиционного анализа свидетельствует о более высоких оценках по стратегии 1, т. е. данная стратегия, как следует из формализованных оценок, обеспечивает более высокую доходность инвестируемого капитала и короткий срок его окупаемости.
Таблица 2
Основные экономические характеристики и результаты оценки показателей инвестиционного анализа по вариантам стратегий
Показатели |
Стратегия 1 |
Стратегия 2 |
Срок жизненного цикла инновации, лет |
6 |
11 |
Объем ПМ, тыс. т |
15 |
55 |
Объем единовременных вложений (в основной и оборотный капитал), млн руб. |
161 |
1422 |
Период освоения капитальных вложений, лет |
1 |
1 |
Чистый доход, млн руб. |
208 |
3399 |
Чистый дисконтированный доход, млн руб. |
59 |
443 |
Срок окупаемости инвестиций, лет |
4 |
7 |
Индекс доходности инвестиций (с учетом дисконтирования) |
1,36 |
1,31 |
Внутренняя норма доходности |
35 % |
28 % |
– формализованы основные технико-технологические параметры по каждой инновационной стратегии – состав оборудования, площадь производственный помещений, такт выпуска, нормы затрат на труд, материалы, энергию, режимы рабочего времени; и составлены необходимые технико-экономические расчеты, основанные на предварительных оценочных результатах ОКТР по каждой альтернативе;
– сформулированы ограничения: а) по объему инвестиционных ресурсов – от 150 до 1500 млн
Вместе с тем, при рассмотрении данных факторов отмечается некоторая неопределенность приятия решений, поскольку по данному набору показателей сложно оценить привлекательность стратегий для ЛПР с позиций целевого приоритета – q (как видно из таблицы, предпочтительной по критериям отдачи на инвестиции явилась стратегия с относительно невысоким q, как по уровню ЧДД, так и по уровню ПМ).
В этой связи была дополнительно проведена оценка эффективности в модели НВЛ W.
Данная оценка представлена следующими этапами.
1. Составлена база правил НЛВ W:
-
2. Установлены критерии эффективности (для этого были задействованы результаты, полученные по МАИ, в т. ч. о предпочтениях ЛПР) и их количественные оценки (табл. 3).
-
3. Задан вид функций принадлежности – прямолинейная – и условия дефаззификации выходного параметра W (при установлении данного условия были использованы результаты экспертных оценок).
В соответствии с заданными свойствами модели НЛВ W была проведена оценка комплексного показателя эффективности (табл. 4). При этом нужно отметить, что для обеспечения условия монотонности критерия по предпочтению оценка производилась не по исходным значениям параметров, а по их отклонениям от левой границы ограничений.
По результатам оценки эффективности в модели НЛВ W можно заключить следующее: 1) результаты каждой альтернативы соответствуют заданным ограничениям по параметрам эффективности; 2) при том, что стратегия 1 обеспечивает более высокие показатели инвестиционной привлекательности, реализованная в модели НЛВ W оценка соответствия результатов стратегий предпочтениям ЛПР показала более высокую привлекательность стратегии 2.
В целях уточнения результатов оценки W была проведена их верификация; отсутствие ретроспективных данных, которые можно было бы экстраполировать на будущее поведение формируемой организационной производственной системы,
Таблица 3
Критерии эффективности (W)
S [0; 30] |
Условия и результаты проекта соответствуют допустимым ограничениям (нижним пределам) |
Основной недостаток стратегии, влияющий на оценку W – низкий целевой результат |
|
Желательна разработка альтернативной стратегии |
|
M [31; 50] |
Значение целевого результата (q) соответствует наилучшим ожиданиям ЛПР, однако его достижимость связана с высокой ресурсоемкостью |
L [51; 100] |
Условия и результаты проекта соответствуют наилучшим ожиданиям ЛПР; основное преимущество – высокий уровень целевого эффекта; при этом допустимой может считаться стратегия, связанная с высокой потребностью в ресурсах (при их соответствии допустимым ограничениям) |
Таблица 4
Результаты измерения эффективности в модели НЛВ W по вариантам стратегий
Практическое применение метода НЛВ W показало и направления развития разрабатываемого методологического подхода, в т. ч. методов формирования модели НЛВ W: уточнение приемлемого типа функции принадлежности и методов ее построения; формирование комплексного представления о содержании и порядке оценивания значений параметров Y (т. е. q, С, Т); уточнение возможностей методического обеспечения задачи формирования БП НЛВ W.
Следует отметить, что нечеткие вычисления в разработке инновационных проектов необходимы в условиях высокой неопределенности. В то же время, по мере развития информационного наполнения системы управления ТИ, нечеткие вычисления могут и должны замещаться более конкретизированными данными. Таким образом, можно заключить, что модель НЛВ W допустима на ранней (прединвестиционной) стадии жизненного цикла инновации при формировании ее концептуального содержания.
Выводы
Принятие решений в управлении инновациями осуществляется, как правило, по критерию эффективности. Учитывая, что зачастую принятие решений в инновационной сфере сталкивается с проблемой неопределенности (в том числе, неопределенности нестохастического характера), оценка эффективности должна проводиться не только на основе формализованных условий (детерминированного характера) экономической отдачи на инвестированный капитал и/или сложившихся в ретроспективе зависимостей (стохастического характера) между изучаемыми параметрами. В решении проблемы неопределенности видится возможным использование методического аппарата теории нечетких множеств.
Измерение эффективности инноваций методом нечеткого логического вывода обеспечивает: возможность однозначного суждения об уровне эффективности по каждой альтернативе и возможность интерпретации полученного результата; большую адекватность результата оценки эффективности управленческим предпочтениям и целям ЛПР, а также внешним ограничениям; высокую транспарентность результата измерения и оценки W – возможно оценивать «изолированно» каждый параметр W (нет задачи элиминирования факторов, которая представляется трудновыполнимой в рамках DCF-модели); возможность учитывать и анализировать предпочтения ЛПР, оформленные в виде БП НЛВ W; уточнять диапазоны ограничений по параметрам эффективности.
Использование методов нечетких множеств в оценке эффективности инноваций обеспечивает ряд неоспоримых преимуществ, в числе основных можно привести следующие возможности: включение в анализ не только количественно измеримых, но и качественных показателей; использование нечетких критериев, измеряемых лингвистическими переменными; «подстройка» нечеткой модели в случае изменений как в самой исследуемой системе, так и в составе старшей системы и/или в среде функционирования системы; моделирование сложных систем без существенных потерь в точности и без значительных ограничений.
В то же время практическое применение методов нечетких множеств требует понимания некоторых недостатков метода: субъективность, присущая выбору функции принадлежности и формированию базы правил нечеткого вывода; потребность в специальном программном обеспечении и специалистах, обладающих соответствующими компетенциями (вовлеченными как на стадии разработки нечеткой модели – в качестве экспертов, так и на стадии практического применения).
В целом, по представленным результатам исследования следует отметить, что предложенная в решение проблемы нестохастической неопределенности в управлении инновациями модель НЛВ W, по существу представляет собой имитационную модель организационной системы управления инновациями и может рассматриваться в качестве инструмента принятия решений в условиях целевой и природной нестохастической неопределенности.
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (договор № 18-010-00942/18).
Список литературы Об использовании нечетких вычислений в решении проблемы неопределенности при оценке эффективности технологических инноваций на предприятии
- Надежность и эффективность в технике: справочник: в 10 т. Т. 1: Методология. Организация. Терминология (в пер.)/под ред. А. И. Рембезы. -М.: Машиностроение, 1986. -224 с.
- Надежность и эффективность в технике: справочник: в 10 т. Т. 3: Эффективность технических систем (в пер.)/под общ. ред. В.Ф. Уткина, Ю.В. Крючкова. -М.: Машиностроение, 1988. -328 с.
- Алтунин, А.Е. Модели и алгоритмы принятия решений в нечетких условиях: монография/А.Е. Алтунин, М.В. Семухин. -Тюмень: Изд-во Тюменского гос. ун-та, 2000. -352 с.
- Тененев, В.А. Моделирование организационно-технических систем методами нечеткой логики/В.А. Тененев, Б.А. Якимович//Интеллектуальные системы в производстве. -2007. -№ 1. -С. 22-30.
- Пегат, А. Нечеткое моделирование и управление/пер. с англ. -2-е изд. -М.: БИНОМ. Лаборатория знаний, 2013. -798 с.
- Аверкин, А.А. Мягкие вычисления и измерения: монография/А.А. Аверкин, В.Б. Гисин, Е.С. Волкова и др. -М.: Издат. дом «Научная библиотека», 2017. -414 с.
- Грейз, Г.М. К вопросу о возможностях трансфера инструментов теории нечетких множеств для информационно-аналитической поддержки логистического менеджмента//Вестник ЮУрГУ. Серия: Экономика и менеджмент. -2015. -Т. 9, № 1. -С. 170-177.
- Кальченко, О.А. Оценка эффективности реализации инновационных проектов в условиях неопределенности информации//Инновации. -2014. -№ 3. -С. 101-105.
- Саати, Т. Принятие решений. Метод анализа иерархий/Т. Саати. -М.: Радио и связь, 1993. -278 c.
- Виленский, П.Л. Оценка эффективности инвестиционных проектов. Теория и практика/П.Л. Виленский, В.Н. Лившиц, С.А. Смоляк. -М.: Дело, 2004. -888 с.