Оценка стратегической эффективности крупномасштабных инфраструктурных проектов в ситуации неопределенности: проектный подход
Автор: Гельруд Яков Давидович, Кибалов Евгений Борисович
Рубрика: Управление в социально-экономических системах
Статья в выпуске: 3 т.21, 2021 года.
Бесплатный доступ
В статье рассмотрены проблемы оценки макроэкономической эффективности крупномасштабных проектов на стадии, которую принято называть прединвестиционной. Обосновывается необходимость учёта фактора радикальной неопределенности при оценке крупномасштабных железнодорожных проектов. Цель исследования. Показать, что эффекты, генерируемые крупномасштабными проектами, влияют на сценарий развития экономики, вмещающей проект. В этой проблемной ситуации предлагается методика оценки и выявления наиболее предпочтительного проекта, учитывающая факторы радикальной (невероятностной) неопределенности. Материалы и методы. Анализируются критерии оценки проектов на трех уровнях: макро-, мезо- и микро; при этом применяется инструментарий прикладного неосистемного анализа, сочетающий в своем составе логико-эвристические и экономико-математические модели принятия сложных проектных решений. Результаты. Разработана структурная модель оценки, которая является гибридной, состоящей из двух блоков. Первый блок - логико-эвристическая подмодель оценки крупномасштабных инвестиционных проектов, второй блок - экономико-математическая подмодель, отображающая внешнюю среду проектов. Модели взаимодействуют на прединвестиционной стадии жизненного цикла проектов в режиме стратегической игры на макроуровне. Первая в качестве информационной базы опирается на экспертные оценки затрат и результатов проектов, претендующих на реализацию в долгосрочной перспективе, вторая - в основном на статистическую информацию межотраслевого баланса страны и регионов. Оценивается воздействие нового крупномасштабного инвестиционного проекта на модель экономики России, и выявляется положительное или негативное влияние каждого (из числа рассматриваемых) на целевую функцию экономической модели. Заключение. В статье комментируются результаты экспериментальных расчетов с помощью гибридной модели и на примере железнодорожного транспорта формулируются рекомендации по ее использованию при разработке обосновывающих материалов крупномасштабных проектов федеральной значимости.
Крупномасштабные инвестиционные проекты, неосистемный подход, проектный подход, фрейм, межкластерный баланс, оптимизационные межрегиональные межотраслевые модели, гибридная модель оценки
Короткий адрес: https://sciup.org/147235264
IDR: 147235264 | DOI: 10.14529/ctcr210311
Текст научной статьи Оценка стратегической эффективности крупномасштабных инфраструктурных проектов в ситуации неопределенности: проектный подход
Проблема создания системы проектного управления экономическим развитием экономики и общества России на современном этапе приобретает особую остроту. Сегодня недостаточно использовать для решения проблемы научные и практические заделы прошлого века и начала нынешнего, сформированные на Западе и в нашей стране в рамках так называемого программноцелевого подхода (ПЦП) (или «целепрограммного», что было бы точнее с точки зрения логики системного анализа, в рамках которой выстроен ПЦП). Более того, традиционный системный подход трансформировался ныне в неосистемный [1–5].
Применительно к анализу и разработке способов решения социально-экономических проблем неосистемный подход в отличие от своего предшественника не только междисциплинарен, но и межпарадигмален, так как методологически ориентирован на интеграцию разных системных парадигм в диапазоне «социализм – капитализм»1. Однако интеграция указанных мегасистем, функционирующих и развивающихся в разных системных парадигмах, но на планетарно ограниченной ресурсной базе, представляет собой проблему, не только не решенную корпусом современных наук теоретически, но до сих пор отчетливо даже не поставленную. Отсутствие хорошей теории вынуждает практику, в частности на межпарадигмальном уровне, решать проблему эмпирически, создавая коалиции интересов, а те, в свою очередь, коалиции действий. Последние, по мере истощения ограниченной планетарной ресурсной базы, ведут себя не кооперативно, не суб-сидиарно2, а все более агрессивно в процессе дележа оставшегося, не понимая, что продолжение таких тенденций ведет к глобальной войне на уничтожение, где не будет победителей, а что будет в результате – скрыто «завесой радикальной неопределенности».
Таков в общих чертах глобальный контекст интересующей нас проблемы.
Проблемная ситуация
Изменения глобального контекста в динамике далее представим как сценарии-контрасты развития многослойной внешней среды крупномасштабного проекта. Среду станем считать системой, стратифицированной на три субординированных уровня:
-
• мегауровень (межгосударственный);
-
• макроуровень (государственный);
-
• микроуровень (предприятий).
Термин «предприятие» – родовой, и в качестве упрощающего рабочего приема представим хозяйственную систему страны на микроуровне , как состоящую из предприятий двух типов: объектов (фирм, корпораций и т. п.) и проектов , взаимодействующих по определенным правилам.
Фрейм (frame) иерархия поставим в соответствие объекту « фирма» в предположении, что иерархия содержит информацию о базовом качестве фирмы – правилах внутрифирменного взаимодействия.
Фрейм сеть поставим в соответствие проекту на тех же основаниях .
Сетевая структура в обоих случаях является первичной, поскольку иерархия также является сетью (в проекции на плоскость); различие между сетями проявляется в характере системных связей между элементами сетей. Обе сети распределительные: в иерархии-фирме связи преимущественно принудительно-приказные, осуществляемые из единого организующего центра; в сети-проекте связи преимущественно добровольно-договорные3, полицентрические, существенно самоорганизующиеся4, но контролируемые «невидимой рукой» рынка.
Многослойную внешнюю среду на микроуровне будем трактовать как экономику-систему и как в случае с фирмами-иерархиями и проектами-сетями различать альтернативные модели координации их функционирования и развития для достижения одинаковой для альтернатив цели – максимального благосостояния – желательно за минимальное время. Западной либеральной модели координации Эрроу – Дебре5, обеспечивающей достижения такого результата, поставим в соответствие фрейм «Парето-модель Р», а отечественной (см. [6]) – фрейм «Парето-модель Ц»)6. Различие моделей в том, что в первом случае коллективный оптимум, состоящий из двух групп экономических агентов – потребителей и производителей, – стремящихся к собственной выгоде, достигается с помощью «невидимой руки» рынка, а во втором – к множеству агентов-максимизаторов частной выгоды – добавляется государство, стремящееся к достижению выгоды общественной. Понятно, что все эти определения являются теоретическими абстракциями и в нашем случае используются для структуризации проблемной ситуации.
И, наконец, крупномасштабному проекту поставим в соответствие фрейм многомерная сеть, в которой мера «масштаб в денежных единицах» является одной из важнейших . Управление такими проектами (мегапроектами в западной терминологии) на фоне всеобщей тенденции развития проектного управления на всех уровнях хозяйственных систем в России и за рубежом отличается особой сложностью и, следовательно, трудностью не только практического, но и методико-методологического свойства.
Дело в том, что первым шагом традиционного системного анализа, направленным на определение эффективности любого проекта, является декомпозиция проблемной ситуации на проект и среду его реализации. Причем если говорить, например, об инвестиционном проекте, то a priori предполагается, что экономическая среда прямо влияет на затраты и результаты проекта с помощью «средовых» цен, используемых в качестве параметров при расчетах эффективности проекта. Однако подчеркнем, предполагается, что факт реализации проекта не влияет на систему параметрических цен, сложившуюся до реализации проекта в среде (экономике), ввиду малости проекта по сравнению с масштабом внешней среды, проект вмещающей.
В случае крупномасштабных проектов (далее – КП) описанная система оценки проектов не работает, поскольку КП фактом своей реализации меняет систему цен продуктов и ресурсов, сложившуюся до его имплантации в действующую хозяйственную систему. Имплантация порождает порочный круг (обратную связь), когда эффективность КП оценивается с помощью «средовых» цен, им же скорректированных. Более того, «внешние эффекты» КП влияют на социальные, экологические, политические аспекты внешней среды и это влияние неоднозначно. Экономически и технически оно не может быть оценено исчерпывающим образом количественно.
Таким образом, реализация КП, заметим, не только инвестиционных , но и институциональных, порождает плохо прогнозируемые результаты, как позитивные, так и негативные; в последнем случае нередко катастрофические. Классическими примерами позитивного результата реализации инфраструктурных крупномасштабных инвестиционных проектов считается отечественный Транссиб и зарубежные мегапроекты сооружения каналов Панамского и Суэцкого. К числу институциональных проектов, результаты которых негативны, можно отнести Структурную реформу железнодорожного транспорта России (1998–2015 гг.) и проект отечественной административной реформы, результатом которого стала тотальная бюрократизация методов управления во всех секторах российской экономики и общества.
Структуризация проблемной ситуации
Чтобы, как советует Р. Акофф [12], не утонуть в «месиве проблем», контурно очерченных выше, структурируем проблемную ситуацию методом сужения и конкретизации в соответствии с названием настоящей статьи. Для этого построим Аналитическую матрицу в форме таблицы и пронумеруем выделенные в ней блоки. С помощью полученного инструмента на содержательном уровне сравним критерии оценки крупно- и маломасштабных инвестиционных инфраструктурных проектов на примере проектов железнодорожных, системообразующих в транспортном секторе России7.
Аналитическая матрица Analytical matrix
Критерии Проекты |
Разновидности критериев оценки эффективности железнодорожных проектов |
||||
технические |
финансовые |
экономические |
общественные |
стратегические |
|
Крупномасштабные |
1 |
2 |
3 |
4 |
5 |
Маломасштабные |
6 |
7 |
8 |
9 |
10 |
С указанной точки зрения далее будут рассмотрены только проблемы оценки эффективности железнодорожных КП на макроуровне и на той стадии их жизненных циклов, которую принято называть прединвестиционной. Названное сужение целеориентировано таким образом потому, что радикальная неопределенность последствий реализации КП, по мнению авторов, возникает именно на макроуровне. Причина: стратегический характер принимаемых решений, в существенной части латентных по соображениям национальной безопасности.
В Аналитической матрице (см. таблицу), в ее десяти блоках предмет исследования конкретизируется.
Блоки 1 и 6. Для мало- и крупномасштабных железнодорожных проектов существует этап «Изыскания». Определяемые на этом этапе объемы строительных работ по конкурирующим вариантам трассы будущего проекта и вариантам эксплуатационных расходов после ввода построенной линии в действие зависят от основных технических параметров: конфигурации и длины трассы , продольного профиля и плана, наличия мостовых переходов и тоннельных пересече-ний8. Эти показатели локальны и пригодны только для оценки по критериям сравнительной технической эффективности конкурирующих трасс будущих железных дорог.
Экономические (точнее финансовые) характеристики и критерии оценки типа NPV рассматриваемых вариантов трасс также определяются на этом этапе. Они лишь частично производны от технических показателей проекта и получаются посредством использования параметрических («средовых») цен на затрачиваемые ресурсы и среднесетевых тарифов за оказание услуг по перевозке грузов и пассажиров в эксплуатационном периоде. Все эти оценки носят эмпирический характер и без должной теоретической основы применяются для оценки проектов КП. Но главное – они локальны и не отражают должным образом влияния КП на общественную эффективность экономики в целом.
Поясним сказанное. Процесс реализации КП моделируется как денежный поток, прогнозируемый на 15 лет вперед, причем фактор неопределенности учитывается неудовлетворительно или никак. По названным причинам ошибки в оценке вариантов при трассировании нередки и некоторые из них являются неустранимыми, даже если на последующих этапах жизненного цикла проекта для оценки его эффективности использовать самые изощренные и дорогостоящие приемы.
Блоки 2 и 7. Финансовые критерии предназначены и используются на микроуровне для оценки коммерческих инвестиционных проектов. Главных предпосылок, обеспечивающих теоретическую корректность и практическую полезность таких критериев, – три:
-
– макроэкономическая среда, в которой осуществляется инвестиционный проект, стационарна;
-
– оцениваемый инвестиционный проект по сравнению с масштабом экономической системы государств – мал; при выполнении предпосылки становится возможным использовать в формулах исчисления показателей финансовой эффективности типа ЧДД рыночные цены ресурсов и продуктов (в том числе услуг) в качестве экзогенно задаваемых параметров;
-
– неопределенность затрат и результатов малых инвестиционных проектов носит вероятностный характер9.
Блоки 3–8. Инвестиционный проект признается соответствующим критерию социальноэкономической (т. е. общественной) эффективности в случае, если его реализация является необходимой для выполнения задач, обозначенных, например, в Программе социально-экономического развития Российской Федерации на среднесрочную перспективу и в отраслевой стратегии развития соответствующей отрасли9.
Стратегические цели развития России, формулируемые в Программе на качественном уровне , определяются как:
-
1) повышение благосостояния населения и
-
2) уменьшение бедности на основе динамичного и устойчивого экономического роста и повышения конкурентоспособности страны10.
Декларируемые таким образом целеустремления федеральной власти к благосостоянию на период 2006–2008 гг. конкретизируются в виде количественных критериев финансовой и эконо- мической эффективности, косвенно указывающих степень продвижения общества к благосостоянию за жизненный цикл Программы.
Критерием финансовой эффективности при этом является ЧДД и функционально связанное с ними семейство показателей типа ВНД. Инвестиционный проект признается соответствующим критерию финансовой эффективности, если один из названных показателей достигает максимума при фиксированном значении других. Кроме того, в Программе в качестве положительных социальных эффектов, связанных с реализацией инвестиционного проекта, могут учитываться
-
а) повышение уровня занятости населения;
-
б) повышение уровня здравоохранения (качества оказываемых услуг и их доступности для населения);
-
в) сохранение и развитие научно-технического потенциала;
-
г) повышение уровня, качества образования и его доступности для населения;
-
д) развитие социальной инфраструктуры;
-
е) повышение уровня обеспечения населения жильем;
-
ж) создание и улучшение транспортной инфраструктуры;
-
з) улучшение экологической ситуации, применение технологий, обеспечивающих минимальное негативное воздействие на внешнюю среду.
Наличие указанных эффектов должно быть подтверждено согласованными с уполномоченным федеральным органом исполнительной власти расчетами и выражаться в количественных показателях, характеризующих величину положительного социального эффекта.
Критерием экономической эффективности оценивается инвестиционный проект по его способности влиять на формирование ВВП экономики и обеспечивать динамику экономического роста. Проект признается соответствующим критерию экономической эффективности в случае, если подтвержденное значение интегрального индикатора экономической эффективности ЭТ превышает 0,01 %10.
Блоки 4 и 9. Для оценки социально-экономических эффектов (они же общественные) от реализации инфраструктурного проекта с государственной поддержкой предназначена новая (взамен отмененной в 2008 г. методики, рассмотренной в блоках 3–8), методика11 количественной оценки следующих показателей:
-
– бюджетный эффект, рассчитываемый как сальдо прироста налоговых и иных обязательных платежей в бюджетную систему Российской Федерации в связи с реализацией инфраструктурного проекта,
-
– размер государственной поддержки.
Блоки 5 и 10. В современной ситуации критерием стратегической эффективности (Кс) функционирования и развития России как единого суверенного государства ситуационно является скорость выхода страны на траекторию устойчивого развития и нахождение на ней в долгосрочной перспективе.
Кс вменяется с межгосударственного мегауровня нижестоящим уровням и все критерии мак-ро-и микроуровня из таблицы в логике системного анализа и проектного подхода рассматриваются в качестве средств (инструментов) достижения критерия стратегической эффективности в указанном выше смысле.
Обсуждение и постановка проблемы оценки КП
Структуризация проблемной ситуации, осуществленная в предыдущем сюжете, позволяет на содержательном уровне предложить постановку проблемы оценки крупномасштабных инвестиционных проектов (КП) не только в общем виде, но и конкретизировать ее для проектов желез- нодорожных, развивающих базовую инфраструктурную отрасль страны. Для этого обратимся к таблице и с ее помощью из множества задач – средств решения проблемы – выявим задачу, способ решения которой обсуждается в настоящей статье.
Пусть, пока без объяснений как, сформировано множество инвестиционных железнодорожных проектов, по предположению способных позитивно повлиять на критерий стратегической эффективности Кс. Первый вопрос, который здесь возникает: как среди них выявить проект крупномасштабный? В разработках ИЭОПП СОРАН проекты-претенденты поочередно «встраивается» в уже оптимизированную линейно-программную модель экономики России ОМММ (Оптимизационная Межотраслевая Межрегиональная Модель [11]) и, если целевая функция (ЦФ) модели не реагирует, то проект мал. Тогда его эффективность можно оценивать с помощью финансовых критериев (см. таблицу), используя некие аналоги двойственных оценок продуктов и ресурсов, полученных из оптимизированной ОМММ и трансформированных в так называемые конверсионные параметрические цены в формулах расчета ЧДД и прочих локальных критериев из того же семейства. Если же ЦФ реагирует положительно или отрицательно, то проект крупномасштабен со всеми вытекающими из этого факта следствиями, описанными в начале статьи. При снижении уровня ЦФ КП рассматривается как кандидат на господдержку или отклонение, при повышении – рекомендуется для реализации.
Второй вопрос: какой должна быть модель КП на макроуровне, чтобы быть вариативным агрегатом сетевой модели микроуровня? Ответ, казалось бы, лежит на поверхности – денежный поток, генерируемый сетевой моделью в погодовой развертке с фиксированной датой начала и окончания проекта (при заданном плановом горизонте). Варианты: сдвиг потока влево, к началу проекта, или вправо, к дате его завершения. Однако все известные нам версии ОМММ, куда встраивается новый КП, устроены так, что только так называемый «левый план»12 дает максимальный прирост ЦФ за счет раннего получения мультипликативного эффекта и соответствующего прироста ВВП, а «правый план» – минимальный прирост ВВП из-за позднего срока проявления указанного эффекта. Следовательно, все КП, из числа рассматриваемых и оказавшиеся по показателю ЧДД лучшими на микроуровне, на макроуровне окажутся худшими.
Не ясно как с помощью ОМММ указанное противоречие разрешить, понятно лишь, что модель необходимо модифицировать. Есть варианты, некоторые из них в литературе вопроса обсуждались; назовем основные, определенные нормативно, т. е. в терминах «должно быть».
-
1. Межотраслевой баланс (МОБ), информационная основа ОМММ. МОБ – дескриптивная модель экономики, по построению равновесная и представляющая в каждом временном дискрете жизненного цикла экономики моментальную фотографию взаимодействия чистых отраслей и получения конечного продукта для удовлетворения потребностей общества.
-
2. То же, но как взаимодействие хозяйственных отраслей экономики.
-
3. То же, но как взаимодействие регионов, где фрагменты опять же чистых отраслей локализованы в границах регионов и максимизируют конечный продукт, но региональный. Общий конечный продукт экономик формируется как сумма региональных конечных продуктов (это ОМММ).
-
4. Межкластерный баланс (МКБ), когда в отличии от МОБ в виду имеется баланс между кластерами отраслей и/ или предприятий, взаимодействующих по Портеру как группы географически соседствующих, взаимосвязанных компаний и организаций.
-
5. Межкластерный экологический баланс (МЭБ), когда под кластерами понимаются природные системы, эволюционно сложившиеся на водосборных площадях великих российских рек: Волги, Дона, Днепра, Сев. Двины, Оби, Иртыша, Енисея, Лены, Амура, а также Индигирки и Колымы.
Перечисленные варианты с формальной точки зрения представляют неодинаковые способы декомпозиции внешней среды КП на условно автономные блоки, отражающие разные аспекты сложно-построенной системы России, обеспечивающей благосостояние своего населения13.
Фактически среди перечисленных «чистые» варианты декомпозиции возможны только в теории, поэтому исследователям приходится работать с микстами декомпозиционных множеств, названных в пп. 1–5, совмещая в зависимости от цели исследования разноаспектные кластеры, функционирующие и развивающиеся на одной и той же территории.
Если вышеприведенные констатации совместить с таблицей, то интересующая нас проблема должна решаться в блоках 4–5. В общем виде она формулируется так:
Выявить в ситуации неопределенности вариантов развития экономики России в долгосрочной перспективе железнодорожный КП (из числа рассматриваемых), наиболее предпочтительный в том смысле, что «с проектом» общественная эффективность развития страны выше, чем «без проекта».
Гибридная модель оценки инвестиционного решения
В общем виде сформулированная проблема на макроуровне может быть формализована как задача нахождения экстремума функции, упорядочивающей множество вариантов функционирования и развития экономики по их предпочтительности. Такой способ формализации критерия выбора удобен для применения хорошо разработанных к настоящему времени математических методов оптимизации [7, 8]. Наиболее интересны для нашего случая два способа: максимизация целевой функции общественного благосостояния и минимизация срока достижения определенных целей.
Обозначим целевую функцию общественного благосостояния в виде аналитической функции u ( X ). Теоретически это функция полезности и она должна определяться, во-первых, на всем множестве экономических и неэкономических благ (компонент вектора X ), характеризующих в динамике жизнедеятельность и развитие общества и, во-вторых, быть кардиналистской, т. е. не просто упорядочивать варианты по предпочтительности, а измерять в числовой шкале «на сколько» какой-либо вариант лучше или хуже по сравнению с другим. В экономическом аспекте область определения u ( X ) ограничивается множеством экономических благ. Однако функция u ( X ), претендующая на максимизацию общественного благосостояния, должна быть также и некоторой композицией (суммой или произведением) целевых функций однородных социальных групп страны и целевой функцией центрального органа , выражающей интересы государства и общества в целом.
И здесь имеет место методологическая трудность, теоретически пока не разрешенная, а именно: кардиналистская (количественная) теория полезности, изучающая в микроэкономической теории потребности человека, предлагает в качестве единицы измерения полезности блага условную единицу ютиль. « В конечном итоге все количественные параметры в экономике сводятся к ютилям. Ютиль – предельная единица экономической науки. Это фундаментальный количественный показатель – тот строительный кирпичик, из которого состоит все здание экономики» [9] . Однако пока такие необходимые новой глобальной экономике «кирпичики» операционально не определены, а показатель ютиль останется «чистой фикцией»14, т. е. произвести оценку полезности мы субъективно можем, сравнить её можем, а редуктивно объяснить в позитивистских категориях – не можем и не сможем до тех пор, пока развитие контрарефлексивного теоретического аппарата15 вопросы редукционизма просто закроет, а конструктивистский / теле-ономический подход позволит устойчиво работать с такими субъективными категориями, как оценка полезности.
В отсутствие законченной теории практика по необходимости принимает сложные решения, опираясь на прикладную ветвь системного подхода – системный анализ и его главный инструмент – программно-целевой подход. Именно его расширенной версией, именуемой неосистем-ным подходом, и соответствующим инструментарием мы пользуемся далее.
Структурная модель оценки
Предлагаемая на рисунке модель является гибридной, состоящей из двух блоков. Первый блок – логико-эвристическая подмодель (ЛЭМ) оценки КП, второй блок – экономико- математическая подмодель ОМММ-ЖДТ [10], отображающая внешнюю среду КП. Модели взаимодействуют на предпроектной (прединвестиционной) стадии жизненного цикла КП в режиме стратегической игры на макроуровне.

Дерево целей (ДЦ) как инструмент оценки воздействия КП на функцию общественного благосостояния Objective tree as a tool for assessing the impact of large-scale projects on the function of public welfare
ЛЭМ в качестве информационной базы опирается на экспертные оценки затрат и результатов КП, претендующих на реализацию в долгосрочной перспективе, ОМММ-ЖДТ – в основном на статистическую информацию МОБ страны и регионов. Оценивается воздействие нового КП на модель экономики России и выявляется положительное или негативное влияние каждого (из числа рассматриваемых КП) на целевую функцию ОМММ-ЖДТ. Множество конкурирующих за право быть реализованными КИП упорядочиваются по их предпочтительности.
Настоящая статья является модельным каркасом, в который в следующей статье будет введено конкретное информационное содержание. А именно: железнодорожный КП «Полуночная – Обская 2» как часть проекта «Урал Промышленный – Урал Полярный» и данные его конкурентов за инвестиционные ресурсы КП «материк – Сахалин» и «Северный широтный ход (СШХ)». Применяя описанную выше гибридную модель, можно выявить наиболее общественно эффективный проект, а также рассмотреть пути совершенствования предложенной методики.
Список литературы Оценка стратегической эффективности крупномасштабных инфраструктурных проектов в ситуации неопределенности: проектный подход
- Корнаи, Я. Системная парадигма /Я. Карнаи // Вопросы экономики. - 2002. - № 4. - С. 4-22.
- Клейнер, Г.Б. Эволюция институциональных систем /Г.Б. Клейнер. - М: Наука, 2004. - 240 с.
- http://government.ru/docs/all/111285/ (дата обращения: 18.08.2020).
- Бандман, М.К. Избранные труды и продолжение начатого /М.К. Бандман; под ред. д.э.н. B.Ю. Малова. - Новосибирск: ИЭОПП СО РАН, 2014. - 448 с.
- Simon, H. The Structure of Ill-structuredProblems /H. Simon // Artif cial Intelligence. - 1973. -Vol. 4. - P. 181-202.
- Гранберг, А.Г. Моделирование пространственного развития национальной и мировой экономики: эволюция подходов / А.Г. Гранберг // Регион: экономика и социология. - 2007. - № 1. - C. 87-107.
- Кини, Р.Л. Принятие решений при многих критериях: предпочтения и замещения / Р.Л. Кини, Х. Райфа; под ред. И.Ф. Шахнова. - М. : Радио и связь, 1981. - 560 с.
- Саати, Т. Принятие решений. Метод анализа иерархий: пер. с англ. / Т. Саати. - М. : Радио и связь, 1993. - 320 с.
- http://bnarchives.yorku.ca (дата обращения: 04.07.2021).
- Комплексный подход к оценке общественной эффективности крупномасштабных железнодорожных проектов / Е.Б. Кибалов, И.А. Беспалов, В.Ф. Бузулуцков и др. - Новосибирск: Изд-во СГУПСа, 2015. - 160 с.
- Кибалов, Е.Б. Оценка эффективности крупномасштабных транспортных проектов / Е.Б. Кибалов, А.А. Кин, А.Б. Хуторецкий // Регион: экономика и социология. - 2012. - № 2 (74). -С. 161-187.
- Акофф, Р. Искусство решения проблем /Р. Акофф. - М. : Мир, 1982. - 282 с.