Совершенствование методики оценки эффективности целевых государственных и муниципальных программ
Автор: Елохов Александр Михайлович, Арбузова Татьяна Александровна
Журнал: Вестник Пермского университета. Серия: Экономика @economics-psu
Рубрика: Региональная экономика
Статья в выпуске: 3 т.13, 2018 года.
Бесплатный доступ
Превращение программно-целевого управления в базовый подход при формировании бюджетов на всех уровнях территориального управления в Российской Федерации делает актуальной задачу оценки эффективности целевых программ. В российской практике такая оценка производится в основном по степени достижения ожидаемых результатов программы и соответствию бюджетным расходам на реализацию мероприятий программы. Вместе с тем обзор современных теоретико-методологических подходов к оценке целевых программ, сложившихся в отечественной и зарубежной практике, показал, что, несмотря на информативность, указанные виды оценок не позволяют оценить эффективности реализации мероприятий целевых программ, определить вклад программ в экономический и социальный прогресс муниципалитета, региона, страны в целом. В связи с этим в исследовании обосновывается необходимость совершенствования методики программной оценки посредством дополнения «внутреннего» анализа целевых программ «внешней» оценкой их воздействия на достижение целевых индикаторов территориального социального и экономического развития за период бюджетного планирования. Методическую основу исследования составил комплекс методов логического, системного, сравнительного и статистического анализа. Научная новизна предлагаемой методики оценки эффективности целевых программ заключается в следующем. Во-первых, в со- ставе показателей оценки программ предложено использовать набор индикаторов, отражающих степень привлекательности территории как места, удобного для проживания и трудовой деятельности. Во-вторых, разработана система динамических нормативов, отражающих эталонную траекторию изменения показателей социально-экономического развития территории. В-третьих, в оценке целевых программ обоснована необходимость учета отклонений фактических показателей социально-экономического развития территории от динамических нормативов. В качестве инструментария анализа отклонений предложено использовать коэффициент ранговой корреляции Спирмена. В-четвертых, доказана возможность применения предложенного авторами подхода по использованию «внешней» оценки влияния программ на социальное и экономическое развитие систем разного уровня иерархии (стран, регионов, городов). Предложения авторов апробированы на примере государственных программ Российской Федерации, Пермского края и муниципальных программ города Перми за 2015-2017 гг. Дальнейшие направления исследования включают уточнение состава индикаторов «внешней» оценки целевых программ и механизма их влияния на развитие соответствующей территориальной системы.
Государственная и муниципальная целевая программа, подходы к оценке программ, индикаторы и критерии программной оценки, коэффициент спирмена, влияние программ на целевые пока- затели развития территории
Короткий адрес: https://sciup.org/147245698
IDR: 147245698 | DOI: 10.17072/1994-9960-2018-3-402-415
Текст научной статьи Совершенствование методики оценки эффективности целевых государственных и муниципальных программ
В современных условиях программно-целевое управление стало одним из основных инструментов государственного и муниципального управления. В числе основных причин его активного распространения и использования можно назвать следующие основания.
Во-первых, с начала 1990-х гг. идеологами рынка на всех уровнях управления активно отторгались сложившиеся методы планирования территориального развития. Разрыв между отраслевым и территориальным планированием, нарастание социальных и экономических проблем, решения которых рынок в краткосрочной перспективе обеспечить не мог, потребовали программной концентрации усилий на ключевых направлениях социальноэкономического развития, обеспечивающей большую предсказуемость рисков и прозрачность деятельности в условиях рынка.
Во-вторых, прямым следствием децентрализации управления стали дезинтеграция единой системы экономики и самостоятельность субъектов экономических отношений, что потребовало выработки ими собственной социальной и экономической стратегии развития. Увязать разнонаправленные интересы субъектов экономических отношений в условиях рынка и направить их на решение стратегических задач обеспечения устойчивого социальноэкономического развития территорий призвано программно-целевое управление, роль которого подчеркивается в Федеральном законе № 172-ФЗ от 24 июня 2014 г. «О стратегическом планировании в Российской Федерации».
В-третьих, актуальность имеющихся проблем требует существенного увеличения качества стратегического управления экономикой и публичными финансами. Для того чтобы достичь целей социально-экономической политики и обеспечить общественный контроль за их реализацией, исполнение и формирование бюджета с 2013 г. осуществляется только на базе программно-целевых методов, гарантирующих зависимость между распределением бюджетных средств и реальными результатами их расходования по приоритетам муниципальной и государственной политик1.
Оживление программно-целевого планирования в России, начавшееся в 1993–1994 гг., привело к последующему бурному росту количества осуществляемых целевых программ. Начался своеобразный «программный бум». Некоторые авторы говорят о «втором пришествии» программ. Если «первое пришествие» периода 1970–1980-х гг. оборвалось во вто- рой половине 1980-х, то второе, возникшее в середине 1990-х, перекочевало в XXI в. [1, с. 293–294] Так, по состоянию на 1 января 2018 г. утверждена 41 государственная программа, в 85 субъектах Российской Федерации разработано более 2000 целевых региональных программ, а в 22 327 муниципальных образований реализуются десятки тысяч целевых программ. В Пермском крае осуществляется 22 государственные программы, в городе Перми утверждено 25 муниципальных программ [2, с. 169]. Расходы на реализацию только государственных программ Российской Федерации в 2017 г. составили 9 331 617,7 млн руб., на 2018 г. программные расходы запланированы в объеме 9 108 528,7, на 2019 г. ‒ 8 720 822,1, на 2020 г. ‒ 8 841 977,6 млн руб., что составляет более 50% расходной части федерального бюджета на соответствующий год2.
В связи с этим превращение программно-целевого управления в базовый подход при формировании бюджетов всех уровней делает актуальной задачу оценки эффективности реализации целевых программ. Особо отметим, что к настоящему времени в основном сформированы нормативная и методологическая основы разработки, реализации и оценки целевых программ на государственном и муниципальном уровнях управления:
-
- утверждены перечни государственных, региональных и муниципальных программ;
-
- приняты документы, регламентирующие механизмы формирования, осуществления и анализа целевых программ на всех уровнях территориального управления;
-
- разработаны и реализуются территориальные методики по формированию и осуществлению государственных, региональных и муниципальных программ.
На основе имеющейся нормативноправовой базы в российской практике государственного и муниципального управле- ния программная оценка производится на основе сведений об основных результатах реализации мероприятий программ, о степени соответствия установленных и достигнутых целевых индикаторов программ за отчетный период, о выполнении расходных бюджетных обязательств, связанных с реализацией программ, организации управления и контроля за ходом исполнения мероприятий программы.
Например, в сводном отчете о выполнении государственных программ Российской Федерации 2017 г. к числу программ, реализуемых с высокой степенью эффективности (свыше 90% выполнения программных показателей), отнесено всего 6 программ из 36, или 16,7%. Степень эффективности реализации 12 государственных программ признана выше и ниже средней (по 33,3%), у 6 программ оценки выполнения признаны низкими (16,7%)1.
Несмотря на информативность, указанные виды оценок не позволяют оценить эффективность реализации целевых программ и не отражают их влияния на показатели социального и экономического развития соответствующего муниципалитета или региона. Поэтому актуальной остается проблема совершенствования методики оценки эффективности реализации программ, дополнения «внутреннего» аудита целевых программ оценкой влияния ( impact evaluation ) на социально-экономическое развитие соответствующей территории.
Подходы к оценке целевых программ
Инструменты оценочной деятельности в системе программно-целевого управления начали использоваться в 60–70-е гг. ХХ века в сфере корпоративного управления. Начиная с середины 80-х гг. методология оценки стала использоваться в сфере государственного и местного самоуправления за рубежом. В России оценка программ стала распространяться в 90-х гг. вслед за развитием программно-целевого управления в государственных и муниципальных органах управления. Среди зарубежных центров, успешно работающих в сфере программной оценки, можно назвать Институт города (The Urban Institute)2, некоммерческую организацию United Way of America (США)3, финансируемую за счёт частных пожертвований, представленную в 41 стране мира, институт Мирового банка (World bank)4. Кроме того, в нашей стране оценку программ осваивают специалисты отдельных исследовательских центров и некоммерческих организаций. В частности, можно отметить работы экспертов Леонтьевского центра из Санкт-Петербурга, ООО «Процесс-Консалтинг», Института экономики города, центра поддержки НКО из Москвы.
Методология программной оценки сформировалась на основе работ Дж. Франклина и Дж. Трашера [3], Е. Грам-лича [4], Е. Мишана [5], М. Скривена [6], К. Вейса [7]. К концу ХХ в. оценочные исследования ( evaluation research ) становятся основным методом анализа и регулирования государственных социальных программ. В XXI в. значительный вклад в развитие методов и форм программной оценки внесли М. Пэттон [8], М. Гараджа [9], Г. Хатри [10], С. Пикок [11], Г. Миллер [12] и Ф. Ванклей [13]. Применение методов программной оценки в российской практике исследовано в работах А.А. Кузьмина [14], Г.Ю. Ветрова [15], Д.В. Визгалова [16], А.М. Елохова [17], Е.А. Шакиной [18], А.В. Ильичева [19], О.С. Минченко [20], М.П. Афанасьева [21], Т.А. Алабиной [22], Т.Н. Патрахиной [23], Д.Ю. Ноженко [24], А.А. Кораблевой [25], А.А. Гершанока [26].
В частности, в научной литератур на сегодняшний день исследователями сформулированы следующие методологические принципы программной оценки.
-
1. Уяснение истоков и сущности программного эффекта. По Г. Хатри истинным индикатором полезности программных усилий является не произведенный продукт, а обретенный результат (эффект). Результаты – это события или изменения состояния, свидетельствующее о продвижении к цели программы. Таким образом, результаты связаны с главной функцией программы (и реализующей ее организации), т. е. с тем, для чего она существует. Результатом является не то, что «сделала» сама программа, а следствия ее деятельности [10, с. 15]. В такой постановке вопроса Ф. Ванклей выделяет в программном эффекте социальную составляющую в форме позитивных или негативных изменений в социальном и культурном состоянии общества [13].
-
2. Обеспечение повышения качества жизни населения соответствующей территории за счет реализации целевых
-
3. Оценка эффективности целевых программ на основе комплекса статистических и социологических показателей. В работах указанных авторов предлагаются разнообразные варианты индикаторов программной оценки, которые можно поделить на промежуточные и конечные, общие и частные, внутренние и внешние (табл. 1).
программ. Г. Хатри подчеркивает, что главным принципом при определении результатов программы является поиск элементов, которые имеют прямое отношение не только к удовлетворенности клиентов программы1, но и к населению в целом и значимы для них. Поскольку удовлетворенность клиентов и прочие подобные характеристики услуг (вежливость персонала, доступность услуги) соответствуют описанию, как правило, промежуточных результатов реализации программы, они не могут заменить собой оценку реального состояния клиента после получения программной услуги [10, с. 33].
Таблица 1
Характеристика индикаторов оценки государственных и муниципальных программ
Вид индикатора оценки |
Назначение индикаторов оценки |
Примеры индикаторов оценки |
Критерии достижения индикаторов оценки |
Практика применения индикаторов оценки |
Индикаторы внутренней оценки целевой программы |
Оценка ресурсной обеспеченности программы |
Расходы бюджета на реализацию программы. Величина привлеченных внебюджетных средств |
Соответствие плановым объемам бюджетного обеспечения |
В качестве частного индикатора при оценке финансового результата программы |
Оценка выполнения мероприятий программы |
Количество мероприятий по разделам программы. Количество выполненных мероприятий |
Соблюдение плановых сроков, числа и качества выполнения мероприятий |
В качестве частного индикатора при оценке деятельности ответственных исполнителей программы |
|
Оценка продукта программы |
Целевые индикаторы программы. Результаты реализации программы |
Степень соответствия продукта программной цели |
В качестве общего индикатора при оценке достижения промежуточных результатов программы |
1 В данной статье термин «клиент» ( customer ) употребляется в отношении любой категории лиц, которых обслуживает или на которых влияет программа (в отличие от лиц, непосредственно задействованных в предоставлении услуги).
Окончание табл. 1
Вид индикатора оценки |
Назначение индикаторов оценки |
Примеры индикаторов оценки |
Критерии достижения индикаторов оценки |
Практика применения индикаторов оценки |
Индикаторы внешней оценки целевой программы |
Оценка конечных результатов реализации программы |
Темпы снижения уровня преступности, заболеваемости, смертности, безработицы и пр. |
Вклад в решение значимой территориальной проблемы |
В качестве частного индикатора при оценке конечных результатов программы |
Оценка влияния программы на развитие территории |
Прирост валового территориального продукта. Прирост численности постоянного населения. Рост качества жизни населения. Рост налоговых поступлений |
Степень и направление улучшения показателей социально-экономической ситуации под воздействием программы |
Ограниченно применяется в качестве общего индикатора при оценке муниципальных программ |
|
Индикаторы интегральной оценки целевой программы |
Оценка соотношения эффектов и затрат по мероприятиям программы |
Программный охват. Удовлетворенность потребителей программных услуг. Эффективность затрат |
Достижение предельных показателей в рамках установленных ограничений |
В качестве общего индикатора эффективности программ в виде интегрального расчетного показателя |
Таким образом, наиболее часто при внутренней оценке эффективности целевых программ используются частные показатели, характеризующие цели и задачи, мероприятия и затраты, предмет и особенности конкретных программ.
В свою очередь, оценка внешнего эффекта программ напрямую связана с изменением частных индикаторов социального и экономического развития регионов и муниципальных образований. Эти индикаторы используются при оценке промежуточных результатов программ, характеризуют степень удовлетворения определенных потребностей населения в ходе осуществления государственных и муниципальных программ. Во внешней оценке конечного результата используются общие индикаторы, отражающие вклад программ в решение значимых территориальных проблем.
Общие индикаторы оценки целевой программы выражаются в различных единицах измерения при соблюдении требований универсальности, сопоставимости, доступности и понятности, позволяющих сравнивать и ранжировать целевые программы. Общие индикаторы должны характеризовать степень и направление улуч- шения социально-экономической ситуации в регионе или муниципальном образовании под воздействием программ; они непригодны для проведения постоянных мониторинговых наблюдений.
При оценке эффективности мероприятий целевых программ расчетные и статистические показатели необходимо дополнять изучением общественного мнения на основе опросов населения и заключений экспертов.
Конкретизируя содержание табл. 1, необходимо отметить не только специфичность каждого из видов оценки, но и их очередность по этапам жизненного цикла программы. Оценка ресурсного обеспечения, как правило, наиболее подробно проводится на этапе разработки программы, а затем лишь уточняется в зависимости от достижения целевых установок. Оценка хода исполнения мероприятий программы, по существу, создает систему мониторинга эффективности реализации программы и дает возможность оценить не только качество планирования программных мероприятий, но и качество регулирования их реализации. Оценки продукта программы, ее эффективности и результативности позволяют судить об итогах до- стижения целевых индикаторов програм- конечных результатов целевой программы мы на этапе ее завершения или при оценке и ее вклад в решение социально значимых
Анализ подходов к оценке эффективности государственных и муниципальных программ показал, что их можно условно разделить на две группы. К первой, преобладающей, группе можно отнести регионы и города, в которых органы власти копируют положения методических указаний, утвержденных приказом Минэкономразвития России от 20 ноября 2013 г. № 690 и предусматривающих необходимость проведения оценок:
-
- степени достижения целей и
- решения задач подпрограмм и программы в целом;
-
- степени соответствия запланированному уровню затрат и эффективности использования средств федерального, регионального или муниципального бюджетов;
-
- степени реализации программных мероприятий (достижения ожидаемых
непосредственных результатов их реали-зации)1.
Ко второй группе можно отнести регионы и муниципалитеты, которые наряду с традиционными методами используют оригинальные подходы, собственные показатели и критерии оценки целевых программ. К этой группе относятся, например, Пермский край, Екатеринбург, Уфа и Казань, которые при оценке целевых программ используют показатели социальной, экономической и бюджетной эффективности.
Основываясь на результатах методологического обобщения, опишем авторскую методику оценки эффективности целевых программ.
Оценка эффективности целевых программ: авторская методика и ре- зультаты ее апробации
В целях повышения управ ленческой информативности оценки эффективности целе- вых программ, реализуемых государствен- ными и муниципальными органами власти, предлагается дополнить стандартную внутреннюю оценку программ внешней итоговой оценкой вклада программ в улучшение показателей социального и экономического развития территориальной системы.
Для реализации этого предложения, по нашему мнению, необходимо, во-первых, использовать в составе общих индикаторов влияние программы на развитие территории, рост численности постоянного населения, а в качестве частных индикаторов его роста, за счет миграции и естественного прироста, применять систему показателей качества жизни населения, например занятость, уровень доходов, показатели безопасности жизнедеятельности, инфраструктурной обеспеченности территории.
Во-вторых, в ходе оценки эффективности целевых программ необходимо учитывать приближение параметров развития соответствующей территории к эталонным значениям. Поставленная задача решается путем упорядочения динамики темповых характеристик индикаторов развития территории. Предлагаемый вариант упорядочения темпов роста индикаторов имеет вид Тзп > Трз > Тжч >Тзн > Тпн > 1, (1)
где Тзп – темп снижения числа зарегистрированных преступлений;
Трз – темп роста реальных доходов населения;
Тжч – темп роста обеспеченности населения жильем;
Тзн – темп роста численности занятого населения;
Тпн – темп роста численности населения, постоянно проживающего на данной территории.
В-третьих, поскольку в настоящее время реализуется программное распределение бюджетных средств соответствующих территорий, при оценке эффективности целевых программ целесообразно учитывать их влияние на отклонения фактических показателей социально-экономического развития территории от эталонной динамики.
Для оценки этой связи предлагается рассчитывать коэффициент корреляции рангов Спирмена. При приближении модульного значения коэффициента к единице мероприятия целевых программ оказывают сильное положительное (при +1) или отрицательное (при –1) влияние на заданные динамические пропорции развития региона или муниципального образования. Если коэффициент корреляции равен нулю, то целевые программы не оказывают влияния на развитие соответствующей территории. Влияние программ считается умеренным при значении коэффициента 0,51.
В отличие от ранее проведенного исследования [26] апробацию предлагаемой методики проведем на основе оценки воздействия государственных и муници- пальных целевых программ на изменение показателей экономического и социального развития не только города Перми, относящегося к группе крупнейших городов с численностью населения более 1 млн чел., но и Российской Федерации и Пермского края. В качестве периода расчета выбран трехлетний отрезок времени (2015‒ 2017 гг.), принятый при формировании соответствующих бюджетов, в том числе государственных и муниципальных целевых программ. Расчет выполнен на основании данных сайта администрации города Перми, государственной статистики за 2015 и 2017 гг. и отражен в табл. 3.
Таблица 3
Исходные данные для оценки воздействия государственных и муниципальных целевых программ на показатели социального и экономического развития РФ, Пермского края и г. Пермь, 2015‒2017 гг.*
Показатель |
2017 г. 2015 г., % |
Эталонный ранг |
Фактический ранг |
||||
РФ |
Пермский край |
г. Пермь |
РФ |
Пермский край |
г. Пермь |
||
Темп роста численности населения |
100,3 |
99,6 |
101,1 |
5 |
4 |
4 |
4 |
Темп роста численности занятого населения |
99,1 |
99,1 |
93,7 |
4 |
5 |
5 |
5 |
Темп роста обеспеченности населения жильем |
102,1 |
101,7 |
103,3 |
3 |
3 |
3 |
3 |
Темп роста среднедушевых доходов населения |
103,3 |
102,7 |
112,7 |
2 |
2 |
2 |
1 |
Темп снижения числа зарегистрированных преступлений |
110,6 |
132,4 |
109,6 |
1 |
1 |
1 |
2 |
* Составлено авторами по данным сайта администрации города Перми. Краткие итоги социальноэкономического развития города Перми, январь-декабрь 2015. URL: pages/7385/ (дата обращения: 25.06.2018); Краткие итоги социально-экономического развития города Перми, январь-декабрь 2017. URL: pages/7385/01.17/ (дата обращения: 25.06.2018); Пермский край в цифрах. 2018: Краткий стат. сб. / Территориальный орган Федеральной службы государственной статистики по Пермскому краю. Пермь, 2018. URL: (дата обращения: 25.07.2018); Россия в цифрах. 2018. URL: (дата обращения: 25.07.2018).
Коэффициенты1 ранговой корреляции Спирмена за анализируемый период положительны и составили для РФ и Пермского края 0,8, а для г. Перми ‒ 0,2. Таким образом, в рассмотренном временном промежутке влияние программ на социально-экономическую обстановку в РФ и Пермском крае можно признать доста- точно сильным. По нашему мнению, это можно объяснить тем, что государственные целевые программы в этот промежуток времени были действенным инструментом государственного и регионального стратегического управления. Слабое влияние муниципальных программ на изменение показателей экономического и социального развития г. Перми может быть связано с увеличением ведомственности при их создании. В результате муници- пальные программы стали документами, которые обеспечивают не решение стратегических проблем и задач города, а распределение бюджетных средств для осуществления текущей деятельности города, т. е. они стали носить тактический характер и их финансирование утверждается на каждый финансовый год.
Вместе с тем глава города, применяя индикаторы внутренней оценки по итогам 2015 и 2016 гг., признал низкоэффективными только 4 программы из 24 (16,7%), а по итогам 2017 г. – только 2 программы из 25 (8,0%), т. е. фактически дал положительную оценку программной деятельности в городе1.
Таким образом, дополнение «внут- реннего» анализа целевых программ оценкой их воздействия на улучшение показателей экономического и социального раз- вития целостных территориальных систем, по нашему мнению, будет способствовать повышению эффективности программного управления, позволит органам государственной власти и местного самоуправления выработать более действенную систему программных мер, обеспечивающих рост качества жизни населения в соответствии с указом Президента России от 7 мая 2018 г. № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года».
Заключение
За годы, прошедшие с начала рыночных реформ, в стране сформировалась нормативноправовая база и практика оценки целевых программ на всех уровнях территориального управления. В практике оценки программ преобладает «внутренняя» оценка, отражающая организационные, финансовые аспекты программной деятельности, полученные промежуточные результаты в виде достижения целевых программных показателей. Вместе с тем индикаторы «внешней» оценки, отражающие конечные результаты реализации программы и их влияние на развитие территории, в практике государственного и муниципального управления используются весьма ограниченно.
По нашему мнению, только сочетание индикаторов внутренней и внешней оценки целевых программ позволит объективно отразить взаимосвязи программных затрат, которые составляют основу любого территориального бюджета и являются результатом социально-экономического развития соответствующей территории, т. е. эффективности программного управления.
На основе изучения методологических основ программной оценки, нормативно-правовых актов органов государственной власти и местного самоуправления в РФ, регулирующих разработку и реализацию целевых программ, анализа статистических данных РФ, Пермского края и города Перми за 2015‒2017 гг., показана возможность и необходимость оценки программного воздействия на показатели экономического и социального развития соответствующей территории. Оценка практики программного воздействия показала, что программы стали действенным инструментом органов государственной власти и местного самоуправления по целенаправленному улучшению социальноэкономической ситуации в Перми и Пермском крае.
Однако применяемые способы оценки эффективности государственных и муниципальных программ не в полной мере отражают их воздействие на изменение социально-экономической ситуации в городе или регионе в целом. В целях повышения эффективности программного управления действующие региональные и муниципальные положения о разработке и реализации целевых программ предлагается дополнить оценкой их влияния на показатели экономического и социального развития соответствующей территории с помощью коэффициента корреляции рангов Спирмена, определенного на основе реальных показателей, отражающих уровень и качество жизни населения и, как следствие, определяющих динамику численно- сти постоянного населения страны, региона и города.
Апробация авторской методики оценки эффективности целевых программ за 2015‒2017 гг. показала, что воздействие государственных программ на социальноэкономическую обстановку в стране и Пермском крае сильное и положительное, а влияние муниципальных программ в го- роде Перми ‒ положительное, но слабое. Этот вывод, по нашему мнению, должен послужить основанием для более объективной оценки программной деятельности органами местного самоуправления и выработки системы мер по повышению стратегической направленности городских целевых программ.
Список литературы Совершенствование методики оценки эффективности целевых государственных и муниципальных программ
- Лексин В.Н., Швецов А.Н. Государство и регионы. Теория и практика государственного регулирования территориального развития. М.: УРСС, 2000. 368 с.
- Елохов А.М, Арбузова Т.А. Программно-целевое территориальное управление: монография / Перм. гос. нац. исслед. ун-т. Пермь, 2018. 236 с.
- Franklin J.L, Thrasher J.H. An introduction to program evaluation. N.Y.: Wiley& Sons, 1976.233 p.
- Gramlich E. Benefit-cost analysis of government programs. Englewood Cliffs, NJ: PrenticeHall, 1981. 273 р.
- Mishan E.J. Cost - benefit analysis. L.: George Allen & Unwin Ltd, 1984. 222 р.
- Scriven M. Evaluation Thesaurus. 4th ed. Newbury Park, California: Sage, 1991. 393 р.
- Weiss C. Evaluation: Methods for studying programs and policies. 2nd ed. Prentice Hall, 1998.372 p.
- Patton M.Q. Qualitative evaluation and research methods. 3rd ed. Thousand Oaks, CA: SagePublications, 2002. 317 р.
- Гараджа М.Ю. Мониторинг результативности бюджетных расходов: основные этапы внедрения на местном уровне. М.: Фонд «Институт экономики города», 2002. 48 с.
- Хатри Г.П. Мониторинг результативности в общественном секторе. М.: ИЭК, 2005.276 с.
- Peacock S. An evaluation of program budgeting and marginal analysis applied in South Australian hospitals. Melbourne: Centre for Health Program Evaluation, 2008. 128 p.
- Miller G.I., Hildreth W.B., Rabin J. Performance-based budgeting. Boulder, CO: Westview Press, 2010. 504 p.
- Vanclay F., Esteves A.M., Aucamp I., Franks D. Social impact assessment: Guidance for assessing and managing the social impacts of projects. Fargo, ND: International Association for Impact, 2015. 108 p.
- Кузьмин А.А. Особенности проведения отдельных этапов оценки проектов и программ // Материалы для Школы по оценке программ, 2001. URL: http://www.ipen21.org/ipen (дата обращения: 19.04.2018).
- Ветров Г.Ю., Визгалов Д.В., Пинегина М.В., Шевырова Н.И. Оценка муниципальных программ М.: Фонд «Институт экономики города», 2003. 89 с.
- Визгалов Д.В. Методы оценки муниципальных программ. М.: Фонд «Институт экономики города», 2005. 108 с.
- Елохов А.М. Стратегическое управление развитием муниципального образования: монография / Перм. гос. ун-т. Пермь, 2007. 175 с.
- Шакина Е.А. Многоуровневая оценка целевых программ как метод управления расходами региональных и муниципальных бюджетов: автореф. дис. … канд. экон. наук. М., 2008. 27 с.
- Ильичев А.В. Основы анализа эффективности и рисков целевых программ: истоки, формализация, реализация. М.: Научный мир, 2009. 332 с.
- Минченко О.С. Подходы к оценке целевых программ в российской практике // Вопросы управления. 2012. № 2 (21). С. 14-20.
- Афанасьев М.П., Шаш Н.Н. Инструментарий оценки эффективности бюджетных программ // Вопросы государственного и муниципального управления. 2013. № 3. С. 48-69.
- Алабина Т.А., Ершова Н.Н. Оценка эффективности долгосрочных целевых программ: теория и практика (на примере Кемеровской области). Барнаул: Си-пресс, 2014. 146 с.
- Патрахина Т.Н. Подходы к оценке эффективности государственных целевых программ // Проблемы экономики и менеджмента. 2015. № 2 (42). С. 65-68.
- Ноженко Д.Ю. Государственные программы как инструмент стратегического управления: межрегиональный анализ // Вопросы управления. 2016. № 4 (41). С. 8-15.
- Кораблева А.А. Методические основы оценки эффективности муниципальных программ // Региональная экономика: теория и практика. 2017. Т. 15, вып. 4 (439). С. 691-705.
- Гершанок А.А., Елохов А.М. Методика внешней оценки влияния целевых программ на направление развития территории //Экономика и менеджмент систем управления. 2018. № 2.3(28). С. 338-347.