Содержательный анализ целевых демографических программ как метод предварительной экспертной оценки
Автор: Горный Б.Э., Мажаров В.Ф.
Журнал: Уровень жизни населения регионов России @vcugjournal
Рубрика: Демография в России начала нового века
Статья в выпуске: 12 (166), 2011 года.
Бесплатный доступ
В статье проведена экспертная оценка региональных демографических программ развития; выявлены недостатки и нарушения, приводящие к неэффективному использованию бюджетных средств. Предложенный в статье подход позволяет провести содержательный анализ целевых демографических программ и использовать его для экспертизы, как на стадии проектирования, так и на стадии реализации, а также для оценки социально-экономической эффективности предлагаемых мероприятий.
Демографическая программа, экспертиза региональных демографических программ, оценка эффективности расходования бюджетных средств
Короткий адрес: https://sciup.org/143181436
IDR: 143181436
Текст научной статьи Содержательный анализ целевых демографических программ как метод предварительной экспертной оценки
В настоящее время общепризнанно, что программно-целевое управление служит важнейшим инструментом осуществления государственной социальной и экономической политики развития страны и ее регионов. Несмотря на то, что программно-целевой метод уже давно используется в практике управления, разработаны как теоретические, так и научно-практические рекомендации по его использованию в различных отраслях экономики [1, 2, 3, 4, 5], сложившаяся процедура и методология их разработки и реализации не соответствует требованиям программно-целевого планирования, не позволяет оптимально использовать финансовые, ресурсные и организационные потенциалы регионов [6, 7, 8, 9].
При разработке адекватной и эффективной стратегии решения социальных проблем целеполагание является ключевым фактором. Четкое формулирование целей – это необходимое условие получения желаемого социально значимого результата управленческой деятельности федеральной, региональной и муниципальной власти [10] и существенное (на 60-70%) сокращение «коррупционного поля» [11, 12].
В то же время, целеполагание – одно из самых слабых мест в практике проектирования и реализации социальных преобразований на всех уровнях исполнительной власти.
Однако предложенные подходы по оценке целевых программ не учитывают такие особенности медико-демографических процессов, как сложность в выборе и оценке проблемных ситуаций на основе научно-обоснованного ранжирования приоритетов, в формировании перечня релевантных целей и индикаторов их достижения, обязательности процедуры научной предпроектной экспертизы.
Материалы и метод
Нами была проведена содержательная оценка региональных демографических программ, размещенных после 2007 г. (год утверждения Концепции демографической политики Российской Федерации) на сайтах административных и/или законодательных органов власти субъектов Российской Федерации. Отбор программ производился по ключевым словам «демографическая», «целевая программа», «областная», «краевая» с помощью поисковых систем Yandex.ru, Google.com, Nigma.ru. Всего было (обнаружено) найдено 20 региональных программ. В качестве объекта кон-тент-анализа нами было отобрано 11 целевых региональных программ в области демографической политики (более 50%):
-
1. Демографическое развитие Кировской области на 2008-2010 гг.
-
2. Об улучшении демографической ситуации в Краснодарском крае на 2008-2010 гг.
-
3. Улучшение демографической ситуации в Красноярском крае на 2007-2009 гг.
-
4. Демографическое развитие Алтайского края на 2008-2015 гг.
-
5. Семья и демография Омской области на 2007-2009 гг.
-
6. Улучшение демографической ситуации в Тульской области на 2008-2010 гг.
-
7. Демографическое развитие Хабаровского края на 2009-2015 гг.
-
8. Улучшение демографической ситуации в Московской области на 2009-2012 гг.
-
9. Улучшение демографической ситуации в Ростовской области на 2008-2010 гг.
-
10. Демографическое развитие Карачаево-Черкесской республики до 2015 г.
-
11. Улучшение демографической ситуации в Курской области» на 2009-2010 гг.,
и проведена их оценка на соответствие формальным требованиям, предъявляемым к целевым комплексным программам (ЦКП).
Кроме того, на примере демографической программы Красноярского края [7] был проведен содержательный анализ и декомпозиция проблем, а также прослежена логически-смысловая связь между множеством проблемных ситуаций и соответствующих им целям.
Принятый порядок разработки Федеральных целевых программ, который можно распространить и на региональные, утвержден Постановлением Правительства РФ от 26 июня 1995 г. № 594 «О реализации федерального закона «О поставках продукции для федеральных государственных нужд» (Порядок). Пункт 10 этого документа предъявляет следующие требования к содержанию разделов ЦП:
-
• наличие постановки проблемы и обоснование необходимости решения проблемы программными методами;
-
• наличие формулировки целей и задач целевой программы с указанием целевых индикаторов и показателей;
-
• перечень мероприятий целевой программы;
-
• обоснование ресурсного обеспечения, необходимого для реализации программы;
-
• формы и методы управления реализацией целевой программы;
-
• описание социальных, экономических и экологических последствий, которые могут возникнуть при реализации целевой программы, общую оценку вклада целевой программы в экономическое развитие, а также оценку эффективности расходования бюджетных средств.
Для оценки соответствия программ требованиям Порядка нами были выбраны следующие критерии:
-
1. Анализ ситуации и постановка проблемы (программа содержит постановку проблемы, включая анализ причин ее возникновения; обоснована целесообразность программного решения проблемы на региональном и/или муниципальном уровне);
-
2. Формулировка целей и задач целевой программы с указанием целевых индикаторов и показателей (для целей – достижимость; измеримость; привязка к временному графику (установлен срок достижения цели и этапы реализации целевой программы с определением соответствующих целей; для задач программы – необходимость и достаточность для достижения целей программы; срок решения задачи не превышает срок достижения соответствующей цели; указаны значения целевых индикаторов и показателей по годам и этапам реализации программы
-
3. Мероприятия целевой программы (обоснована взаимосвязь мероприятия и ожидаемых результатов с целевыми индикаторами и показателями; указаны заинтересованные в реализации каждого мероприятия организации или группы населения)
-
4. Обоснование ресурсного обеспечения, необходимого для реализации программ (представлены документы и расчеты, позволяющие оценить необходимость и достаточность ресурсного обеспечения для выполнения мероприятий, достижения целевых индикаторов и показателей целевой программы).
Процесс разработки целевой программы, который является, по сути, процедурой принятия решения, можно записать в виде формулы, используя некоторые идеи, изложенные в работе [13].
< С, T, Р, Ц>, где: (1)
С = (С 1 …С k ) – проблемная ситуация или множество проблемных ситуаций;
Т – известное время для реализации программы;
Р – стоимость решения;
Ц = (Ц 1 , ..., Ц k ) – множество целей, на достижение которых направлено решение; как частный случай, решение может быть направлено на достижение одной цели.
При этом каждой проблемной ситуации должна соответствовать цель [14], что можно представить в виде «проблемно-целевого ромба» (рис. 1), вершины которого составляют конечная цель (само- цель) – с одной стороны, и ключевая (основополагающая) проблема – с другой, а оба ребра на разных уровнях соответствуют целям и проблемам различных порядков.

Цели 2-го порядка
Цели 3-го порядка
Цели n-ого порядка
Конкретные частные цели и проблемы (цель, решение проблематики)
Проблемы n-ого порядка
Проблемы 3-го порядка
Проблемы 2-го порядка
Ключевая (основополагающая) проблема
Рис. 1. Проблемно-целевой ромб
Результаты и обсуждение
Соответствие требованиям Порядка оценивалось качественным методом, наличие квалификационного признака обозначалось как «1»; отсутствие – «0» (таблица 1).
Постановка проблемы – основополагающий раздел любой программы. Данный раздел определяет целесообразность дальнейшей работы над программой, так как проблема и есть тот разрыв между желаемым и фактическим состоянием системы, которое разработчики планируют преодолеть. Выявление и описание проблемной ситуации дает исходную информацию для формирования целей и задач, оценки времени, располагаемого для принятия решения, а также величины необходимых ресурсов.
Единственная программа, в которой был проведен полноценный анализ проблемной ситуации, указаны ее основные причины, это – ЦКП Кировской области. Разработчики остальных программ обозначали основные проблемы, но не указали, либо неправильно определили причины сложившейся ситуации. Например, в программе Алтайского края причиной депопуляции населения называется низкий уровень доходов жителей Алтайского края, в том числе имеющих детей, но нет никаких доказательств этого (например, результатов социологических опросов), а разработчики долгосрочной (!) целевой программы «Улучшение демографической ситуации в Красноярском крае» на 2010-2012 гг. называют врожденные пороки развития одной из ведущих причин в структуре младенческой смертности, приводя данные о том, что частота врожденных пороков развития у младенцев на территории края ежегодно составляет 3,5%.
Разработчики ряда программ в качестве одной из основных проблем называют процессы демографического старения населения (Московская, Тульская области, Краснодарский край), не считаясь с глобальным характером происходящих процессов и невозможностью решить эту проблему программными средствами.
Следующий раздел программы – постановка целей и задач, и первое требование к ним – это достижимость целей. По этому критерию требованиям Порядка соответствовали только среднесрочные ЦКП Алтайского, Хабаровского края и Карачаево-Черкесской области. Срок выполнения большинства других составлял три года. Решить демографические проблемы в столь короткие сроки, тем более ставя такие задачи, как «формирование у молодого поколения потребности иметь детей» (Кировская область), «формирование здорового образа жизни» (Красноярский край), «повышение статуса и укрепление института семьи в обществе» (Тульская область), невозможно.
Таблица 1
Критерии |
номер программы |
Сумма баллов |
|||||||||||
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
|||
Анализ ситуации и постановка проблемы |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
|
Цели программы |
достижимы |
0 |
0 |
0 |
1 |
0 |
0 |
1 |
0 |
0 |
1 |
0 |
3 |
измеряемы |
1 |
1 |
0 |
1 |
1 |
1 |
0 |
1 |
1 |
1 |
1 |
9 |
|
привязаны к временному графику |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
Задачи программы |
необходимы и достаточны для достижения целей программы |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
срок решения задачи не превышает срок достижения соответствующей цели |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
указаны значения целевых индикаторов и показателей по годам |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
1 |
9 |
|
Мероприятия |
взаимосвязь мероприятия и ожидаемых результатов с целевыми индикаторами и показателями |
0 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
1 |
0 |
1 |
5 |
заинтересованные в реализации каждого мероприятия организации или группы населения |
0 |
1 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
1 |
5 |
|
Обоснована необходимость и достаточность ресурсного обеспечения |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
Сумма баллов |
3 |
3 |
3 |
5 |
2 |
3 |
4 |
2 |
2 |
2 |
3 |
Соответствие региональных демографических программ требованиям
Порядка разработки Федеральных целевых программ
Потенциальная измеримость цели – единственный пункт требований, которому соответствовали практически все программы. В основном использовались формулировки – «стабилизация численности населения», «увеличение продолжительности жизни». Только в программах Красноярского и Хабаровского края целью стало «улучшение демографической ситуации». Как измерить такую цель? Необходимо отметить сказать, что разработчики ЦКП Хабаровского края дали количественную формулировку задач, тогда как в программе Красноярского края даже задачи сформулированы таким образом, что их невозможно измерить: «поддержка семей с детьми», «создание благоприятных условий», «формирование отношения».
Для осуществления контроля над реализацией программы нужна информация о промежуточных результатах, которые должны достигаться в ходе ее выполнения. Поэтому документ должен содержать набор целевых индикаторов за каждый год ее действия. Точные, информативные, измеряемые индикаторы – залог динамического контроля и успешного выполнения программ. Ни в одной программе не был соблюден следующий пункт требований Порядка – привязка цели к времен- ному графику (установление срока достижения цели и этапов реализации целевой программы с определением соответствующих целей).
Ни один из разработчиков ЦКП не представил обоснование перечня предлагаемых задач, их необходимости и достаточности для достижения целей программы. Сроки решения задач не прописаны и из содержания программы не понятно, превышают ли они сроки достижения соответствующих целей. Единственное требование, которое соблюдалось в большинстве программных разработок – «указание значение целевых индикаторов и показателей по годам». Девять программ (81%) содержало этот пункт. В двух программах этот пункт требований был выполнен с нарушениями. В ЦКП Ростовской области и Карачаево-Черкесской Республики были указаны только конечные результаты программы.
Нарушения предыдущих этапов программно-целевого управления не могли не отразиться на этапе выбора конкретных мероприятий, направленных на решение поставленных задач. Менее чем в половине ЦПК (45,0%) в плане мероприятий были указаны результаты, к которым должно привести выполнение того или иного мероприятия. Однако в двух из этих программ (Алтайского края и Ростовской области) результаты сформулированы в качественных категориях – таких, как «укрепление», «снижение», «улучшение», «активизация», а в программе, разработанной в Краснодарском крае, указан результат, который будет получен при выполнении тех или иных мероприятий, но отсутствует обоснование выбора. Авторы программы не объясняют , как оснащение медицинских учреждений оборудованием и транспортом стабилизирует заболеваемость ВИЧ-инфекцией, сифилисом и гонореей. Либо для оценки достижимости мероприятий предлагаются качественные критерии: повышение качества, улучшение условий и т.д. Еще меньше программ, в которых упоминаются организации или группы населения, заинтересованные в выполнении каждого мероприятия (36,0%). Ни один из разработчиков не представил документов, расчетов, которые бы могли обосновать необходимость и достаточность ресурсного обеспечения программы.

Рис. 2. Оценка соответствия региональных демографических программ требованиям Порядка
Как видно из диаграммы формальным требованиям Порядка, которые оценивались по десяти признакам, не соответствовала ни одна программа (рис. 2).
На примере демографической программы Красноярского края [15] был проведен содержательный анализ и декомпозиция проблем, а также прослежена логически-смысловая связь между множеством проблемных ситуаций и соответствующих им целям.
Для ключевой проблемы формула принимает следующий вид
< С; Т=3; Р=5773400,1; Ц >, где
С – «Сокращение численности населения»
Т = 3 (срок реализации программы, лет)
Р = 5773400,1 (объем финансирования цели в рублях)
Ц – «Улучшение демографической ситуации в Красноярском крае»
Для проблем 2-го порядка запись выглядит следующим образом:
-
< C 1.1 ; «параметры рождаемости остаются в 1,5 раза меньше требуемых для положительного прироста населения» Т=3 года; ; Р 1 . 1 «отсутствует» Ц 1 . 1 «отсутствует» >. Проблемная ситуация C 1 . 1 сформулирована некорректно: речь должна идти о характере воспроизводства населения, а не параметрах его естественного движения.
-
< С 1.2 ; «в структуре младенческой смертности врожденные пороки развития (ВПР) занимают одну из ведущих причин; частота врожденных пороков развития у младенцев на территории края ежегодно составляет 3,5%» Т=3 года; Р=80015,0; Ц 1 . 2 «снижение смертности от врожденных пороков развития» >
На наш взгляд, не обоснован выбор приоритетной проблемы С 1 . 2 , как определяющей компоненты снижения численности населения, так как удельный вес младенцев, умерших от ВПР, составляет всего 0,15%. Более того, необходимо подчеркнуть, что ВПР как причины смерти относятся к разряду малоуправляемых ресурсами здравоохранения, о чем свидетельствует скачкообразный рост смертности от данной причины уже в следующем 2009 году: с 54 до 75 случаев.
-
< С 1 . 3 ; «отсутствует»; тем не менее определены сроки и объемы финансирования Т=3 года; Р=3573808; притом, что Ц 1 . 3 «отсутствует»>
Из множества проблемных ситуаций второго порядка, определяющих снижение численности населения Красноярского края по причине его сверхсмертности, разработчики выделили только «Смертность взрослого населения края от острого инфаркта миокарда», оставив за скобками смертность от сосудистых поражений мозга, на % превышающую смертность от ИБС, от болезней органов дыхания от последствий воздействия внешних причин и т.п.
-
< С 1 . 4 ; «смертность взрослого населения края от острого инфаркта миокарда (ОИМ) возросла с 44,7 до 51,2 на 100 тыс. населения»; Т = 3 года; Р = 126875,0; Ц 1 . 4 «снижение смертности от заболеваний системы кровообращения».
В программе выявлено 9 проблемных ситуаций третьего порядка, которым должно соответствовать 9 целей, но «налицо» выраженные дефекты проблемно-целевой декомпозиции.
Как уже говорилось, в данном документе не обсуждаются проблемы, связанные со снижением рождаемости и не ставятся задачи по ее повышению < С 2 . 1 «отсутствует»; Ц 2 . 1 «отсутствует»>.
Авторы программы не приводят убедительных доказательств того, что проблема врожденных пороков развития связана именно с недостатками диагностики. Тем не менее, предложенные решения связаны с приобретением аппаратов ультразвуковой диагностики и созданием системы телемедицинского консультирования, < С 2 . 2 ; «отсутствует»; Р=35799,7;Ц2.2.1; Ц 2 . 2 . 2 >
Предлагается строительство перинатального центра и оснащение медицинских учреждений реанимационными комплексами на сумму более 3,5 миллиардов рублей и не объясняется целесообразность этого решения < С 2.3 «отсутствует»; Р=3573808; Ц2.3.1 Ц 2 . 3 . 2 >
Рост смертность от острого инфаркта миокарда объясняется разработчиками программы недостатком обеспеченности реваскуляризирующими операциями, а в качестве решения предлагается приобретение наборов для эндоваскулярной диагностики и лечения ишемической болезни сердца < С 2 . 4 ; Р=125000,0; Ц 2 . 4 . 1 >
Для решения проблем C 2.5 , С 2.6 , связанных с деятельностью медицинских учреждений по вторичной и третичной профилактике хронических неинфекционных заболеваний, на наш взгляд, выбраны адекватные целевые решения. Но выделенных для этого средств, будет явно недостаточно < C 2.5 ; Р=1875,0;Ц 2 . 5.1 ; Ц 2 . 5 . 1 >; < С 2 . 6 Р=1127,5;Ц 2 . 6.1 ;Ц 2 . 6..2 >
Совершенно не понятно для решения какой демографической проблемы необходимо обеспечение учреждений здравоохранения края, имеющих родильные отделения, приборами регистрации вызванной отоакустической эмиссии < С 2 . 7 ; «отсутствует»; Р=9103,9; Ц 2.7 . 1 >. Этот случай яркий пример нецелевое использование бюджетных средств.
Декларативной оказалась цель по формированию здорового образа жизни, для которой не были сформулированы ни проблемы, ни намечены пути решения < С 2.8 ; «отсутствует»; Ц 2 . 8 ; «отсутствует» >.
Заключение
Лишь одна из них набрала половину необходимых баллов, и еще одна – 4 балла. Остальные ЦКП соответствовали только 2-3 требованиям. Из 10 критериев, которые были выбраны нами для анализа, только по двум («измеримость целей» и «наличие целевых показателей по годам») большинство программ соответствовало требованиям Порядка. Еще по двум критериям («взаимосвязь мероприятия и ожидаемых результатов с целевыми индикаторами и показателями» и наличие субъектов «заинтересованных в реализации каждого мероприятия») соответствовал требованиям половина рассматриваемых программ. Самыми «слабыми» разделами программ были те, которые связаны с анализом ситуации и обоснованием ресурсного обеспечения.
Анализ проблемно-целевой увязки демографической программы Красноярского края наглядно продемонстрировал нарушение логики программно-целевого планирования на втором и третьем уровнях. При этом выявлено три типа нарушений. Первый тип, когда проблемной ситуации соответствует несколько целей, второй тип – решение проблемы финансируется, но цель не определена и третий тип, когда для решения выявленной проблемной ситуации не сформулирована цель и не выделены ресурсы. Так, для реализации несформулированной проблемы С2.3 намечены цели («Ввод в эксплуатацию перинатального центра» и «Оснащение краевых и муниципальных учреждений здравоохранения реанимационными комплексами для выхаживания детей с экстремально низкой массой тела при рождении») и выделены многомиллиардные суммы.
Обращает на себя внимание еще одно обстоятельство. Несмотря на то, что анализируемая ЦКП носит название "Улучшение демографической ситуации в Красноярском крае", в ней ни словом не упоминается вторая демографическая компонента – рождаемость.
Таким образом, предложенный нами подход, позволяет провести содержательный анализ целевых программ и использовать его для экспертизы, как на стадии проектирования, так и реализации, а также для оценки социально-экономической эффективности.
*****
-
1. Жуковский А.И., Васильев С.В., Штрейс Д.С. под общей редакцией Фабричного С.Ю. Разработка, реализация и оценка региональных целевых программ (на основе Канадского опыта). – 2006.
-
2. Аганбегян А.Г., Варшавский Ю.В., Жуковский В.Д. О программно-целевом управлении в здравоохранении. – «SPERO». – 2007 г, № 7.
-
3. Райзберг Б.А., Лобко А.Г. Программно-целевое планирование и управление. – М., – 2002.
-
4. Целевые программы развития регионов: рекомендации по совершенствованию разработки, финансирования и реализации / отв. ред. В. Я. Любовный, И. Ф. Зайцев, А. К. Ушаков [и др.] ; Моск. обществ. науч. фонд, Ин-т макроэкон. исслед. (ГУ ИМЭИ при Минэкономики России). – М. – 2000.
-
5. Карпова М.В., Невзгодов В.В. Реформирование системы программно-целевого управления в агрокомплексе России и Самарской области // Вестник ОГУ. – 2007, № 5.
-
6. Зенчева Н.В. Проблемы разработки и реализации региональных целевых программ развития в современной России / Вестник Тамбовского университета. Серия Гуманитарные науки 2006. – № 2.
-
7. Шакина Е.А., Шелунцева М.А. Анализ методов оценки целевых программ субъектов РФ / Региональная экономика теория и практика. – 2008, № 11.
-
8. Дубровский Р.Г. Разработка и оценка эффективности региональных целевых антинаркотических программ // Наркоконтроль. – 2009, №2.
-
9. Мозголин Б.С. Программно-целевое управление региональным развитием: проблемы и перспективы // Известия Томского политехнического университета. 2007. – т. 311, № 6.
-
10. Бажин И.И. Социальная инноватика регионального и муниципального управления: монография. – Н.Новгород: Изд-во ВВАГС, – 2008.
-
11. Бажин И.И. Управленческие механизмы предотвращения коррупции в органах власти// Государственная служба. – 2008, № 4.
-
12. Арсеньева Т., Бажин И. Социальные механизмы деятельности власти // Власть. – 2009, № 4.
-
13. Евланов Л.Г. Теория и практика принятия решений. – М.: Экономика.
-
14. Бестужев-Лада И.В. Социальное прогнозирование. Курс лекций. – М.: Педагогическое общество России. – 2002.
-
15. Долгосрочная целевая программа «Улучшение демографической ситуации в Красноярском крае» на 2010-2012 годы / Постановление Правительства Красноярского края от 20 ноября 2009 г. № 592-п
Список литературы Содержательный анализ целевых демографических программ как метод предварительной экспертной оценки
- Жуковский А.И., Васильев С.В., Штрейс Д.С. под общей редакцией Фабричного С.Ю. Разработка, реализация и оценка региональных целевых программ (на основе Канадского опыта). - 2006.
- Аганбегян А.Г., Варшавский Ю.В., Жуковский В.Д. О программно-целевом управлении в здравоохранении. - «SPERO». - 2007 г, № 7. EDN: UYPIYN
- Райзберг Б.А., Лобко А.Г. Программно-целевое планирование и управление. - М., - 2002.
- Целевые программы развития регионов: рекомендации по совершенствованию разработки, финансирования и реализации / отв. ред. В. Я. Любовный, И. Ф. Зайцев, А. К. Ушаков [и др.]; Моск. обществ. науч. фонд, Ин-т макроэкон. исслед. (ГУ ИМЭИ при Минэкономики России). - М. - 2000.
- Карпова М.В., Невзгодов В.В. Реформирование системы программно-целевого управления в агрокомплексе России и Самарской области // Вестник ОГУ. - 2007, № 5. EDN: JJYOYJ
- Зенчева Н.В. Проблемы разработки и реализации региональных целевых программ развития в современной России / Вестник Тамбовского университета. Серия Гуманитарные науки 2006. - № 2. EDN: IFAJYN
- Шакина Е.А., Шелунцева М.А. Анализ методов оценки целевых программ субъектов РФ / Региональная экономика теория и практика. - 2008, № 11. EDN: IJLSFD