Оценка результативности деятельности национальных университетов

Ключевые показатели результативности государственного сектора должны быть основаны на комплексной системе показателей [9] и критериев для общественного сектора, адаптированных к стратегическим целям государственной политики [15]. Но «различия в политических интерпретациях может усложнить четкое определение критериев качества работы, в частности, меру конечного результата» [8], потому что университеты неизменно связаны с различными внутренними и внешними контрагентами, такими как правительство, СМИ, общественность, политические лидеры и мировая экономика [13]. Мы выбрали

100 © Антипова Т.В., Мельник М.В., 2014

для изучения оценку результативности, обусловленную реформами общественного сектора, сосредоточив внимание на бюджетировании, ориентированном на результат, в России. В результате этих реформ предполагается повысить результативность и эффективность организаций общественного сектора [7] и в этом смысле также модернизировать работу образовательных организаций. При этом большинству образовательных организаций, в том числе и университетам, необходима четкая, точная постановка целей и задач в сочетании с ответственностью за качество выполненной работы [16]. В этом случае одним из основных критериев эффективности и результативности должна быть оценка того, насколько хорошо им удается добиться результатов, согласованных с реформами общественного сектора. В основе такой системы показателей – показатели (индикаторы) результативности, оценивающие такие, казалось бы, с трудом поддающиеся измерению аспекты деятельности, как уровень удовлетворенности потребителей, например.

Оценка результативности деятельности является одним из механизмов управления. В основе этой позиции лежит простая идея: если деятельность организации сложна и состоит из множества различных компонентов, то и оценка этой деятельности должна быть сложной и многосторонней [6, p. 248] – в виде системы показателей, основной принцип которой: управлять можно только тем, что можно измерить. Иначе говоря, цели оценки можно достигнуть только в том случае, если существуют поддающиеся числовому измерению показатели, сигнализирующие управленцам учреждений о результативности деятельности за счет бюджетных средств.

Учитывая «значительное сокращение объемов государственного финансирования с увеличением спроса общества за качество услуг» [12], «государственные показатели эффективности должны быть четко определены и о ста-ваться стабильными в течение долгого времени» [8]. Также расчет индикаторов должен являться транспарентным и исключать возможность их использования в целях заинтересованных групп, которые отличны от научно-технической деятельности вузов [3; 10].

Система показателей должна определять и ясно демонстрировать последовательность гипотез и концепцию причинно-следственной связи между показателями, измеряющими результаты деятельности, и теми внутренними движущими силами, которые привели к этим результатам. Каждый показатель, включенный в систему, должен представлять собой звено той цепи причинно-следственных зависимостей, которая связывает стратегию конкретного учреждения и стратегию бюджетной политики государства. Из этого следует, что показатели, включенные в систему, должны характеризовать как достигнутые результаты, так и обусловившие их основные факторы. Большую сложность представляет задача определения причинно-следственных связей и согласования показателей выбранных аспектов деятельности между собой. Образовательные организации – это особый тип организаций, эффективность деятельности которых не может быть оценена такими же показателями, как деятельность частного сектора. Поэтому очень важно сформировать систему показателей так, чтобы выраженные с их помощью краткосрочные цели не вступали в противоречие с долгосрочными, а индивидуальные цели – с обще- ственными. Показатели, отобранные для оценки состояния в различных аспектах деятельности, должны не только отражать прогресс в конкретной области, но и обеспечивать реализацию общей миссии и комплексной стратегии бюджетной политики. Наиболее значимые показатели деятельности могут существенно способствовать идентификации финансовых результатов, а также результатов различных общественных программ в оценке управления ресурсами, совершенствовании качества принимаемых решений (учитывая различные возможности распределения ресурсов и предоставления общественных услуг). Показатели могут оценивать качество менеджмента, финансов, услуг или инвестиционных программ, а также использоваться в качестве стимула для повышения качества менеджмента университетов. Также оценка качества деятельности администрации университетов может использоваться для отчетности перед всем сообществом, интересы которого она представляет.

Системная оценка результативности может иметь не только положительные, но и негативные эффекты. Существует вероятность, что в долгосрочном периоде искажающие эффекты вытеснят положительный результат. Они соответствуют трем причинам появления искажающих эффектов, которые могут возникать при оценке результативности [1, с. 48]:

• •    оценка результативности несправедлива;

• •    оценка результативности некачественна;

• •    оценка результативности нединамична.

Если оценка результативности деятельности искажается, возникает вопрос: можно ли спроектировать оценку так, чтобы побочные эффекты не проявлялись чрезмерно, и если можно, то каким образом это сделать?

Показатели, отобранные для оценки состояния в различных аспектах деятельности, должны не только отражать прогресс в конкретной области, но и обеспечивать реализацию общей миссии и комплексной стратегии бюджетной политики. Лучше всего такие показатели выбирать по результатам обсуждения разными слоями населения.

При оценке результативности деятельности образовательных организаций следует, во-первых, рассматривать соответствие полученного результата поставленной социально-экономической цели, а также степень этого соответствия; во-вторых, как достижение поставленной цели связано с уровнем организации процесса деятельности; и в-третьих, как достижение поставленной цели связано с определенными объемами использования ресурсов, которые желательно оптимизировать. Таким образом, систему показателей результативности деятельности университетов можно разбить на три группы: показатели достижения социальных результатов; показатели достижения прямых результатов деятельности и показатели результативности использования ресурсов, обобщенных интегральной оценкой на основе полученных данных.

В международной практике в качестве основы для группировки показателей, отражающих результативность деятельности университетов, используется классификация ОЭСР [14]. Она представляет собой систематизацию и обобщение опыта финансирования вузов с учетом их текущей результативности. В выборку вошли Скандинавские страны (Дания, Норвегия, Швеция), Италия, Великобритания, Польша, Новая Зеландия, Австралия и Гонконг. Эта классификация дополнена рекомендациями Европейской комиссии [11] и разработками ИСИЭЗ по оценке качества научно-исследовательской и инновационной деятельности университетов [2, с. 50].

В практике финансирования европейских вузов с учетом результативности наибольшее распространение получила группа «показателей, которые направлены на измерение качества исследовательской деятельности университетов и учитывают их ресурсную обеспеченность, специфику операционных процессов, организационную структуру, масштаб, академические результаты и продуктивность исследований и разработок, внешние положительные эффекты» [2, с. 52].

Результативность мировых университетов оценивается на основании результатов комбинации статистического анализа деятельности учебных заведений, аудированных данных (включая информацию по индексу цитирования из базы данных Scopus, крупнейшей в мире библиометрической базы данных научных публикаций), а также данных глобального экспертного опроса представителей международного академического сообщества и работодателей, которые высказывают свои мнения об университетах. Ниже представлены некоторые количественные и качественные показатели, по которым проводится международная оценка деятельности университетов.

Таблица 1

Международные показатели рейтингования университетов (QS World University Rankings)

Показатель	Вес показателя, %
Индекс академической репутации (опрос)	40
Индекс репутации среди работодателей (опрос)	10
Соотношение профессорско-преподавательского состава по отношению к численности обучающихся	20
Индекс цитирования научных статей преподавательского состава по отношению к численности преподавательского состава (база данных Scopus)	20
Доля иностранных преподавателей по отношению к численности преподавательского состава (по эквиваленту полной ставки)	5
Доля иностранных студентов по отношению к численности обучающихся (программы полного цикла обучения)	5

В опросе представителей международного академического сообщества (QS Global Academic Survey) принимают участие профессора и руководители университетов со средним стажем в науке 19,6 лет. Среди них ведущие ученые и ректоры более 500 университетов. Респондент может назвать до 30 университетов, не называя вуза, в котором он работает. Опрос проводится в пяти предметных областях: естественные науки, социальные науки, гуманитарные науки и искусство, науки о жизни, инженерные науки и технологии. В опросе представителей работодателей (QS Global Employer

Survey) принимают участие несколько тысяч компаний из более чем 90 стран мира. Описание методологии подбора экспертов, полная разбивка респондентов по странам, занимаемым позициям и индустриям представлена на сайте проекта по результатам очередного сравнительного исследования. Составители рейтинга подчеркивают, что волатильность ТОП-100 университетов в QS World University Rankings заметно ниже, чем в большинстве других подобных рейтингов, что отражает зрелость и надежно сть используемой методологии. QS является членом Observatory on Academic Ranking and Excellence (IREG) – регулирующего органа для организаций, составляющих рейтинги высших учебных заведений. Авторы проекта указывают, что исследовательская команда QS работает максимально объективно, все данные и методология рейтинга до ступны для внешнего аудита. Но эта объективность может быть подвергнута сомнению, по скольку, во-первых, результаты опросов невозможно проверить, а во-вторых, рейтинги университетов на разных сайтах разные.

Поэтому для обеспечения достоверности и прозрачности, по нашему мнению, рейтинг университетов, в том числе и российских национальных, следует выстраивать исходя из фактических отчетных данных. Поскольку все национальные университеты являются государственными учреждениями и получают бюджетные средства в виде субсидий, по стольку они должны подчиняться правилам бюджетного процесса в России. Для обеспечения прозрачности и до ступно сти информации об исполнении бюджетов и о расходовании бюджетных средств, в соответствии с Федеральным законом от 8 мая 2010 г. № 83-ФЗ «О внесении изменений в отдельные законодательные акты Российской Федерации в связи с совершенствованием правового положения государственных (муниципальных) учреждений», все государственные учреждения должны размещать свою отчетно сть на официальном сайте. Университеты отно сятся к образовательным организациям и являются не только государственными учреждениями, но и некоммерческими организациями. А все некоммерческие организации (в том числе бюджетные и автономные учреждения, каковыми являются университеты), в соответствии с ч. 3.5 ст. 32 Федерального закона от 12 января 1996 г. № 7-ФЗ «О некоммерческих организациях» и ч. 14 ст. 2 Федерального закона от 3 ноября 2006 г. № 174-ФЗ «Об автономных учреждениях», обязаны предоставлять информацию о результатах своей деятельности путем размещения отчетных данных в сети Интернет на официальном сайте Порядок предоставления информации государственными (муниципальными) учреждениями утвержден приказом Минфина России от 21 июля 2011 г. № 86н «Об утверждении порядка предоставления информации государственным (муниципальным) учреждением, ее размещения на официальном сайте в сети Интернет и ведения указанного сайта».

В соответствии с требованиями вышеперечисленных нормативноправовых актов, отчетность государственных учреждений должна была размещаться на сайте начиная с отчетности за 2011 год, поскольку «с 1 января 2012 года начал свою работу официальный сайт Российской

Федерации в информационно-телекоммуникационной сети “Интернет” для размещения информации о государственных (муниципальных) учреждениях (» [4]. Но фактически впервые годовые отчеты государственных и муниципальных учреждений появились в массовом порядке на этом сайте в 2014 г., с годовыми отчетами за 2013 г.

Для достоверной оценки результативности (эффективности) деятельности университетов и выстраивания рейтинга университетов целесообразно исходить из показателей годовой отчетности, размещаемых на официальном сайте государства (Российской Федерации) , и результатов мониторинга, размещенных на официальном сайте Министерства образования и науки РФ

Экспертным путем по результатам мониторинга национальных университетов за 2013 год выбраны следующие 11 ключевых показателей, наиболее наглядно отражающие результаты деятельности национальных университетов: 1) общая численность студентов, обучающихся по программам бакалавриата, специалитета, магистратуры; 2) число предприятий, с которыми заключены договоры на подготовку специалистов; 3) число предприятий, являющихся базами практики, с которыми оформлены договорные отношения; 4) общая численность работников образовательного учреждения (без внешних совместителей и работающих по договорам ГПХ); 5) общая численность ППС (без внешних совместителей и работающих по договорам ГПХ); 6) сумма финансового обеспечения из бюджета; 7) доходы от оказания платных услуг; 8) доходы (общая сумма доходов по всем видам деятельности); 9) расходы (общая сумма по всем видам деятельности); 10) чистый операционный результат; 11) налог на прибыль.

По перечисленным выше показателям проанализировано 20 национальных университетов, функционирующих в Российской Федерации (табл. 2).

Таблица 2

Перечень и аббревиатура национальных университетов РФ

№	Наименование университета	Аббревиатура
1	2	3
1.	Белгородский государственный национальный исследовательский университет	БГНИУ
2.	Российский национальный исследовательский медицинский университет имени Н.И. Пирогова	РНИУМУ
3.	Национальный исследовательский университет «МЭИ»	МЭИ
4.	Московский авиационный институт (национальный исследовательский университет)	МАИ
5.	Казанский национальный исследовательский технический университет им. А.Н. Туполева – «КАИ»	КАИ
6.	Казанский национальный исследовательский технологический университет	КНИТУ

1	2	3
7.	Национальный исследовательский университет «Высшая школа экономики»	ВШЭ
8.	Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)	СГАУ
9.	Национальный минерально-сырьевой университет «Горный»	Горный
10.	Южно-Уральский государственный университет (национальный исследовательский университет)	ЮУГУ
11.	Новосибирский национальный исследовательский государственный университет	НГУ
12.	Национальный исследовательский технологический университет «МИСиС»	МИСИС
13.	Национальный государственный Университет физической культуры, спорта и здоровья имени П.Ф. Лесгафта, Санкт-Петербург	НГУ СПБ
14.	Национальный исследовательский ядерный университет «МИФИ»	МИФИ
15.	Национальный исследовательский университет «МИЭТ»	МИЭТ
16.	Пермский национальный исследовательский политехнический университет	ПНИПУ
17.	Пермский государственный национальный исследовательский университет	ПГНИУ
18.	Национальный исследовательский Томский государственный университет	ТГУ
19.	Национальный исследовательский Томский политехнический университет	ТПУ
20.	Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики	ИТМО

Несмотря на обязанность размещения данных годовой отчетности на официальном сайте , пять национальных университетов не сделали этого за 2013 год (на момент завершения настоящей статьи): КАИ, КНИТУ, ВШЭ, ТГУ и ИТМО, поэтому анализ по этим университетам не проводился. Еще четыре национальных университета: ЮУГУ, НГУ, МИСИС, НГУ СПБ – не разместили данные по сравнению плановых и фактических показателей, поэтому не представлялось возможным определить их объем финансового обеспечения, полученного из бюджета. Таким образом, полные данные по отобранным ключевым показателям за 2013 год возможно было проанализировать лишь по 11 из 20 национальных университетам (табл. 3).

Проанализируем данные табл. 3. Если рейтинговать национальные университеты (разместившие на сайте полный объем данных по ключевым показателям) по общей численности студентов, обучающихся по программам бакалавриата, специалитета, магистратуры, то самым крупным является Белгородский государственный национальный исследовательский университет (БГНИУ) – 20133 студента, затем ПНИПУ – 18977 студентов и ТПУ – 18691 студент.

>>	со		СО	4	ОО	со ос	4	3	о	ос
>> с	со		со	§	со	о	СО	О	со	я	4
с S с	со	О			§		41	4	«о со	5	5
S S	со со со					1	СО	СО	о	2’	S
S е i	со		со		со	ос со «о		со	со со	со
’5 а £	со		§	4		ОС				о	О
о				41			со		со со	со	О
S	со						ОС	со	со	со со со	со со
§ S	О				4	со	О	со «о	4		4
	со	О			4	§	со		я	со	О
к и			со			со	О	я	со	о	3
Ч s И =		5	S	н я		о	и	и	о	и	и
о С	® ч S оз Н S й Я    Н о © о Ч й н в ° о 2 й & § и G W ООП ЯВи S g 5 Е § 3 £ В g О о ю а	& ч Е § § S о J >к & я о § S ё в г * & § в о & « tf m &	я и 8 И " S я ’§ а & s ° а я S & я g s 1 § о g о я н й ^ g ёг ю о я	S3 И    Он я   о С о 4     1 1 U    3 ° о 2 2 b   о В ° а ч и 5 и о ч ч я и о Я а Й 0 ё я о я § в а о ? s£	6 и 3 С Н о „ К я S' Л н й £ g о ° Е g Я о с | § в в * § 1 Я в S я я О ш н	СП я и о о о и с м О S3 Я и 2 * О ю	§ я Я В я я со о о 1 ^	1 о Ч	о Си	со' >я я В о Я S3 О я с ’Е и Я F	1 я & S3 Я О Я S3 X

Источники: ,

Учитывая международный подход к рейтингованию университетов, важно проанализировать процентное соотношение общей численности профессорско-преподавательского состава по отношению к общей численности обучающихся (рис. 1).

Рис. 1. Процентное отношение численности ППС к численности обучающихся

Данные рис. 1 показывают следующие наибольшие процентные соотношения численности ППС по отношению к численности обучающихся: в РНИ-УМУ – 13%, МИФИ и МЭИ – 10%.

Представляет интерес и анализ отношения размера субсидий, полученных из бюджета к величине доходов от оказания платных услуг (рис. 2).

Рис. 2. Отношение величины бюджетных субсидий к доходам от оказания платных услуг

Данные диаграммы (рис. 1) показывают, что наиболее «зависимыми» от бюджетных субсидий являются РНИУМУ (соотношение 2,48 определяет то, что величина бюджетных субсидий более чем в два раза превышает сумму полученных университетом доходов от собственной деятельности), ТПУ (1,81) и СГАУ (1,69), а самым «независимым» является МИЭТ, собственные доходы которого в 2,45 раза превышают размер полученных субсидий.

Разнобой в величине чистого операционного результата (от глубокого минуса в большой плюс) (табл. 3) отражает отсутствие методологических обоснований его расчета. Чисто математически, исходя из положений российских нормативно-правовых актов, величина чистого операционного результата (ЧОП) по бюджетной деятельности априори должна быть отрицательной, потому что определяется как разница между доходами и расходами [5], а бюджетные субсидии в сумму доходов не включаются (НК РФ, cт. 251, п. 1, подп. 14) при учете расчета ЧОП расходов за счет этих субсидий. То есть в расчете чистого операционного результата по бюджетной деятельности доходы равны нулю, а расходы равны сумме затрат на содержание персонала, коммунальные услуги и др. Кроме того, непонятно, почему при отрицательной величине операционного результата, появляется налог на прибыль.

Одиннадцать анализируемых университетов уплатили за 2013 год в бюджет налог на прибыль свыше 375 млн руб. в совокупности. Для того чтобы определить, какова была величина налогооблагаемой прибыли, с которой уплачено более 375 млн, воспользуемся положениями НК РФ. Налог на прибыль определяется как соответствующая налоговой ставке процентная доля налоговой базы (cт. 286, п. 1). В соответствии с п.1 ст. 284 НК РФ, налоговая ставка по налогу на прибыль устанавливается в размере 20%. Следовательно, 375 млн руб. = 0,2 * налогооблагаемая прибыль. Обратным счетом можно определить ориентировочный ¹ размер прибыли, полученной университетами:

Налогооблагаемая прибыль = 375 млн / 0,2 = 1 875 млн руб.

То есть 11 университетов (табл. 3) ориентировочно получили в совокупности за 2013 год почти 2 млрд руб. прибыли. Напрашивается вопрос о статусе университетов в качестве некоммерческих организаций. Если они не являются коммерческими организациями и не имеют основной целью своей деятельности извлечение прибыли, то почему прибыль таких внушительных размеров?

Таким образом, используя фактические данные университетов, размещенные в открытом доступе, можно проводить анализ по разным показателям в разных соотношениях и смыслах.

Необходимо отметить, что, в основном, при официальной оценке результатов деятельности национальных университетов в качестве государственных учреждений, не используются некоторые параметры международного рейтингования университетов. Например, такие, как доля иностранных преподавателей по отношению к численности преподавательского состава (по эквиваленту полной ставки); соотношение профессорско-преподавательского состава по отношению к численности обучающихся. Возможно, следовало бы учесть международный опыт. Хотя следует отметить, что использование таких международных показателей, как индекс академической репутации (опрос) и индекс репутации среди работодателей (опрос) является весьма проблематичным, поскольку достоверность проведения опросов невозможно доказать официально и документально.

Оценка результативности деятельности национальных университетов должна давать конкретные результаты, которые могли бы способствовать:

• •    повышению ответственности, прозрачности и подотчетности в работе;

• •    решению наиболее значимых вопросов и проблем, которые соответствуют интересам общества;

• •    внедрению в их деятельность современных методов работы;

• •    более эффективному использованию государственных и привлеченных средств.

Исходя из результатов анализа существующих международных и российских показателей результативности авторы предлагают три направления оценки деятельности национальных университетов, отвечающие на самые значимые для результативности вопросы:

Достигнуты ли поставленные цели деятельности?

Какие процессы деятельности требуют оптимизации (на каких стоит сосредоточиться, от каких отказаться)?

Оптимально ли используются ресурсы?

Из-за отсутствия информации о применении системы показателей невозможно понять, как эта система может и должна использоваться в оценке результативности деятельности университетов и других контекстах. С этой целью необходимо осуществлять непрерывный мониторинг и контроль достижения показателей в процессе деятельности университетов. Таким образом, система показателей, служащая мерой измерения результативности деятельности университетов, должна быть увязана с государственной бюджетной политикой и приоритетами социального развития.

Назрела необходимость внесения институциональных изменений в процесс образовательной деятельности университетов путем пересмотра показателей работы профессорско-преподавательского состава на основе оптимизации соотношения учебной и научно-исследовательской нагрузки. Кроме того, для создания реальных стимулов и возможностей эффективного научного и преподавательского труда размер заработной платы ученых и преподавателей должен приблизиться к международным стандартам.