Об оценивании деятельности университетов и показателях эффективности программ развития

опросы эффективности и результативности -^ деятельности университетов в последнее время находятся в центре внимания исследователей [3]. В связи с внедрением в практику программных методов развития, расширением международных связей, увеличением мобильности студентов и сотрудников российских университетов возникла необходимость сравнения деятельности различных вузов, создания систем по казателей оценки эффективности образовательного и исследовательского процессов, в том числе в форме различных рейтингов.

При создании рейтингов университетов фактически стоит задача описания эволюции состояния академической организации на основе измерения наиболее существенных ее внутренних параметров и результатов воздействия на общество создаваемого ею социально-интеллектуаль-

Стратегический менеджмент в вузе ^^^^^ ного поля. Однако исследователи сталкиваются здесь с проблемами, поскольку приходится оперировать трудно формализуемыми, нематериальными понятиями, такими как знания, отношения, доверие и т. д. Действительно, в подобных системах, в отличие от природных, оказывается сложно выделить как базовые параметры, описывающие состояние системы, так и законы, позволяющие проводить такое описание. Эта сложность выделения базисных параметров состояния и, как следствие, параметров управления университетом приводит к неизбежному разнообразию способов оценки деятельности университетов.

Понятно, что деятельность университета следует оценивать по его влиянию и вкладу в развитие общества, науки, образования и культуры. Так, для федеральных университетов определены следующие критерии оценки эффективности реализации программ развития: «...конкурентоспособным на международном рынке уровень образовательного процесса, результативность вклада в кадровое обеспечение программ социальноэкономического развития, конкурентоспособный на международном рынке уровень исследовательских и технологических работ, результативность вклада исследовательских и технологических работ в обеспечение ('оциально-эк.ономическ.ого развития территорий и регионов федерального округа, экономическая устойчивость и потенциал развития организации, международное и национальное признание» [1]. Однако неясно, как эти критерии можно оценить количественно. В этом и заключается сложность оценки деятельности вуза, в том числе и разработки систем рейтингования.

В теоретическом плане интересны две группы вопросов:

• 1.    Можно ли установить все причинно-следственные связи в системе управления творческой средой? Какие измеримые величины могут играть роль показателей состояния университета и его развития? Образно говоря, что является аналогом давления, температуры, скорости движения, напряженности поля вуза?

• 2.    В каком соотношении находятся цели существования вуза и показатели результативности его деятельности? В какой степени результаты измерения, оценивания изменяют состояние самой исследуемой системы? Не приводит ли оценивание по количественным показателям к трансформации целей и задач?

^-Рассмотрим некоторые особенности формирования показателей, учитываемых тремя миро выми рейтингами университетов — QS World University Rankings (далее — QS, [7, 8]), Times Higher Education’s World University Rankings (Times, [10]), Academic Ranking of World Universities (ARWU, [5]), и оценок эффективности деятельности российских национальных исследовательских (НИУ) и федеральных (ФУ) университетов [2]. Подобный выбор показателей основывается на широкой известности данных международных рейтингов и том факте, что показатели эффективности выполнения программ НИУ и ФУ содержательно наиболее близки к международным рейтингам среди прочих российских систем оценки деятельности вузов.

У российских НИУ и ФУ анализируются отчетные показатели (21 и 19 соответственно) эффективности их деятельности, каждый с одинаковым весовым множителем (4,76 % и 5,26 % соответственно), а показатели международных рейтингов объединены в укрупненные группы в соответствии со спецификой каждого показателя и его весовым коэффициентом (в процентах) в общем рейтинге. При этом показатели интернационализации отнесены к группе «образовательные», а финансовые и иные, не входящие по смыслу в группы «образование» и «исследования и разработки», — к отдельной группе «финансовые и иные». Удельными считаются показатели, отнесенные к одному человеку или одной статье, относительными — рассчитываемые на основе отношений части и целого, количественными — измеряемые в абсолютных единицах. Динамическими, по авторской версии, считаются такие показатели, которые рассчитываются по изменениям счетных величин за определенные промежутки времени; квазидинамичес-кими — показатели, которые учитывают суммарные значения рассматриваемого отдельного показателя за несколько лет, в том числе и с разными весами в разные годы, как это делается в рейтинге ARWU; текущими считаются показатели, значения которых берутся в рассматриваемый (текущий) момент времени.

Результаты описанного разбиения отражены в табл. 1. В чем же сходство и различия в подходах к формированию рейтингов и оценке эффективности выполнении программ НИУ и ФУ?

Сразу можно выделить рейтинг ARWU, как чисто исследовательский. В других рейтингах доля вклада образовательных показателей составляет от четверти до половины в общем объеме рейтинга (принимаемом за 100 %), а исследовательская и инновационная деятельность — от трети до двух третей. При этом в показателях эф-

Таблица 1

Вклады различных групп показателей в итоговые рейтинги различных систем, %

№ п/п Наименование группы показателей             НИУ ФУ ARWU QS Times ГРУППИРОВАНИЕ ПО НАПРАВЛЕНИЯМ ДЕЯТЕЛЬНОСТИ 1 Образовательные 29 47 0 40 24,5 2 Исследования и разработки                 33 32 100 60 64,75 3 Финансовые и иные 38 21 0 0 10,75 ГРУППИРОВАНИЕ ПО ТИПАМ ПОКАЗАТЕЛЕЙ 4 Удельные 10 0 10 40 27,25 5 Относительные 57 32 0 10 5,75 6 Количественные 33 68 90 0 32,50 7 Экспертные 0 0 0 50 34,50 ГРУППИРОВАНИЕ ПО ВРЕМЕННЫМ ПОКАЗАТЕЛЯМ 8 Динамические 0 0 0 0 0 9 Квазидинамические 0 0 30 20 32,5 10 Текущие 100 100 70 80 67,5 фективности российских университетов, точнее эффективности выполнения программ их развития, существенную роль играют финансовые показатели, которые в мировых рейтингах либо отсутствуют вовсе, либо играют малую роль, поскольку предполагается, что деньги — это средство, а не результат деятельности. Действительно, в мире не наблюдается, в отличие от России, значимых попыток сделать университеты непосредственными экономическими игроками и генераторами производственных предприятий, учредителями которых выступают сами университеты.

Существенную роль в расчетах рейтингов НИУ, ФУ и ARWU играют количественные и относительные показатели, в то время как в рейтингах QS и Times преобладают удельные величины и экспертные оценки. Последнее отражает тот факт, что западные рейтинговые агентства осознают сложность чисто количественной оценки деятельности университетов посредством использования ограниченного набора параметров с трудно определяемыми весами. Правда, косвенный учет количественных показателей содержится в массовых экспертных оценках, поскольку чем больше объем научных исследований и разнообразие образовательных программ, тем большее число экспертов знают об организации. Наконец, ни один из рейтингов не оперирует чисто динамическими факторами, а российские показатели — и квазидинамическими.

Интересен вопрос: насколько скоррелированы используемые в рейтингах показатели между собой? Для его рассмотрения воспользуемся весьма подробным представлением результатов расчетов, практикуемым рейтингом QS. Корреляции различных показателей этого рейтинга (сами показатели оцениваются в баллах от 0 до 100) приведены на рис. 1 и в табл. 2. При коэффициенте корреляции, близком к единице, говорят о взаимозависимости, при близком к нулю — об отсутствии какой-либо взаимозависимости (скор-релированности) величин. Анализируя данные табл. 2, нетрудно увидеть устойчивость значений коэффициентов корреляции различных пар показателей рейтингов в 2010 и 2011 гг. При этом заметную корреляцию демонстрируют пары Академическая репутация — Мнение работодателей, Интернационализация по сотрудникам — Интернационализация по студентам и относительно слабую корреляцию — пары Академическая репутация — Цитирования и Мнение работодателей — Интернационализация по студентам. Остальные пары практически не обнаруживают корреляции.

Таким образом, можно говорить о том, что формально рассмотренные показатели могут быть использованы как базисные, будучи относительно независимыми. При этом показатели первой и последней строки табл. 2 могут быть объединены. В целом вопрос о том, должны ли используемые в рейтингах показатели быть

0            20           40           60           80           100

Академическая репутация, баллы

Рис. 1. Корреляция баллов показателей «Мнение работодателей» (треугольники) и «Соотношение преподаватель/студенты» (полые кружочки) с показателем «Академическая репутация» в рейтинге QS 2010 г.

Таблица 2

	Сравниваемые показатели	2010	2011
Академическая репутация —	Мнение работодателей	0,46	0,43
Академическая репутация —	Преподаватель/студенты	0,04	0,03
Академическая репутация —	Цитирования	0,15	0,13
Академическая репутация —	Интернационализация по сотрудникам	0,03	0,03
Академическая репутация —	Интернационализация по студентам	0,06	0,05
Мнение работодателей    —	Преподаватель/студенты	0,06	0,05
Мнение работодателей	Цитирования	0,03	0,02
Мнение работодателей	Интернационализация по сотрудникам	0,08	0,07
Мнение работодателей	Интернационализация по студентам	0,14	0,13
Преподаватель/студенты —	Цитирования	0,01	0,01
Преподаватель/студенты —	Интернационализация по сотрудникам	0,00	0,00
Преподаватель/студенты —	Интернационализация по студентам	0,02	0,02
Цитирования           —	Интернационализация по сотрудникам	0,00	0,00
Цитирования           —	Интернационализация по студентам	0,00	0,00
Интернационализация    — по сотрудникам	Интернационализация по студентам	0,42	0,44

Коэффициенты корреляции показателей рейтингов QS 2010 и 2011 гг.

скоррелированными, является дискуссионным. Отметим, например, что показатель соотношения Преподаватель/студенты не связан ни с одним из показателей табл. 2 и вообще не имеет прямого отношения к качеству подготовки.

Его введение, очевидно, основано на предположении, что большая индивидуализация в подготовке приводит к более высокому качеству образования. Но эта гипотеза еще требует подтверждения.

Интересной представляется и выборка из рейтинга QS (табл. 3), которая отражает существенные различия в значениях показателей ряда ведущих университетов мира. Нетрудно увидеть, что высокие места в общем зачете обеспечиваются прежде всего репутационными показателями и цитированиями, имеющими изначально большие весовые коэффициенты при подсчете общего рейтинга.

Отмечается существенная неоднородность в распределении университетов по баллам общего зачета и по отельным показателям. Например, Токийский университет не входит по показателям интернационализации в первые 300 мировых университетов, а университеты первой мировой пятерки, такие как Гарвард и МТИ, не попадают в первую сотню по показателю интернационализации сотрудников и т. д.

Важным также представляется вопрос о соотношении размеров университета и его эффективности, узнаваемости, стоимости бренда. Это актуально и для России, поскольку политика укрупнения считается позитивной, и, часто со ссылками на зарубежные примеры, в стране создаются гигантские университетские комплексы. Рейтинг QS содержит 4 уровня градации университетов по размерам в зависимости от числа обучающихся: малые (S), с числом обучающихся до 5 тыс. человек; средние (М), с числом обучающихся от 5 до 15 тыс. человек; большие (L), с числом обучающихся от 15 до 30 тыс. человек; очень большие (XL), с числом обучающихся свыше 30 тыс. человек. На рис. 2 показано распределение университетов по вышеуказанным группам размеров в зависимости от попадания в первые 25, 100 и 500 университетов рейтинга 2010 г. Мы видим, что среди ведущих вузов преобладают большие, но не сверхбольшие университеты. Более того, в число первых 25 университетов мира попадает только один сверхбольшой университет. По-видимому, концентрация талантов более важна для эффективности университета, чем его размер, а ресурсов для создания высокой концентрации талантов в сверхкрупных университетах недостаточно даже на страновом уровне.

|^| 25 первых

■ 100 первых

■ 500 первых

Рис. 2. Доли университетов 4 типов размеров в списках первых 25, 100 и 500 университетов рейтинга QS 2010 г.

Места университетов в рейтинге QS 2011 г.

Таблица 3

Показатель	Университет
	Harvard University	М1Т	ETH Zurich	University of Edinburg	University of Tokyo
Место в общем рейтинге	2-е	3-е	18-е	20-е	25-е
Академическая репутация	1-е	6-е	25-е	28-е	7-е
Мнение работодателей	1-е	4-е	40-е	15-е	15-е
Преподаватель/студенты	47-е	17-е	216-е	124-е	58-е
Цитирования	5-е	13-е	17-е	110-е	91-е
Интернационализация по сотрудникам	136-е	212-е	5-е	89-е	301-е+
Интернационализация по студентам	88-е	32-е	21-е	59-е	301-е+

Существует еще одна проблема, связанная с использованием количественных показателей при оценке эффективности университета как организации, — в определенных ситуациях показатели сами становятся целями. В результате происходит подмена общей стратегии набором частных стратегий, ориентированных на выполнение конкретных показателей любой ценой, что не позволяет воспринимать университет как единое целое. В социологии эта проблема сформулирована Ч. Гудхартом. Приведем ее в модификации М. Стратерн, более удобной для данного рассмотрения: «When a measure becomes a target, it ceases to be a good measure» [9].

Действительно, на практике складывается двоякое отношение к показателям:

— «идеалистическое», в соответствии с которым показатели — это наборы объективных результатов измерений состояния вуза, а их достижение — лишь следствие реализации общей программы его развития;

— «бюрократическое» — в этом случае показатели сами по себе являются целями и при выполнении программ развития прежде всего нужно стремиться именно к их достижению.

Конечно, способы оценки эффективности деятельности университетов, использования библиометрии, общественной значимости методик рейтингования будут всегда являться предметом обсуждений и дискуссий. Регулярно появляющиеся критические статьи по этим вопросам [см., например, 9] приводят к корректировке существующих подходов. Нельзя не согласиться и с И. Фруминым в том, что «вузам нужны стратегии развития вместо нелепых индикаторов» [4].

Поиски новых критериев и разработки новых систем показателей, оценивающих деятельность университетов, очевидно, будут продолжаться. Одним из положительных следствий рейтингования и оценки университетов потенциально является возможность передачи опыта путем сравнения различных университетских практик, разработки универсальных подходов повышения эффективности деятельности университетов на основе выявления и распространения передовых образовательных, исследовательских и управленческих практик, специфических для академической среды.

По мнению автора, при конструировании российских систем показателей и оценки деятельности университетов желательно провести изменения в следующих направлениях:

• 1)    ввести несколько динамических показателей для учета скорости изменений;

• 2)    начать использовать экспертные оценки, что важно и для развития института экспертизы в целом;

• 3)    снизить долю показателей, указываемых в абсолютных значениях, и поднять роль удельных показателей, отражающих качество и производительность (косвенно это имеет отношение и к размерам университетов);

• 4)    снизить число или совсем отказаться от показателей, которые не представляют собой оценку результатов основной деятельности университетов или являются условиями их деятельности, но не целями (прежде всего, речь идет о финансовых показателях);

• 5)    выйти из управленческой ситуации, когда примат отчетных и рейтинговых показателей приводит к деформированию общих целей развития университетов.

• 1.    Концепция создания и государственной поддержки развития федеральных университетов [Электронный ресурс]. URL: http://mon.gov.ru/pro/pnpo/fed/ 09.09.22-fu. konc.pdf

• 2.    О мероприятиях по поддержке ведущих российских вузов в рамках ПНПО. НФПК [Электронный ресурс]. URL: http://univer.ntf.ru/p13aa1.html

• 3.    Свиридова Н. В., Сазонова И. В. Сравнительный анализ эффективности и результативности деятельности вузов // Университетское управление: практика и анализ. 2011. № 4. С. 83-86.

• 4.    Фрумин И. Д. Вузам нужны стратегии развития вместо нелепых индикаторов [Электронный ресурс]. URL: http://www.strf'.ru/material.aspx?CatalogId-221&d_ no-40595

• 5.    Academic ranking of world universities 2011 [Электронный ресурс]. URL: http://www.arwu.org

• 6.    Hazelhorn E. The impact of global rankings on higher education research and the production of knowledge [Электронный ресурс]. URL: http://portal.unesco.org/ education/es/files/58014/12245971215Hazelkorn.pdf/ Hazelkorn.pdf

• 7.    QS world university rankings 2010 [Электронный ресурс]. URL: http://www.topuniversities.com/university-rankings/world-university-rankings/2010

• 8.    QS world university rankings 2011 [Электронный ресурс]. URL: http://www.topuniversities.com/university-rankings/world-university-rankings/2011

• 9.    Strathern M. Improving ratings: audit in the British university system // European Review. 1997. № 5. P. 305321.

• 10.    Times higher education’s 2011-2012 world university rankings [Электронный ресурс]. URL: www. timeshighereducation.co.uk/