О системе рейтингования вузов Санкт-Петербурга по научному потенциалу

в последние годы в России ощущается заметный интерес к оценке деятельности вузов. Так, в 2001 г. Минобразования России инициировало разработку методики рейтинга университетов [4], в основе которой лежат более 45 показателей по таким критериям, как интеллектуальный потенциал вуза, активность, профессорско-преподавательский состав, студенты и аспиранты, подготовка научных кадров, объем научных исследований, издательская деятельность и т.п. в настоящее время участие в рейтинге обязательно для всех аккредитованных высших учебных заведений и их филиалов. Основу рейтинга вузов 2002 г. по приказу Министерства образования РФ от 19.02.2003 г. № 593 составляют 19 локальных критериев, которые агрегируются в интегральные и глобальный критерии, и определяются по 41 значению исходных данных, характеризующих основные направления деятельности вузов. Эти критерии делятся на две большие группы: потенциал и активность (рис. 1).

Значения критериев суммируются по головному вузу и филиалам, а затем делятся на приведенный суммарный контингент студентов, в том числе студентов, обучающихся на контрактной основе. Методика расчетов рейтинга вузов, который носит преимущественно образовательный характер, дается в работе Ю.Ф. верещагина и в.П. Ерунова [1].

существует мнение [2, 6], что подобная система рейтингования – это высокобюрократизированная процедура, опирающаяся в значительной степени на мнение экспертов и представляющая тайну за семью замками. Действительно, когда воедино сводятся совершенно различные по своей сути показатели, то сложно понять, что означает окончательная оценка, и по каким позициям данный вуз имеет высокий, а по каким – малый рейтинг.

Отметим, что помимо правительственного рейтинга в России существуют еще две модели рейтингов вузов: рейтинг профессиональных ассоциаций и рейтинг сМИ [6]. Что касается рейтинга профессиональных ассоциаций, то его можно охарактеризовать как совместную деятельность группы заинтересованных сторон. сильной стороной этой модели является, безусловно, профессионализм, слабой – замкнутость и необъективность вследствие конфликта интересов. в этом

Общество

Интеллектуальный потенциал

ГЛОБАЛЬНЫЙ КРИТЕРИЙ

^Потенциал

Производство и апробация знаний и технология

Подготовка кадров

Социальнокультурная база

Материальная и информационная база

^ Активность^

1.Квалификация профессорско-преподавательского состава

• 2.    Перспективность профессорско-преподавательского состава

• 3.    Связь с академической наукой

• 1.    Обеспеченность учебно-лабораторной базой

• 2.    Обеспеченность инструментальной базой

• 3.    Обеспеченность компьютерной базой 4. Обеспеченность библиотечными

фондами

• 1.    Обеспеченность местами в общежитиях

• 2.    Обеспеченность общественным питанием

• 3.    Санаторнопрофилактическая база

• 4.    Спортивная база

• 1.    Подготовка специалистов

• 2.    Аспирантура

• 3.    Эффективность аспирантуры

• 4.    Подготовка кадров высшей квалификации

• 1.    Госзаказ на научные исследования

• 2.    Конкурентность прикладной науки

• 3.    Производство учебной литературы

• 4.    Конкурентность учебно

производственной деятельности

Рисунок 1. Система критериев, разработанная Министерством образования и науки для рейтингования вузов России поле деятельности зарекомендовали себя Ассоциация технических университетов, Ассоциация инженерного образования и др. Рейтинг вузов, составляемый сМИ, относится, прежде всего, к журналу «Карьера», который занимается этим уже несколько лет.

в данной работе рассматривается система рейтингования вузов санкт-Петербурга по их научному потенциалу, которая предназначена, в основном, для вузовской общественности, администрации вузов и руководящих органов, принимающих управленческие решения, с целью объективного сравнения вузов друг с другом. Главная задача разработки системы рейтингования вузов города состояла в построении максимально прозрачной и доступной для потребителя схемы ранжировании вузов. важной особенностью данной системы является ее многокритериальность, понимаемая как использование в качестве показателей комплекса характеристик, с разных сторон описывающих научный потенциал вузов. выделено три основных достаточно однородных блока (кластера): кадровый, финансовый и блок результативности научных разработок (рис. 2).

Безусловно, данный набор показателей нельзя считать исчерпывающим с точки зрения полной характеристики вузов по их научному потенциалу. Так, весьма важным представляется учет числа защищенных кандидатских и докторских диссертаций к числу профессоров, процент защиты аспирантов в срок и т.п. К сожалению, подобными данными мы не располагали. Очевидно, в дальнейшем состав показателей может быть пересмотрен и уточнен.

Terra Humana

Естественно, что набор показателей внутри каждого кластера должен быть независимым и неизбыточным, т.е. минимальным и не допускающим дублирования деятельности вузов. в качестве критерия дублирования был принят коэффициент корреляции между показателями, равный r = 0,90. выполненный корреляционный анализ показал, что дублирующие показатели отсутствуют. Так, максимальная корреляция отмечается между отношением числа студентов к численности

Кадровый блок

Блок результативности научных исследований

• 1.    Отношение численности ППС к общему количеству сотрудников ВУЗа.

• 2.    Отношение числа студентов к численности ППС.

• 3.    Отношение числа студентов к числу профессоров.

• 4.    Отношение числа профессоров к числу ППС.

• 5.    Отношение числа молодых преподавателей (до 39 лет) к числу ППС.

• 6.    Отношение числа «старых» преподавателей (более 60 лет) к числу ППС.

• 7.    Отношение штатного состава ППС к внештатному составу ППС.

• 1.    Отношение общего финансирования к числу ППС.

• 2.    Отношение бюджетного финансирования к числу ППС.

• 3.    Отношение других источников финансирования (городское * собственное) к числу ППС.

• 4.    Отношение хоздоговорного финансирования (иностранного, коммерческих и некоммерческих организаций) к числу ППС.

• 5.    Отношение финансирования за счет грантов России и иностранных источников к числу ППС.

• 1.    Отношение числа научных публикаций к числу ППС.

• 2.    Отношение числа учебников и учебных пособий к числу ППС.

• 3.    Отношение числа монографий к числу ППС.

• 4.    Отношение числа конференций, симпозиумов и т.п. к числу ППС.

• 5.    Отношение числа аспирантов к числу ППС.

Рисунок 2. Система критериев для рейтингования вузов Санкт-Петербурга по научному потенциалу.

ППс и отношением числа студентов к числу профессоров, которая составляет r = 0,83, а также между соотношением числа молодых и «старых преподавателей ( r = 0,81). Корреляция между остальными показателями не превышает r = 0,65.

все перечисленные выше показатели даются в нормированном виде, причем в большинстве случаев нормировочным коэффициентом служит численность ППс. Это обусловлено тем, что количество студентов в вузах, а, следовательно, и других показателей, связанных с учебным процессом, различается на порядки. Нормирование на ППс, а не на число студентов, на наш взгляд, более обоснованно по той причине, что первая величина является более консервативной и менее подверженной изменениям год от года. Кроме того, поскольку рассчитанные параметры научного потенциала имеют разную размерность, то непосредственное сравнение их между собой невозможно. Одним из возможных вариантов преодоления данного затруднения является, например, перевод показателей в баллы. в частности, весьма перспективной представляется получившая довольно широкое распространение (например, журнал «Карьера») формула вида

Zi= (Xi – Xmin) / 0,1(Xmax - Xmin), где Xmax – максимальное значение показателя, Xmin – минимальное значение показателя.

Из данной формулы видно, что минимальное значение показателя равно 0 баллов, а максимальное – 10 баллов. Таким образом, каждый показатель будет находиться в диапазоне 0 ≤ Z_i ≤ 10. Это позволяет осуществлять сравнение результирующих баллов после суммирования различных показателей друг с другом. Отметим, что приведенная выше формула справедлива в случае, когда лучшим считается показатель, имеющий максимальное значение.

Общество

Более тщательный анализ данной формулы показал, что при значительных отклонениях X _max и X _min от общей массы показателей большинство вузов будут иметь мало различающиеся между собой баллы, что заметно искажает итоговые результаты при суммировании показателей внутри блока (кластера). в связи с этим было решено отказаться от других формул статистической стандартизации, а также от введения весовых коэффициентов, широко используемых при построении рейтингов. Дело в том, что весовые коэффициенты обычно назначаются экспертным путем, и обоснованность их может подвергаться сомнению. Нами использовался непараметрический анализ, в соответствии с которым выборка вузов ранжировалась для каждого показателя. Лучшему вузу присваивался один балл, следующему за ним – 2 балла и т.д. в результате последний вуз имеет 38 баллов. После этого выполнялось осреднение баллов по каждому вузу для каждого из трех блоков научного потенциала и затем по всем показателям вместе.

Исходной информацией для показателей кадрового состава послужили данные за 2006 г. формы 3-НК для 39 государственных вузов, а для остальных показателей – специальные анкеты, имеющиеся в нашем распоряжении для 44 государственных вузов. совмещение их позволило сформировать новую выборку из 38 вузов, в которую вошло большинство крупнейших образовательных учреждений города. Из крупных вузов, к сожалению, выпали санкт-Петербургский государственный университет экономики и финансов и Балтийский государственный технический университет «военмех» им. Д.Ф. Устинова, для которых отсутствовали анкеты и имелись только данные формы 3-НК. Отметим, что по рейтингу кадрового состава санкт-Петербургский государственный университет экономики и финансов занимал 2 место.

в таблице 1 приводятся некоторые оценки квантильного анализа [3; 5; 7] показателей научного потенциала по отдельным блокам для 38 вузов в баллах. Как известно, медиана характеризует центр положения исходной совокупности показателей и делит ее на две равные части. Интерквартильное расстояние (Q = х_0,75 – х_0,25 ) представляет разность между верхним х_0,75 и нижним х_0,25 квартилями и характеризует степень рассеяния значений выборки относительно медианы. По существу, интерквартильное расстояние – аналог среднего квадратического отклонения. в случае нормального распределения исходных данных между ними отмечается функциональная связь: Q = 1,34 σ .

Прежде всего, можно отметить устойчивость оценок медианы, изменения которой от блока к блоку минимальны. сравнительно устойчивыми являются и оценки интерквартильного расстояния. Наибольшая изменчивость характерна

Terra Humana

Таблица 1

Характеристики квантильного анализа показателей научного потенциала 38 вузов Санкт-Петербурга по отдельным блокам в баллах

Квантиль	Кадровый блок	Финансовый блок	Блок результативности научных исследований	Средний по 17 показателям
X min	8,3	5,2	5,0	10,3
X max	34,0	29,2	33,0	26,0
Медиана	18,9	18,2	18,9	19,2
Интерквартильное расстояние	7,8	9,9	7,9	4,0

для показателей финансового блока ( Q = 9,9) несмотря на то, что размах колебаний R = X _max– X _min для него минимален. Как и следовало ожидать, при осреднении по всем 17 показателям происходит нивелирование оценок экстремальных квантилей X _min и X _max и изменчивости итоговых баллов, вследствие чего интерквартильное расстояние уменьшается в 2 раза. И только оценка медианы остается практически неизменной.

Обратимся теперь к табл. 2, в которой представлены результаты локального рейтингования вузов по отдельным показателям кадрового состава научного потенциала. Балл вуза или ранг означает его место в ранжированной выборке. Номера показателей соответствуют их номерам на рис. 2. Как видно из табл. 2, наилучшие показатели имеет Государственная химико-фармацевтическая академия, которая только по отношению числа профессоров к числу ППс выходит за пределы первой десятки вузов. У медицинского университета им. академика И.П. Павлова провалы по двум позициям: по отношению числа профессоров к числу ППс и по числу молодых преподавателей. Еще более значительные провалы отмечаются у Художественно-промышленной академии, которая по числу молодых и «старых» преподавателей находится в «лидирующей» группе худших вузов. Итак, даже лучшие по кадровому потенциалу вузы имеют по некоторым показателям явные провалы.

в табл. 3 приводится лучшая пятерка вузов города по показателям финансового блока. Нетрудно заметить, что высшая школа искусств, имеющая лучшее общее и бюджетное финансирование в результате крайне слабого финансирования за счет хоздоговоров, грантов России и иностранных источников занимает только пятое место. Примерно так же обстоит дело и с Горным институтом, который вследствие малого дополнительного финансирования попал на четвертую позицию в рейтинге. Наилучшие показатели имеет Российский государственный гидрометеорологический университет, который хотя и не входит в тройку лучших вузов по отдельным показателям, но зато у него нет ни одного провала.

Таблица 2

Результаты рейтингования вузов по различным показателям кадрового состава научного потенциала

Наименование вуза	Балл вуза по отдельным показателям кадрового состава научного потенциала							Средний балл
	1	2	3	4	5	6	7
Государственная химикофармацевтическая академия	8	9	9	15	8	8	1	8,26
санкт-Петербургский государственный медицинский университет им. акад. И.П. Павлова	1	4	6	23	21	9	4	9,71
санкт-Петербургский государственный университет	17	6	5	7	10	13	13	10,14
санкт-Петербургский государственный горный институт им. Г.в. Плеханова	28	11	8	3	5	21	8	12,00
Художественно-промышленная академия	7	5	2	4	35	36	5	13,43

Общество

Таблица 3

Результаты рейтингования вузов по различным показателям финансового блока научного потенциала

Наименование вуза	Балл вуза по отдельным показателям финансового блока научного потенциала					Средний балл
	1	2	3	4	5
Российский государственный гидрометеорологический университет	5	3	4	7	7	5,20
санкт-Петербургский государственный университет аэрокосмического приборостроения	9	13	6	5	8	8,20
санкт-Петербургский государственный университет информационных технологий, механики и оптики	6	2	16	21	1	9,20
санкт-Петербургский государственный горный институт им. Г.в. Плеханова	2	4	29	2	11	9.60
высшая школа народных искусств	1	1	3	21	25	10.20

Явным лидером по результативности научных исследований (табл. 4) является Российский государственный педагогический университет им. А.И. Герцена, который более чем на 5 баллов опережает санкт-Петербургский государственный университет. Отметим, что различия между вторым и пятым вузами очень малы и составляют чуть более 1 балла.

Таблица 4

Terra Humana

Результаты рейтингования вузов по различным показателям блока результативности научных исследований

Наименование вуза	Балл вуза по отдельным показателям результативности научных исследований					Средний балл
	1	2	3	4	5
Российский государственный педагогический университет им. А.И. Герцена	2	7	9	2	5	5,00
санкт-Петербургский государственный университет	14	14	11	9	6	10,80
санкт-Петербургская государственная консерватория им. Н.А. Римского-Корсакова	18	11	2	1	24	11,20
санкт-Петербургский государственный университет аэрокосмического приборостроения	13	6	8	26	4	11,40
санкт-Петербургский государственный университет информационных технологий, механики и оптики	3	13	33	8	3	12,00

Обратимся теперь к сводным результатам рейтинга вузов по научному потенциалу, составленным путем осреднения по всем 17 показателям (табл. 5). Первые два места с заметным отрывом от остальных вузов занимают Российский государственный педагогический университет им. А.И. Герцена и санкт-Петербургский государственный университет. У первого вуза довольно ровные показатели по первым двум блокам и явное преимущество по результативности научных разработок. в последнем блоке особенно хорошее положение по общему количеству публикаций и числу аспирантов. Что касается санкт-Петербургского государственного университета, то несколько неожиданные результаты рейтинга по финансовому блоку обусловлены слабыми показателями городского и собственного финансирования (23 место) и хоздоговорного финансирования (21 место).

На третьем и четвертом местах, соответственно, санкт-Петербургский государственный университет информационных технологий, механики и оптики и Российский государственный гидрометеорологический университет. слабым местом первого вуза являются кадровые показатели, в то время как РГГМУ забрался на четвертую ступеньку благодаря отличным показателям финансового блока. У санкт-Петербургского государственного горного института им. Г.в. Плеханова наблюдается явный провал в результативности научных разработок.

На наш взгляд, приведенные результаты рейтингования достаточно объективно отражают реальное положение вузов города относительно друг друга по их научному потенциалу. Естественно, желательно построение стационарной системы рейтингования вузов города, основой которой может послужить предложенный в

Таблица 5

Сводный рейтинг лучших вузов Санкт-Петербурга по научному потенциалу за 2006 г.

Наименование вуза	Средний рейтинг по блокам			Средний по всем 17 показателям рейтинг
	Кадровый состав	Финансовый блок	Результативность научных разработок
Российский государственный педагогический университет им. А.И. Герцена	13,86 (6 место)	12,00 (8 место)	5,00 (1 место)	10,29
санкт-Петербургский государственный университет	10,14 (3 место)	13,20 (11 место)	10,80 (2 место)	11,38
санкт-Петербургский государственный университет информационных технологий, механики и оптики	18,57 (19 место)	9,20 (3 место)	12,00 (5 место)	13,26
Российский государственный гидрометеорологический университет	18,29 (17 место)	5,20 (1 место)	17,60 (17 место)	13,69
санкт-Петербургский государственный горный институт им. Г.в. Плеханова (технический университет)	12,00 (4 место)	9,60 (4 место)	21,80 (25 место)	14,47

Общество

данной работе комплекс показателей научного потенциала. При этом в дальнейшем перечень показателей может быть уточнен и дополнен.