Критериальные показатели университетов для предоставления права самостоятельного присуждения ученых степеней

В Российской Федерации до настоящего времени система аттестации кадров высшей научной квалификации носила исключительно государственный характер. Ученая степень, имеющая два уровня – кандидат и доктор наук – присуждается диссертационным советом с последующим утверждением Высшей аттестационной комиссией при Министерстве образования и науки Российской Федерации. Соответствие результатов научной деятельности соискателя ученой степени и деятельность диссертационного совета регламентируется государственными нормативноправовыми актами: Положением о порядке присуждения ученой степени и Положением о диссертационном совете.

В мировой практике нормативно-правовое регулирование на государственном уровне в этой сфере отсутствует. Ученая степень присуждается университетами и, как правило, имеет один уровень (PhD – доктор философии, соответствующий 8 уровню МСКО).

Вхождение России в Болонский процесс повлекло за собой унификацию уровней подготовки высшего образования (бакалавр, магистр) и инициировало постепенный переход к международной практике присуждения ученых степеней.

Первым этапом в этой деятельности стал нормативно-правовой акт, разрешающий Московскому государственному университету имени М. В. Ломоносова (МГУ) и Санкт-Петербургскому государственному университету (СПбГУ) самостоятельно устанавливать всю процедуру, связанную с присуждением ученых степеней1. В этом же документе было указано, что научные организации и образовательные организации высшего образования, которые достигли высоких результатов в научной и (или) научно-технической деятельности, также могут получить права, предоставленные МГУ и СПбГУ. Правительство Российской Федерации в Постановлении от 11 мая 2017 г. № 553 утвердило Положение о формировании перечня научных организаций и образовательных организаций высшего образования, которым предоставляются эти права. В Положении указаны основные критерии, которым должны соответствовать университеты и научные организации. Число критериев ограничено по сравнению с показателями научной деятельности организаций, участвующих в мониторинге эффективности деятельности образовательных организаций высшего образования, поэтому возникает проблема выбора критериальных показателей университетов для предоставления им права самостоятельного присуждения ученых степеней.

В настоящей статье рассматриваются подходы к формированию перечня показателей из числа показателей мониторинга эффективности деятельности образовательных организаций высшего образования, а также к определению пороговых значений показателей для формирования перечня потенциальных образовательных организаций высшего образования, которым может быть предоставлено право самостоятельного присуждения ученой степени.

Рейтингование российских университетов

Исследование вопросов оценки деятельности российских университетов рассматривается с разных сторон, включающих аспекты оценки эффективности деятельности вузов в профессиональном, научном, инновационном характерах [1–3], включения университетов в мировое образовательное пространство [4, 5], репутационные и социальные аспекты [6, 7]. Основным подходом в такой оценке для принятия управленческих решений является ранжирование или рейтингование вузов.

Рейтингование как метод интегральной оценки деятельности университетов наиболее полно декларирован в Берлинских принципах ранжирования организаций высшего образования [8], критериях оценки методологий рейтингования «Правила аудита рейтингов» [9] и принципах сертификации ранжирования [10]. В этих документах говорится, что при разработке новой методологии проведения рейтингов должны соблюдаться основные 16 принципов ранжирования, которые затрагивают формирование цели и задач ранжирования; выбор индикаторов и их весов; сбор и обработку данных; а также представление результатов ранжирования.

К числу наиболее популярных международных рейтингов университетов относятся рейтинги QS, THE, ARWU, U-Multirank [11].

Для российских университетов при формировании рейтингов используются результаты мониторинга эффективности деятельности образовательных организаций высшего образования, проводимые ежегодно Министерством образования и науки Российской Федерации. При формировании рейтингов показатели деятельности каждой организации структурированы по семи разделам со следующими сведениями: общие; об образовательной деятельности и подготовке научных кадров; о научной деятельности; о персонале; о материально-технической и информационной базе; о финансово-экономической деятельности; дополнительные сведения о деятельности. В каждом разделе число показателей – несколько десятков, а общее их число превышает сотню [12].

Для подведомственных организаций Министерства образования и науки Российской Федерации показатели деятельности формируются на основе отчетов вузов о научной деятельности и включают 4 раздела: общие сведения ипоказатели научного потенциала (финансирование и выполнение научных исследований и разработок, кадровый состав, подготовка кадров высшей научной квалификации и специалистов, материально-техническая база, результативность научных исследований и разработок). Число показателей также превышает сотню [13].

Показатели мониторинга [12] и отчетов [13] вузов активно используются при разработке специализированных рейтингов, в частности для формирования сети диссертационных советов в организациях, находящихся в ведении Министерства образования и науки Российской Федерации [14], а также для анализа соответствия деятельности диссертационных советов критериальным требованиям Высшей аттестационной комиссии при Министерстве образования и науки Российской Федерации [15]. Каждая из методик формирования рейтингов, как правило, использует 15–20 показателей, сгруппированных в 3–4 раздела.

Анализ показателей университетов – потенциальных кандидатов на право самостоятельного присуждения ученой степени

Для формирования предварительного перечня образовательных организаций высшего образования, которым может быть предоставлено право самостоятельного присуждения ученой степени, с учетом Берлинских принципов рейтингования и предыдущего опыта Министерства образования и науки Российской Федерации по формированию профильных рейтингов были определены 3 группы с 14 показателями результативности научной деятельности образовательных организаций высшего образования: «группа 1. Финансирование» содержит 2 показателя; «группа 2. Кадровый потенциал и подготовка кадров»– 8 показателей; «группа 3. Публикационная активность» – 4 показателя. Список показателей следующий:

• 1.1.    Объем затрат на научные исследования и разработки в расчете на одного научно-педагогического работника, тыс. руб.;

• 1.2.    Объем затрат на научные исследования и разработки, тыс. руб.;

• 2.1.    Удельный вес научно-педагогических работников, защитивших кандидатские и докторские диссертации за отчетный период в общей численности научно-педагогических работников, %;

• 2.2.    Численность зарубежных ведущих профессоров, преподавателей и исследователей, работающих в образовательной организации не менее 1 семестра, чел.;

• 2.3.    Удельный вес численности обучающихся (приведенного контингента) по программам магистратуры и подготовки научно-педагогических кадров в аспирантуре (адъюнктуре) в общей численности приведенного контингента обучающихся по основным образовательным программам высшего образования, %;

• 2.4.    Численность аспирантов образовательной организации в расчете на 100 студентов (приведенного контингента), чел.;

• 2.5.    Общая численность аспирантов, чел.;

• 2.6.    Общая численность докторантов, чел.;

• 2.7.    Общая численность иностранных аспирантов, чел.;

• 2.8.    Число диссертационных советов, ед.;

• 3.1.    Количество цитирований публикаций, изданных за последние 5 лет, индексируемых в базе данных «Сеть науки» (Web of Science), в расчете на 100 научно-педагогических работников, ед.;

• 3.2.    Количество научных публикаций в научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science), в расчете на 100 научно-педагогических работников, ед.;

• 3.3.    Количество цитирований публикаций, изданных за последние 5 лет, индексируемых в информационно-аналитической системе научного цитирования Scopus в расчете на 100 научно-педагогических работников (НПР), ед.;

• 3.4.    Число публикаций организации, индексируемых в информационно-аналитической системе научного цитирования Scopus, в расчете на 100 НПР, ед.

С учетом этих показателей анализировался уровень»статусных» университетов как потенциальных кандидатов на право самостоятельно присуждать ученую степень. В их числе те вузы, которым установлена категория «федеральный университет» (10 вузов) или «национально-исследовательский университет» (29 вузов); те, которые участвуют в реализации программы государственной поддержки в целях повышения их конкурентоспособности (13 вузов); те, которые реализуют разработанные и утвержденные самостоятельно образовательные стандарты по всем уровням высшего образования (12 вузов). Поскольку часть университетов относится к двум или трем категориям, то общее число университетов составило 48.

Абсолютные значения показателей формировались по отчетам организаций за 2015 г. Затем каждый показатель нормировался на диапазон от 0 до 1, а интегральное значение рассчитывалось как сумма по группе показателей и в целом по всем показателям.

Полученные значения для каждого показателя, интегрального значения показателей в группе и в целом по организации позволили сформировать рейтинги образовательных организаций.

В результате расчета к числу образовательных организаций высшего образования, занимающих первые 10 позиций по величине общего интегрального показателя (Топ-10), отнесены следующие: Национальный исследовательский ядерный университет «МИФИ»; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики; Национальный исследовательский Томский государственный университет; Санкт-Петербургский национальный исследовательский Академический университет Российской академии наук; Российский университет дружбы народов; Московский физико-технический институт (государственный университет); Национальный исследовательский Томский политехнический университет; Новосибирский национальный исследовательский государственный университет; Национальный исследовательский университет «Высшая школа экономики»; Южный федеральный университет. Отметим, что шесть из этих десяти университетов вошли в Шанхайский рейтинг (Academic Ranking of World Universities или

Shanghai Ranking’s Global Ranking of Academic Subjects 2017) [16].

Кроме использования интегрального показателя при ранжировании организаций можно использовать ранги как номера позиций организаций при сортировке по убыванию интегрального показателя. Анализ показывает, что использование рангов является менее точным инструментом при рейтинговании, чем использование интегральных показателей.

Снижение размерности критериальных показателей

Показатели для формирования перечня образовательных организаций высшего образования, которым предоставляется право самостоятельного присуждения ученой степени, регламентируются постановлением Правительства Российской Федерации. Поэтому использование 14 показателей является избыточным, необходимо сократить их число до трех-четырех без потери для качества отбора университетов.

При анализе многомерных данных часто используются методы снижения размерности, к которым относятся метод главных компонент, факторный анализ, многомерное шкалирование и другие [17].

Для сокращения числа показателей (уменьшения размерности входных параметров) проводился анализ корреляционной связи показателей внутри каждой из трех групп. Для этого по каждой группе рассчитывался интегральный показатель и нормировался на диапазон от 0 до 1. Затем рассчитывался коэффициент корреляции внутри группы каждого показателя с интегральным показателем по группе.

На рис. 1–3 приведены диаграммы рассеяния, иллюстрирующие эти корреляционные зависимости.

интегральный показатель по группе 1

Рис. 1. Диаграмма рассеяния показателя 1.1 и интегрального показателя по группе 1

интегральный показатель по группе 2

Рис. 2. Диаграмма рассеяния показателя 2.3 и интегрального показателя по группе 2

Рис. 3. Диаграмма рассеяния показателя 3.2 и интегрального показателя по группе 3

Для первой и третьей групп высокие значения коэффициента корреляции оказались для показателя 1.1 (0,92) и для показателя 3.2 (0,95), и именно эти показатели были выбраны для дальнейшего анализа.

Для второй группы значение коэффициента корреляции для многих показателей было менее 0,5. Поэтому в качестве показателя из этой группы был выбран показатель 2.3 как наиболее значимый по содержанию.

Для выбранных показателей 1.1, 2.3 и 3.2 из трех групп был также рассчитан интегральный показатель. Анализ корреляционной зависимости интегрального показателя по 3 значениям и интегрального показателя по 14 значениям показал высокую связь между ними со значением коэффициента корреляции R=0,8. На рисунке 4 приведена диаграмма рассеяния, показывающая связь интегрального показателя, рассчитанного по 3 значениям, и интегрального показателя по 14 значениям.

Сформированный рейтинг образовательных организаций на основе интегрального показателя по 3 значениям показал, что в Топ-10 университетов вошли 8 из 10 вузов из перечня рейтингования Топ-10 на основе интегрального показателя по 14 значениям. Два университета – МИЭТ и МИСиС – улучшили свои позиции, переместив-

интегральный показатель по 14 показателям

Рис. 4. Диаграмма рассеяния, показывающая связь интегрального показателя, рассчитанного по 3 показателям, и интегрального показателя, рассчитанного по всем 14 показателям шись на более высокие позиции в рейтинге на основе интегрального показателя по 3 значениям.

Таким образом, снижение размерности данных не повлияло на качество рейтингования. Следовательно, эти 3 показателя могут быть рекомендованы для использования при формировании перечня образовательных организаций высшего образования, которым предоставляется право на самостоятельное присуждение ученой степени2:

• 1. 1. Объем затрат на научные исследования и разработки в расчете на одного научно-педагогического работника, тыс. руб.;

• 2. 3. Удельный вес численности обучающихся (приведенного контингента) по программам магистратуры и подготовки научно-педагогических кадров в аспирантуре (адъюнктуре) в общей численности приведенного контингента обучающихся по основным образовательным программам высшего образования,%;

• 3. 2. Количество научных публикаций в научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science), в расчете на 100 научно-педагогических работников, ед.

Пороговые значения этих показателей нужно определять экспертным путем и корректировать их по мере необходимости.

Выбор пороговых значений показателей

При формировании перечня образовательных организаций важным является выбор пороговых значений показателей деятельности университе- тов, позволяющий претендовать на право самостоятельного присуждения ученой степени. В этом случае важны все три абсолютных значения показателей. На рис. 5, в качестве примера, приведены ранги вузов и объемы затрат вузов на научные исследования в расчете на одного научно-педагогического работника, отсортированные по убыванию значения объема затрат.

Рис. 5. Ранжирование объема затрат вузов на научные исследования в расчете на одного научно-педагогического работника, тыс. руб.

Ориентиром для выбора значения критериев является среднее значение по массиву каждого показателя, при этом для корректного расчета величины среднего необходимо исключить выпадающие значения на «хвостах» распределения. В нашем случае это три максимальных значения для каждого показателя. С учетом этого среднее значение показателей составили: показатель 1.1 – 750 тыс. руб., показатель 2.3 – 18 %, показатель 3.2 – 23 ед.

С использованием этих средних значений показателей число университетов одновременно соответствующих этим трем критериям составило 9 из 48 вузов. Увеличение пороговых значений показателей до величин: показатель 1.1 – 1млн руб., показатель 2.3 – 20 %, показатель 3.2 – 100 ед., уменьшило число вузов до 5. Изменение пороговых значений показателей до величин: показатель 1.1 – 500 тыс. руб., показатель 2.3 – 15 %, показатель 3.2 – 40 ед., несущественно увеличило число университетов, соответствующих критериям, всего на единицу. Основным показателем, не позволяющим увеличивать численность вузов, является показатель публикационной активности.

При одновременном соответствии показателей организации двум критериям из трех число университетов значительно меняется только в том случае, если не используется критерий по показателю 3.2 (Количество публикаций). Число статусных вузов, одновременно удовлетворяющих двум критериям для средних пороговых значений, составляет 15, а для уменьшенных – 22 вуза.

Заключение

Ведомственные мониторинги деятельности организаций высшего образования используют десятки и сотни показателей, характеризующих различные стороны деятельности организаций. Наиболее представительным из них является отчет вуза о научной деятельности, который проводится уже более 20 лет. Показатели этого мониторинга позволяют оценить научный потенциал вуза и выделить лидеров для принятия решения о возможности предоставления им права самостоятельного присуждения ученых степеней.

Первичное использование четырнадцати показателей на массиве 48 «статусных» университетов позволило выделить лидеров по научному потенциалу, но оказалось избыточным. Для рейтингования вузов на предмет предоставления права на самостоятельное присуждение ученой степени можно ограничиться тремя показателями, характеризующими финансирование научных исследований, подготовку магистров, аспирантов и публикационную активность. Пороговые значения этих показателей определяются экспертным путем на основе средних показателей для статусных вузов. При одновременном соответствии университета трем критериям число возможных претендентов составляет от 4 до 9 университетов, а при соответствии двум критериям – до 22 университетов.