Оценка эффективности научно-исследовательской и инновационной деятельности студентов вуза на основе метода анализа иерархий

При решении задачи подготовки кадров для наукоёмких отраслей современного производства, являющейся в настоящее время одной из приоритетных для социально-экономического развития страны, первостепенное значение имеет развитие научно-технического творчества молодежи. Участие студентов в научно-исследовательских работах вуза, в разработке инновационных проектов способствует приобретению ими способностей к самостоятельной ответственной работе, развитию инициативности и творческого мышления, умения принимать обоснованные решения в нестандартных ситуациях. Расширение масштабов вовлечения молодежи в научно-исследовательскую и инновационную деятельность (НИДС) достигается в вузе в числе прочего за счет применения современных информационных технологий, предусматривающих разработку моделей и анализ механизмов управления для обеспечения планомерной политики развития НИДС.

Для выявления существующих проблем, сравнительной оценки текущей позиции вуза среди других вузов, выбора стратегии дальнейшего совершенствования организации НИДС, прогнозирования ее результатов с учетом влияния совокупности факторов управления и принятия обоснованных решений по оптимизации управления процессом необходимо располагать

объективными количественными показателями текущего состояния системы НИДС. В связи с этим сложилась настоятельная потребность в разработке системы оценивания эффективности НИДС, в первую очередь – в создании корректной методики вычисления комплексного показателя эффективности НИДС. Основную сложность при установлении подобного интегрального критерия представляет ранжирование частных показателей путем экспертных оценок.

МЕТОДИКА ОЦЕНКИ ЭФФЕКТИВНОСТИ НИДС

К числу наиболее эффективных методов количественного оценивания сложных слабоструктурированных проблем относится метод анализа иерархий (МАИ), предложенный американским ученым Т. Саати [1]. Суть его состоит в декомпозиции исходной многокритериальной проблемы на локальные составляющие, проведении по специальной форме экспертного опроса лиц, принимающих решения, и дальнейшей математической обработке их суждений [2]. Этот метод с успехом применяется для решения задач стратегического планирования [3], оценки конкурентоспособности изделий [4, 5], оптимизации по совокупности показателей качества устройств и систем [2, 6], оценки инновационных, в том числе образовательных, проектов [7], совершенствования системы управления предприятием [4, 8], управления региональными социально-экономическими системами [9].

Поставленной задаче оценки эффективности НИДС с позиций системного анализа свойствен- ны неопределённость, многокритериальность, сочетание количественных и качественных критериев оценки, необходимость согласования групповых мнений экспертов, многоуровневость системы локальных критериев со своими удельными весами, разнообразие и большое число критериев, многократность процесса выбора. Метод анализа иерархий адаптирован к решению подобных задач.

Во-первых, МАИ дает возможность получения количественной оценки факторов изучаемого процесса, позволяя установить приоритеты этих факторов. Показатели процесса имеют разную природу и могут быть измерены в различных шкалах (интервальной, номинальной, порядковой), поэтому простое сложение их значений невозможно. Кроме того, структурные составляющие изучаемого процесса оказывают на него разное воздействие, что заставляет внимательно отнестись к выбору их весовых коэффициентов при формировании обобщённого показателя.

Во-вторых, МАИ позволяет обосновать решения в условиях неопределённости исходной информации, возникающей ввиду неполноты сведений эксперта о свойствах объектов, сомнений принимающего решение лица в правильности своих оценок, противоречивости знаний в условиях нечеткого представления информации. Наличие неопредёленности чревато ошибками в экспертных оценках, несогласованностью данных и нарушением связности и транзитивности суждений. МАИ предусматривает процедуру согласования, располагая механизмом сравнения степени достоверности субъективных суждений с идеальным показателем, что позволяет управлять процессом оценки, либо меняя экспертов, либо перестраивая иерархию.

В-третьих, МАИ оказывается эффективным при решении многокритериальных задач, когда необходимо определить значимость большого количества факторов. Основанная на личном опыте субъективная оценка не может быть эф- фективно использована, если количество факторов превышает оценочные возможности лица, принимающего решение.

В приложении к поставленной задаче оценки эффективности НИДС алгоритм метода анализа иерархий должен включать следующие этапы.

Этап 1. Моделирование процесса и математическая постановка задачи. Изучаемый процесс НИДС представляется в виде многоуровневой иерархической модели путём декомпозиции проблемы на множество простых составляющих – иерархических уровней. При этом каждая составляющая процесса характеризуется двумя параметрами: важностью и степенью выраженности.

Построение иерархической структуры начинается с глобальной цели – фокуса иерархии, которая служит ориентиром при выстраивании иерархии критериев и альтернатив. Следующий уровень иерархии составляет структура объектов-критериев, включающих цели, подцели и целевые функции. Под уровнем локальных критериев располагается структура объектов-альтернатив, отражающая соподчинённость иерархий принимаемых решений. В результате декомпозиции образуется архитектура процесса (рис. 1), отражающая относительную степень взаимосвязи объектов иерархии.

Задача ранжирования объектов по важности в пределах каждого уровня иерархической структуры состоит в том, чтобы на основании опроса принимающих решения лиц или экспертов посредством математической обработки экспертных оценок установить множество значений весовых коэффициентов:

ak = {ak, a2,..., a^ }, k = 1,2,...,K, удовлетворяющих ограничениям mk

Ъ a k = 1, a i > 0 ,

i = 1

где m k – количество объектов на k -ом уровне;

Рис. 1. Иерархическая структура процесса

K – общее количество уровней иерархической структуры.

Все показатели НИДС, учитываемые при составлении вузом ежегодных отчётных документов (отчёт о научной деятельности, предоставляемый в Министерство образования и науки РФ, модуль сбора данных для вузов, предоставляемый в Национальное аккредитационное агентство в сфере образования) можно условно разделить на пять групп: организация; руководство; активность; результативность; финансирование.

Первый шаг методики оценки эффективности НИДС в соответствии с МАИ – построение трёхуровневой иерархической структуры (рис. 2):

• 1)    уровень цели – оценка эффективности НИДС ( I );

• 2)    первый уровень критериев: организации НИДС ( O ); руководства НИДС профессорско-преподавательским составом ( M ); активности участия студентов в НИДС ( A ); результативности участия студентов в НИДС ( P ); финансирования НИДС ( F );

• 3)    второй уровень критериев – показатели по каждой группе критериев первого уровня: 8 показателей организационной структуры управления, 19 показателей организации мероприятий научного и инновационного характера, 11 показателей руководства НИДС, 26 показателей активности НИДС, 18 показателей результативности НИДС по публикациям, 20 показателей результативности НИДС по наградам, 9 показателей финансирования НИДС вуза.

Расшифровать обозначения всех показателей второго уровня в рамках данной статьи не представляется возможным. Так, к показателям организационной структуры управления относятся: O 1 – количество подразделений организационной структуры управления НИДС вуза; O 2 – количество подразделений, осуществляющих информационное сопровождение НИДС вуза; O 3

– количество научно-методических и организационных мероприятий, проведенных в вузе для развития НИДС; O 4 – количество студенческих научных объединений: O 41 – конструкторских бюро и научно-исследовательских лабораторий, O 42 – научных обществ, O 43 – научных кружков и проблемных групп; O 5 – количество заявок, поданных вузом для участия в Федеральной целевой программе “Научные и научно-педагогические кадры инновационной России” на организацию и проведение всероссийских и международных молодежных олимпиад и конкурсов и на оснащение студенческих конструкторских бюро и бизнес-инкубаторов для развития технического творчества студентов и их вовлечения в инновационную деятельность; O 6 – количество выигранных конкурсов по Федеральной целевой программе “Научные и научно-педагогические кадры инновационной России”. Остальные группы также содержат многочисленные показатели, которые здесь не приводятся.

В зависимости от цели исследования на уровне альтернатив могут быть представлены различные временные периоды либо различные образовательные учреждения.

Комплексный показатель эффективности НИДС вуза может быть представлен в виде линейной свертки критериев:

n

J = 2 a i Ji , i=1

где J i – значения частных показателей эффективности, tt i - весовые коэффициенты. Для вычисления интегрального показателя необходимо определить весовые коэффициенты критериев первого и второго уровня: на первом уровне критериев распределение весовых коэффициентов характеризует степень важности каждой группы, на втором – значимость каждого показателя внут-

Рис. 2. Иерархия критериев оценки эффективности НИДС

ри группы. Если между критериями первого уровня допустимо распределить весовые коэффициенты по интуитивным соображениям, то ранжировать большое количество показателей второго уровня без привлечения программных средств практически невозможно.

Этап 2. Сравнительный анализ элементов процесса. Для определения важности составляющих модели на каждом уровне иерархии строятся обратно-симметричные матрицы парных

сравнений

Ak

k aij

kk размера m X m :

a 1 ^k 1

ak

1 m^k

Ak

... aik1

^k a ij

ak im

k

a\.

^ m 1

a k_k mj

a k_{k k} mm

k

Элементы матриц a ij определяются следую-

щим образом: ak = 1, ak = ——. Значения k aij k kk a j = tti / a j элементов матрицы соответствуют значимости объекта i по сравнению с объектом

j и основаны на субъективных суждениях экспертов, использующих шкалу предпочтений, числа которой имеют смысловую интерпретацию, указанную в табл. 1.

Для определения весовых коэффициентов по МАИ тремя независимыми экспертами, в качестве которых выступили проректоры по научной работе и инновационной деятельности вузов, были составлены матрицы суждений для частных показателей первого и второго уровня.

Матрицы парных сравнений для группы критериев оценки НИДС первого уровня иерархии, подготовленные тремя экспертами, представлены в табл. 2.

С использованием критерия Краскела-Уол-лиса [10] подтверждена гипотеза об однородности суждений экспертов, что дает 3осн1ован2ие д3ля усреднения их суждений: a y = -J a y • a y • a j . Усреднённые по трем экспертам значения элементов матрицы суждений I группы критериев оценки НИДС первого уровня приведены в табл. 3.

Аналогично были построены обратно-симметричные матрицы парных сравнений для групп показателей оценки НИДС второго уровня иерархии.

Этап 3. Оценка степени согласованности суждений экспертов. Для этого вычисляют величину, называемую индексом согласованности:

IS = ^ max m mk -1

,^где ^ max

– максимальное соб-

Таблица 1. Шкала относительной важности критериев

Степень значимости	Отношение объектов
1	Равная значимость
3	Умеренное превосходство
5	Сильное превосходство
7	Значительное превосходство
9	Абсолютное превосходство
2, 4, 6, 8	Промежуточные значения (для компромиссных ситуаций)
11111111 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9	Обратные величины приведенных выше значений

Таблица 2. Оценка критериев первого уровня

	Эксперт 1					Эксперт 2					Эксперт 3
	O	M	A	P	F	O	M	A	P	F	O	M	A	P	F
O	1	3	4	1/2	2	1	4	6	1/2	3	1	5	7	1/3	3
M	1/3	1	2	1/4	1/2	1/4	1	3	1/5	1/2	1/5	1	3	1/7	1/3
A	1/4	1/2	1	1/5	1/3	1/6	1/3	1	1/7	1/4	1/7	1/3	1	1/9	1/5
P	2	4	5	1	3	2	5	7	1	4	3	7	9	1	5
F	1/2	2	3	1/3	1	1/3	2	4	1/4	1	1/3	3	5	1/5	1

Таблица 3. Оценка критериев первого уровня тремя экспертами

Критерий	O	M	A	P	F
O	1	3,915	5,518	0,437	2,621
M	0,255	1	2,621	0,193	0,437
A	0,181	0,382	1	0,147	0,255
P	2,289	5,192	6,804	1	3,915
F	0,382	2,289	3,915	0,255	1

Таблица 4. Значения случайного индекса согласованности

k m 2 3 4 5 6 7 8 9 10 11 12 13 14 15 SI 0 0,58 0,90 1,12 1,24 1,32 1,41 1,45 1,49 1,51 1,48 1,56 1,57 1,59 ственное значение матрицы парных сравнений. Чтобы оценить степень согласованности экспертных мнений, рассчитывают отношение согласо-

IS ванности OS = —, где SI - случайный индекс

SI согласованности для матрицы того же порядка (табл. 4). Если величина OS < 0,1, то степень согласованности экспертных данных считается приемлемой.

Согласованность матриц суждений для групп показателей оценки НИДС и достоверность результатов подтверждают значения индексов согласованности, представленные в табл. 5. Отношение согласованности OS не превышает значения 0,1.

Этап 4. Установление локальных приоритетов для объектов. Относительная значимость объектов выражается численно в виде векторов приоритетов, которые представляют собой так называемые жёсткие оценки в шкале отношений.

^~ k k k k

Вектором X = I x1 , x2,..., X k I иско-v.              m )

мых весовых коэффициентов, характеризующих значимость всех критериев и альтернатив, является нормализация главного собственного векто- k _( vk vk vk ]      „ „          „ ра X = I X1 , X 2,..., X k I , удовлетворяюще-

V m )

го уравнению A ^k X ^k =X kmax X ^k :

k

~ k x i

•x 7

i mk

Z Xk l=1

m

i = 1,2,...,mk, Z~k = 1

i = 1

Значения элементов главного собственного вектора X матрицы суждений I и нормализованного собственного вектора X ~ , характеризующего значимость критериев оценки НИДС первого уровня, приведены в табл. 6.

Распределение значений весовых коэффициентов, характеризующих значимость показателей оценки НИДС второго уровня, представлено в табл. 7.

Проверка согласованности матриц и расчёт значений весовых коэффициентов производились с использованием встроенных функций системы компьютерной математики MathCAD : eigenvals() – для нахождения максимального собственного значения и eigenvecs() – для нахождения главного собственного вектора.

Этап 5. Синтез глобальных приоритетов. Для

Таблица 5. Характеристики матриц парных сравнений

Группа показателе й	Порядок матрицы	Максимальное собственное значение X max	Индекс согласованности IS	Отношение согласованности OS
Первого уровня	5	5,139	0,035	0,031
Организационной стр уктуры управления	8	8,137	0,020	0,014
Организации мероприятий НИДС	19	19,72	0,040	0,025
Руководства НИДС	11	11,256	0,026	0,017
Активности НИДС	26	26,764	0,036	0,023
Результативности НИДС по публикациям	18	18,667	0,039	0,025
Результативности НИДС по наградам	20	20,491	0,026	0,016
Финансирования НИДС	9	9,244	0,031	0,021

Таблица 6. Значения весовых коэффициентов критериев первого уровня

Критерий	O	M	A	P	F
XT	0,488	0,145	0,079	0,819	0,251
X ~ T	0,274	0,081	0,044	0,460	0,141

Таблица 7. Значения весовых коэффициентов показателей второго уровня

Показатели организационной структуры управления Критерий O1 O2 O3 O41 O42 O43 O5 O6 Вес 0,246 0,174 0,042 0,066 0,046 0,031 0,088 0,308 Показатели организации мероприятий НИДС Критерий O7 O81 O82 O83 O84 O91 O92 O93 O94 Вес 0,126 0,127 0,077 0,027 0,012 0,127 0,077 0,027 0,012 Критерий O101 O102 O103 O104 O105 O111 O112 O113 O114 O12 Вес 0,087 0,051 0,024 0,012 0,008 0,076 0,039 0,016 0,009 0,067 Показатели руководства НИД С Критерий M11 M 12 M 13 M21 M22 M3 M4 M5 M6 M7 M8 Вес 0,31 0,11 0,031 0,118 0,064 0,165 0,022 0,037 0,077 0,022 0,043 Показатели активности НИДС Критерий A11 A12 A13 A14 A21 A22 A23 A24 A31 A32 Вес 0,062 0,041 0,015 0,008 0,062 0,041 0,015 0,008 0,041 0,028 Критерий A33 A34 A41 A42 A43 A44 A51 A52 A53 A54 Вес 0,011 0,007 0,025 0,017 0,01 0,007 0,109 0,077 0,022 0,012 Критерий A61 A62 A63 A64 A71 A72 Вес 0,098 0,028 0,055 0,033 0,06 0,11 Показатели результативности НИДС по публикациям Критерий P11 P12 P13 P14 P15 P16 P17 P18 P19 P110 Вес 0,077 0,132 0,068 0,116 0,032 0,061 0,022 0,041 0,015 0,028 Критерий P111 P112 P113 P114 P21 P22 P31 P32 Вес 0,01 0,017 0,008 0,012 0,067 0,145 0,046 0,102 Показатели результативности НИДС по наградам Критерий P41 P42 P43 P51 P52 P53 P61 P62 P63 P7 Вес 0,085 0,029 0,017 0,057 0,019 0,012 0,038 0,013 0,009 0,043 Критерий P81 P82 P83 P84 P91 P92 P93 P94 P10 P11 Вес 0,151 0,12 0,037 0,024 0,107 0,065 0,023 0,013 0,104 0,033 Показатели финансирования НИДС Критерий F11 F12 F13 F14 F15 F16 F17 F18 F2 Вес 0,019 0,047 0,08 0,106 0,031 0,14 0,081 0,188 0,308 этого по каждому n -му объекту вычисляется ве-

mk i    v ~ k ~ k+1        + 1

личина I n = ^ x_{ x n   , где x £ ^{+ 1}

I = 1

–

компонен-

ты вектора локальных приоритетов

~ k + 1 _ [ ~ k + 1 ~ k + 1

X = I x1 , x 2 ,

~

..

., x

k + 1 ^'

I относительно

mk+1

k l -го критерия верхнего уровня, xl – компонен-

ты вектора

локальных приоритетов

~ k _ | ~ k ~ k X = I x1 , x2 ,

~

..

.,x

k

mk

T критериев верхнего

уровня.

Значение интегрального показателя было определено на основе статистических отчётных данных по состоянию НИДС в Пензенской госу-

дарственной технологической академии за шестилетний период государственной аккредитации (2007–2012 гг.). Результаты расчётов значений частных и комплексного показателей представлены на рис. 3.

ЗАКЛЮЧЕНИЕ

Оперативное управление и планирование научной работы студентов вуза требует объективной оценки и выявления проблемных аспектов ее текущего состояния. Для решения указанной задачи разработана методика расчета обобщенного численного показателя данного рода деятельности, учитывающая совокупность экспертных оценок в сочетании с множеством количественных данных о результатах научно-технического творчества студентов. Для определения весовых

Рис. 3. Динамика показателей НИДС

коэффициентов критериев оценки НИДС использован метод анализа иерархий, исходными данными для которого служат составленные экспертами матрицы парных сравнений. Методика, ориентированная на интеграцию в информационную систему вуза, объективно отражает достигнутый уровень НИДС и позволяет выявить тенденции ее развития. Для иллюстрации приведены в ретроспективе полученные с применением методики численные значения комплексного показателя НИДС Пензенской государственной технологической академии.

Исследование выполнено при финансовой поддержке Российского гуманитарного научного фонда в рамках проекта регионального конкурса 7. № 12–16 58004 “Проектирование региональной модели управления научно-исследовательской и инновационной деятельностью студентов”.