Моделирование оценки эффективности научной деятельности студентов аэрокосмического университета

EFFECTIVENESS EVALUATION MODELINGOF AEROSPACE UNIVERSITY STUDENTSʹ SCIENTIFIC WORK

Е.Д. Агафонов, О.Н. Тюрина, К.В. Мушовец, А.А. Калинин, Е.Ю. Золотарева

E.D. Agafonov, O.N. Tyurina, K.V. Mushovets, A.A. Kalinin, E.Yu. Zolotareva

Регрессионные модели, динамические процессы, научная деятельность студентов, прогнозирование.

В статье изучаются основные тенденции развития показателей научной деятельности студентов на примере Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. Определены факторы, влияющие на научные показатели студентов. На основе регрессионных моделей для динамических процессов разработаны алгоритмы и модели оценки эффективности показателей научной деятельности студентов. Решена актуальная задача эффективного планирования финансовой составляющей научной деятельности вуза.

О дна из приоритетных задач современного высшего образования – это развитие научной и инновационной деятельности. Наука в целом и студенческая наука в частности являются неотъемлемым компонентом деятельности вуза. Сейчас обучение в высшем учебном заведении – это не только получение академических знаний, но и участие студента в научно-исследовательской деятельности. Кроме того, при аккредитации и аттестации, от которых зависит будущее вуза, одним из важнейших показателей является научноисследовательская деятельность студентов. Вместе с тем существует научная проблематика, связанная с эффективностью использования новых технологий, отсутствием методической и теоретической основы интеграции их в процесс обучения. В основе этой проблематики лежит развитие различных методов активного обучения [Кругликов, 2000, с. 123; Богданова, 2010, с. 210; Сливина, 2011, с.174–181, Шершнева, 2011, с. 15].

Развитие научной деятельности осуществляется за счет финансирования. Финансовые вло-

Regression models, dynamic processes, students ʹ scientific work, prediction.

In this paper we study the main trends in the development of indicators of studentsʹ scientific work on the example of Siberian State Aerospace University named after academician M.F. Reshetnev. The factors affecting the indicators of the scientific work of the students are defined. On basis of regression models for dynamic processes algorithms and models of effectiveness evaluation of the studentsʹ scientific workʹs indicators are developed. A topical problem of efficient planning of the financial component of the universityʹs scientific work is solved.

жения, как и всю деятельность вуза, необходимо планировать. Развитие технического университета, и Сибирского государственного аэрокосмического университета в частности, в том числе в области научной деятельности, осуществляется в соответствии с комплексными планами на длительный (обычно 3–5 лет) период, но для его составления в части планирования научной деятельности редко используются формальные подходы. Следовательно, существует необходимость разработки модели процесса планирования научных показателей, что и обусловливает актуальность выбранной темы.

Целью исследования выбрано совершенствование подходов к планированию научной деятельности студентов путем построения моделей для оценки эффективности научных показателей студентов и разработки реализующих их алгоритмов.

Студенческая наука отражается в научных показателях студентов и в их компетенциях в динамике их формирования [Шкерина, 2012, с. 5–16].

Научные показатели могут быть частными (мы выделили несколько пар частных показателей, отражающих деятельность студентов, пример приведен ниже), а также обобщенными (в этом случае целесообразно рассматривать общие подходы к моделированию. Рассмотрим анализ частных показателей на примере эксперимента по внедрению новых технологий в учебный процесс по направлению 090900 Информационная безопасность (подробнее см. [Сафонов и др., 2012, с. 160–165]).

В представленном исследовании оценивалась эффективность обучения информационной безопасности и смежным областям, связанным с принятием решений в условиях повышенного риска. Некоторые направления такого обучения, как уже было отмечено, обладают количественными показателями, которые удобно использовать для управления и оценки эффективности научной деятельности студентов. Оценочная схема, как указано в [Zolotareva, 2013, с. 110–111], может базироваться на четырех этапах: процессе оценки, метриках (количественных показателях), выборе метода анализа и моделирования, а также процессе коррекции управленческих воздействий.

Таблица 1

Индикаторы

Контрольная точка	Индикатор 1	Индикатор 2	Оценка связи	Примечания (подробнее см. [Сафонов, 2012, с. 160–165])
01.12.09	6	1	Нет связи Индикатор 1 – 0/6 Индикатор 2 – 0/1	Начало эксперимента
01.12.10	11	4	Слабая связь Индикатор 1 – 3/11 Индикатор 2 – 2/4	Первые результаты эксперимента
01.12.11	12	8	Сильная связь Индикатор 1 – 8/12 Индикатор 2 – 7/8	Первое применение результатов для стартапов
01.12.12	19	6	Сильная связь Индикатор 1 – 8/19 Индикатор 2 – 6/6	Завершение текущей фазы эксперимента

Выбор показателей должен основываться на базовых требованиях к выполнению оценки. Показатели должны быть значимыми, объективными и измеряемыми. В описываемом проекте выбраны два показателя, позволяющие оценить связь между «взрослой» и студенческой наукой. Были выбраны два основных индикатора – количество публикаций на репрезентативной внутренней конференции («Решетневские чтения» за 2009–2012 гг., индикатор 1) и количество программ для ЭВМ, имеющих государственную регистрацию в Роспатенте (2009–2012 гг., индикатор 2). Дополнительно были проанализированы связи между индикаторами. Основной задачей было выявление связи между количеством программ и публикаций, выполненных в рамках проектов с участием студентов, и их отношением к общему количеству публикаций и программ, выпущенных в исследуемый период (табл. 1).

Видно, что использование таких показателей может дать общую оценку исследуемой области, но, с другой стороны, пары частных показателей не способны отразить общую картину, что нередко требуется для задач управления, в частности планирования и прогнозирования.

Для анализа общей ситуации мы, в свою очередь, выделили четыре основных показателя.

• 1.    Количество участий студентов в научных мероприятиях.

• 2.    Количество студентов, принявших участие в научных мероприятиях.

• 3.    Количество публикаций.

• 4.    Количество призовых мест.

Эти показатели выбраны не случайно, поскольку именно они используются для планирования и составления отчетов. Исходные данные для анализа представлены по семестрам за 2002– 2012 гг. (табл. 2).

Таблица 2

Научные показатели студентов по семестрам

№ п/п	Учебный год	2002– 2003	2002– 2003	2003– 2004	2003– 2004	2004– 2005	2004– 2005	2005– 2006	2005– 2006	2006– 2007	2006– 2007
	Семестр	1	2	1	2	1	2	1	2	1	2
1	Количество участий студентов в мероприятиях	131	22	184	230	86	246	78	179	92	592
2	Количество студентов, принявших участие в мероприятиях	94	18	156	191	73	177	70	174	84	412
3	Количество публикаций	-	-	-	-	-	-	-	-	-	-
4	Количество призовых мест	118	17	163	194	53	233	62	165	60	394
№ п/п	Учебный год	2006– 2007	2007– 2008	2007– 2008	2008– 2009	2008– 2009	2009– 2010	2009– 2010	2010– 2011	2010– 2011	2011– 2012
	Семестр	2	1	2	1	2	1	2	1	2	1
1	Количество участий студентов в мероприятиях	592	111	1153	277	1125	389	1349	394	1216	425
2	Количество студентов, принявших участие в мероприятиях	412	87	719	235	783	315	984	321	960	289
3	Количество публикаций	-	-	824	139	928	239	1051	302	1041	227
4	Количество призовых мест	394	81	385	45	326	63	321	38	1216	127

Процессы изменения показателей имеют осциллирующий характер, это обусловлено естественными различиями между осенними и весенними семестрами. Научные результаты для весенних семестров, как правило, значительно выше.

Рис. 1. График изменения научных показателей студентов

В весеннем семестре научные показатели намного выше, чем в осеннем. Весной, как правило, проводится больше научных мероприятий и студенты активнее принимают участие. Помимо различий между семестрами, существует также ряд факторов, влияющих на активизацию научно-

Данную тенденцию можно отследить на графике (рис. 1). По горизонтальной шкале указано количество рассмотренных семестров, по вертикальной – соответствующие семестрам численные значения научных показателей.

исследовательской работы студентов, следовательно, и на показатели, характеризующие студенческую науку. Среди этих показателей: финансирование, информированность, трудоустройство студентов, отсутствие четкой цели для занятия научной работой, научные контакты с российскими и зарубеж-

ными вузами, стажировки в российских и зарубежных вузах, возможность публикаций студенческих работ, поощрение студентов, занимающихся научной деятельностью, организованность и планирование свободного времени студентов, организация учебного процесса, квалификация научных руководителей, уровень и объем исследований.

Указанные факторы по большей части представляют собой качественные (категориальные) характеристики. В количественном выражении можно выразить немногие из них, доступны для анализа только данные по финансированию научной деятельности.

Финансирование – один из важнейших факторов, влияющих на научные показатели. На сегодняшний день выделяются денежные средства для развития науки, инноваций, разработок. Именно финансирование способствует определенному росту научной деятельности в вузе.

Специфика задачи определяет выбор основного подхода к построению моделей. Для прогноза показателей научной деятельности будем использовать модели авторегрессионного типа. Для построения авторегрессионных моделей использовались параметрический подход (линейная модель Бокса – Дженкинса), непараметрический подход (нелинейная модель Надарая – Ватсона), модель в виде искусственной нейронной сети.

Результаты прогноза для всех научных показателей студентов в случае моделей Бокса – Дженкинса девятого порядка представлены на рис. 2, где модели построены в соответствии с выбранными научными показателями. Для настройки параметров модели используется метод наименьших квадратов.

Рис. 2. Параметрические модели прогноза научных показателей студентов

Непараметрическая модель Надарая – Ватсона реализует подход к построению нелинейной авторегрессионной модели. Настройка модели осуществляется оптимизацией среднеквадратической ошибки с использованием генетического алгорит- ма оптимизации. Порядок модели ограничен из-за трудностей в оптимизации модели по параметрам размытости. Результаты прогноза для показателей в случае модели второго порядка представлены на рис. 3.

Рис. 3. Непараметрические модели прогноза научных показателей студентов

Нейросетевой подход относится к интеллектуальным методам анализа данных. Для построения модели применялась искусственная нейронная сеть с тремя слоями.

Рис. 4. Нейросетевая модель прогноза по научным показателям

Оценка качества моделей и сравнение моделей различного типа проводились с использованием критерия fit .

fit =

/    i V N (у - y )²

1 –       i =1 i i . 100

I N =i О⁷ ,- ^- y ^{) ) 2}

где – вектор наблюдаемых значений (выход объ-

Сравнительный анализ моделей и алгоритмов прогноза научной деятельности студентов

Научные показатели студентов	Тип авторегрессионной модели	Порядок модели	Наилучший критерий fit
1. Количество участий в научном мероприятии	Модель Бокса – Дженкинса	9	91,42
	Непараметрическая модель	2	72,73
	Нейросетевая модель	2	69,45
2. Количество студентов, принявших участие	Модель Бокса – Дженкинса	9	78,98
	Непараметрическая модель	2	65,98
	Нейросетевая модель	9	76,95
3. Количество публикаций студентов	Модель Бокса – Дженкинса	9	80,45
	Непараметрическая модель	2	51,03
	Нейросетевая модель	5	67,77
4. Количество призовых мест	Модель Бокса – Дженкинса	9	77,9
	Непараметрическая модель	2	51,03
	Нейросетевая модель	9	70,23

Как видно из таблицы, по всем научным показателям наилучшие результаты показала модель Бокса – Дженкинса. Однако, если сравнивать результаты для моделей малого порядка (два), преимущество у непараметрической модели.

Настройка параметров сети осуществлялась методом обратного распространения ошибки (back propagation). Нейросетевые модели представлены на рис. 4.

екта при заданном входе), – вектор моделируемых значений (прогнозируемые). Данный критерий изменяется от –∞ до 100. При этом 100 считают наилучшим приближением.

В табл. 3 приведены условия построения моделей и соответствующие им значения критерия качества.

Таблица 3

Как было указано выше, научная деятельность студентов финансируется в том числе и за счет федерального бюджета, соответственно, данную деятельность необходимо правильно планировать. Полученные модели прогнозирования научных по-

казателей студентов могут использоваться в работе планирования научной деятельности студентов и ее финансирования в целом. Данный инструмент можно использовать для составления «Комплексного плана» в части планирования научной деятельности студентов. Такой подход к планированию сэкономит время специалистов при составлении Комплексного плана путем автоматизированного анализа данных научных показателей студентов.

В работе исследовались основные тенденции развития научных показателей студентов. Были изучены факторы, влияющие на них. Описаны регрессионные модели для динамических процессов. Разработаны алгоритмы и модели для оценки эффективности научных показателей студентов. Проведен сравнительный анализ моделей. Наилучший результат показали параметрическая модель Бокса – Дженкинса в случае авторегрессии высокого порядка и непараметрические авторегрессионные модели невысоких порядков. Полученные модели можно применить при планировании и финансировании научной деятельности.