Результативность научно-исследовательской работы студентов инженерного вуза: к проблеме оценки

Значение научно-исследовательской деятельности (далее — НИД) в становлении компетентного специалиста, готового к постоянному саморазвитию, по нашему мнению, лучше всего иллюстрирует мнение Ф. Э. Шереги: «Студенческая наука — сфера интеллектуального развития и повышения уровня эрудиции молодых людей, самореализации, развития творческих способностей; она помогает более глубоко усвоить учебный материал, развить навыки самостоятельного творчества и работы в коллективе» [1,

• с. 22]. Очевидно, что достичь наилучшего состояния системы (в нашем случае научной работы студентов) невозможно без реализации каждой из функций управления: планирования, организации, мотивации, контроля (оценки). Цель настоящей статьи — изложить авторский подход к контролю и оценке НИРС в инженерном вузе.

Материалы и методы исследования

Исследование в статье проводилось с помощью контент-анализа научных публикаций по проблеме, анализа и сопоставления различных методов математической обработки данных.

Результаты исследования и их обсуждение

Различные аспекты, связанные с оценкой научно-исследовательской работы в вузе, в настоящее время проработаны достаточно полно: комплексно научно-исследовательскую работу студентов (далее — НИРС) анализировали С. И. Архангельский [2], И. И. Ильясов [3], М. А. Федорова, А. М. Завьялов [4] и др.; анализ и формирование исследовательской компетентности, ее формирование в процессе НИРС начала изучать С. Н. Лукашенко [5], и далее исследования продолжились; как средство развития личности НИРС рассматривала И. А. Зимняя [6] и др.; в ра- ботах П. И. Пидкасистого и его школы используется понятие «учебно-исследовательская работа студента» и уточняется, что ее результатом является обязательно создание чего-то нового, исследование неизвестного [7]. Вероятно, поэтому за последние пять лет научный интерес к указанной проблематике снизился. Так, поисковый запрос «научно-исследовательская работа студентов технического вуза» выдает сто пять результатов, однако за последние пять лет было сделано только 12 публикаций, что составляет 11,42 %. Распределение частоты предмета исследования в статьях, посвященных НИРС, представлено в таблице 1.

Таблица 1

Распределение частоты предмета исследования в статьях, посвященных НИРС

Предмет исследования	Количество статей	Процент от числа публикаций
Общие вопросы НИРС	23	21,90
Организация НИРС	16	15,24
Связь НИРС с качеством образования, компетенциями выпускника	12	11,43
Особенности НИРС в различных направлениях подготовки специалистов (бакалавров)	11	10,48
Интерес, мотивация в отношении НИРС	11	10,48
Вовлеченность, мотивация участия в НИРС	7	6,67
Пути совершенствования НИРС	6	5,71
Этапы НИРС и их характеристика	5	4,76
Анализ и оценка НИРС	4	3,81
Воспитательный потенциал НИРС	4	3,81
Пути совершенствования НИРС	3	2,86
Влияние НИРС на успеваемость	2	1,90
Анализ публикационной активности	1	0,95

Как следует из таблицы 1, наибольшая частота исследований НИРС связана с общими вопросами, а именно: целями и задачами НИРС в соответствии с конкретными условиями и специальностью подготовки специалистов (либо бакалавров), принципами, функциями организации НИРС и т. п.; вторую позицию в рейтинге популярности предмета исследования занимает организация НИРС, третью — связь НИРС с качеством образования, компетенциями выпускника и их формированием в рамках НИРС.

В последние пять лет в проблематике НИРС исследования фокусировались:

– на формировании навыков (С. Р. Еникее-ва, Н. В. Никонова [8], М. Г. Рочева [9], С. С. Куценко [10]);

– развитии инженерного мышления (И. В. Филипчук [11]);

– возможностях профессионального становления личности в процессе НИРС (Ю. В. Никитина, С. В. Коновалов, О. А. Козырева [12]);

– формировании в рамках НИРС модели специалиста и надпрофессиональных компетенций (И. А. Погребная, С. В. Михайлова, Е. А. Колосов [13; 14]);

– анализе опыта реализации НИРС (С. В. Окишев [15], Е. В. Иванова, Д. Н. Коротаев [16], В. Е. Миронова, Н. В. Аксёнова [17], П. Н. Падерина [18]).

В то же время аспект оценки результативности НИРС остается недостаточно проработанным. В поисковом запросе «оценка научноисследовательской работы студентов» выдается девять результатов, причем из них только одна статья (Д. А. Севостьянов [19]), опубликованная в 2023 г., непосредственно относится к указанному нами предмету исследования, остальные же публикации имеют опосредованное отношение к предмету оценки НИРС. Не умаляя достоинств подходов, описанных в вышеупомянутой статье, отметим, что на практике сложные критерии затрудняют работу технических исполнителей, поэтому такие подходы (интересные и более точные) не находят широкого применения на практике.

НИРС является продолжением и углублением учебного процесса, одним из важных и эффективных средств повышения качества подготовки специалистов, поэтому можно утверждать, что научно-исследовательская работа студентов формирует надпрофессиональную компетентность, названную С. Н. Лукашенко [5], М. А. Федоровой и А. М. Завьяловым [4] исследовательской компетентностью, под которой подразумевается «как система научноисследовательских компетенций (НИК), так и возможность, и готовность их применения на практике» [4, с. 72-75].

В соответствии с указанным определением исследовательской компетентности целью НИРС выступает овладение методами получения новых знаний, приобретение навыков самостоятельного анализа социотехнических систем, социальных феноменов, социально-правовых явлений с использованием научных методик, а также умение аргументированно доказывать свою позицию в рамках работы формальных/ неформальных научно-исследовательских коллективов.

Вслед за Л. В. Чупровой [20] основными задачами НИРС считаем:

• -    развитие творческого мышления, расширение научного кругозора;

• -    формирование и развитие навыков самостоятельной научно-исследовательской работы;

• -    формирование умения применять теоретические знания и современные методы научных исследований в профессиональной деятельности.

Формы и методы привлечения студентов к научному творчеству можно разделить на научно-исследовательскую работу, включенную в учебный процесс, проводимую в учебное время, и НИР, выполняемую студентами во внеучеб-ное время.

Основными формами НИРС, включенной в учебный процесс, можно назвать:

• -    для I-II курсов — подготовка рефератов, индивидуальных домашних заданий с элементами научного поиска, участие в предметных кружках;

• -    на старших курсах дополнительно используются такие формы, как подготовка курсовых работ и курсовых проектов, дипломных проектов; выполнение научного эксперимента в рамках лабораторно-исследовательских практикумов.

К основным формам НИРС, не включенным в учебный процесс, относится участие в конференциях (подготовка статей публичное выступление, участие в дискуссии), конкурсах и олимпиадах.

Для достижения целей формирования исследовательской компетентности, а также вовлечения в НИР большинства студентов данной деятельностью необходимо управлять.

Под планированием научно-исследовательской деятельности студентов понимается [4]:

• -    разработка нормативных показателей участия студентов в НИР ;

• -    определение перспективных направлений научно-исследовательской деятельности и конкретной тематики научно-исследовательской деятельности кафедры, в выполнение которой рекомендуется вовлекать студентов;

• -    разработка плана научно-исследовательских работ студентов по кафедрам вуза;

• -    планирование индивидуальных занятий студентов, ведения научных секций, кружков, проведение конкурсов научных работ по кафедральной тематике НИР ;

• -    планирование активизации участия студентов в научной деятельности вуза.

Под организацией НИД студентов понимается система мероприятий, охватывающих деятельность всех подразделений вуза, направленную на оказание научно-методической помощи студентам и создание материально-методического обеспечения их самостоятельных занятий наукой [4]:

• -    обучение студентов методам научного исследования проблем;

• -    целостность и дидактическая обоснованность последовательного изучения студентами теоретического материала, выполнения практических и самостоятельных работ по дисциплинам учебного плана для формирования интеллектуальной базы научного развития;

• -    дидактически целесообразное использование форм, приемов и методов организации познавательной и научной деятельности студентов;

• -    создание условий для развития творческой самостоятельности студентов на основе использования проблемных и других методов активного обучения, элементов научного поиска;

• -    своевременное оказание студентам необходимой методической и практической помощи в выполнении НИР; акцентирование внимания студентов на актуальных вопросах, требующих научного обоснования и решения;

• - оказание методической помощи отдельным студентам в правильном распределении

бюджета времени с учетом их индивидуальных способностей, интересов и склонностей.

Качество управления НИРС в известной степени зависит от системы контроля, который является одним из средств управления образовательным процессом вообще и НИРС в частности. Руководство вуза, кафедры и конкретный преподаватель по результатам контроля определяют (на своем уровне) характер воздействия на ход исследований, мотивацию к научным исследованиям с учетом научного потенциала и индивидуальных способностей студента. На уровне руководства вуза целесообразно бывает провести статистически достоверное сопоставление результатов НИРС для выявления лучших практик (либо направления исследований) и их внедрения в подразделения, а также практик (направления исследований), показавших наименьшую результативность.

Основными требованиями к организации контроля НИДС являются [20; 21]:

– целенаправленность;

– объективность;

– действенность;

– систематичность, регулярность его проведения;

– гласность;

– дифференцированный подход, учитывающий специфику проводимых исследований;

– учет индивидуальных особенностей студентов, склонностей к научным обоснованиям и исследованиям.

Осуществим перенос теоретических положений на специфику деятельности конкретного инженерного вуза, а именно — Военного учебно-научного центра ВВС «Военно-воздушная академия им. профессора Н. Е. Жуковского и Ю. А. Гагарина» (филиал, г. Челябинск). Как известно, при реализации военно-научной работы (далее — ВНР) необходимо решить, как ми- нимум, две задачи: во-первых, выявить лучшее подразделение по выполнению ВНР (для анализа деятельности и переноса лучших технологий и приемов на деятельность других подразделений), во-вторых, иметь четкое понимание, что ВНР конкретного подразделения совершенствуется, т. е. число работ по каждому виду ВНР увеличивается, что предполагает (но не определяет) вовлечение в ВНР большего числа обучающихся.

Была поставлена проблема:

• 1)    выявить с использованием математических методов подразделение, показавшее большую вовлеченность обучающихся и использование большого числа видов ВНР, на основании этого рассчитать балльное значение результативности ВНР каждого подразделения;

• 2)    обосновать с использованием математических методов наличие сдвига исследуемого признака (ВНР) в сторону большей интенсивности, что предполагает большее число работ по каждому виду ВНР и увеличение числа видов.

На первом этапе решения проблемы оценки результативности ВНР нами был проведен анализ всех используемых видов, их классификация и присвоение каждому классу поправочного коэффициента (ПК). Результаты этой деятельности представлены в таблице 2.

Как следует из таблицы 2, все виды ВНР были разделены нами на три класса:

• –    формирующие (выполняемые преимущественно на I курсе), являющиеся подготовкой к выполнению последующих видов ВНР ;

• – базовые (выполняемые на II–II курсах), формирующие исследовательские компетенции;

  – учебно-профессиональные (выполняемые в основном на выпускном курсе), позволяющие непосредственно решать задачи и комплексно выполнять ВНР, формирующие исследовательскую компетентность.

Таблица 2

Классификация и ранжирование ВНР в ВУНЦ ВВС «ВВА» им. профессора Н. Е. Жуковского и Ю. А. Гагарина» (филиал, г. Челябинск)

Класс ВНР		Вид ВНР	ПК
О s H 2 & § О e	1	Подготовка сообщений по актуальным темам в рамках военно-технического информирования	0,5
	2	Разработка научных сообщений по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними в том числе на заседаниях военно-научных секций	1
	3	Разработка рефератов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук	0,5

Окончание таблицы 2

Класс ВНР		Вид ВНР	ПК
	4	Разработка рефератов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними на заседаниях военно-научных секций	1
	5	Разработка научных докладов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними на научных семинарах и конференциях	1
D и со ей W	6	Подготовка научных статей по различным аспектам военной науки для публикации в сборниках филиала	1,5
	7	Участие в изобретательской и рационализаторской работе, разработка и создание технических средств обучения, воспитания и контроля, действующих стендов и макетов	1,5
	8	Участие в международных олимпиадах курсантов	2,5
	9	Участие в выполнении плановых научно-исследовательских работ филиала	2,5
о К Л 6 й О &	10	Участие в конкурсах на лучшие научные работы, выполненные в вузах	4,5
	11	Моделирование физических, социальных, познавательных процессов и боевых действий	4,5
	12	Выполнение заданий исследовательского характера в период стажировки и практик	4,5

Поправочные коэффициенты были присвоены нами в соответствии со сложностью конкретного вида ВНР, чтобы доказать наличие (или отсутствие) сдвига в сторону учебно-профессиональных видов ВНР как формирующих компетентность выпускника. Поправочные коэффициенты были рассчитаны нами методом экспертных оценок в результате анализа мнений как профессорско-преподавательского состава филиала, так и независимых экспертов, имеющих ученую степень, ученое звание и опыт вузовской преподавательской деятельности. Таким образом, сложив выполненные ВНР каждого вида и умножив их на ПК, а затем суммировав результат, мы получаем балл ВНР каждого конкретного подразделения.

Учитывая, что периодичность исследования установлена один раз в полугодие, произведем расчет результативности ВНР. Например, в подразделении за полугодие было осуществлено:

– подготовка сообщений по актуальным темам в рамках военно-технического информирования — 27;

– разработка научных сообщений по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними в том числе на заседаниях военно-научных секций — 20;

– разработка рефератов по военной проблематике, актуальным вопросам военной на- уки, гуманитарных, естественных и технических наук — 15;

– разработка рефератов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними на заседаниях военно-научных секций — 9;

– разработка научных докладов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними на научных семинарах и конференциях — 10;

– подготовка научных статей по различным аспектам военной науки для публикации в сборниках филиала — 5;

– участие в изобретательской и рационализаторской работе, разработка и создание технических средств обучения, воспитания и контроля, действующих стендов и макетов — 12;

– участие в международных олимпиадах курсантов — 2;

– участие в выполнении плановых научноисследовательских работ филиала — 1.

Результативность ВНР подразделения будет соответствовать:

РВНР = 42 × 0,5 + 39 × 1 + 17 × 1,5 + 3 × 2,5 = 93.

Для решения второй задачи способом доказательства были выбраны критерии непараметрической статистики, «которые в случае, когда распределение не отвечает нормальному закону (как в данном случае), являются более мощны- ми, так как построены на подсчете частот и ранжировании, а расчеты по большей части просты и занимают мало времени» [22, с. 17].

Для оценки сдвига значений исследуемого признака нами был выбран T-критерий Вил-коксона, который «применяется для сопоставления показателей, измеренных в двух разных условиях на одной и той же выборке испытуемых. Он позволяет установить не только направленность изменений, но и их выраженность».

«Суть метода состоит в том, что мы сопоставляем выраженность сдвигов в том и ином направлениях по абсолютной величине. Для этого мы сначала ранжируем все абсолютные величины сдвигов, а потом суммируем ранги. Если сдвиги в положительную и в отрицательную сторону происходят случайно, то суммы рангов их абсолютных значений будут примерно равны. Если же интенсивность сдвига в одном из направлений перевешивает, то сумма рангов абсолютных значений сдвигов в противоположную сторону будет значительно ниже, чем это могло бы быть при случайных изменениях».

При использовании данного критерия необходимо строго соблюдать правила ранжирования [Там же, с. 87–94]:

• 1.    Меньшему значению начисляется меньший ранг (1). Наибольшему значению начисляется ранг, соответствующий количеству ранжируемых значений.

• 2.    В случае, если несколько значений равны, им начисляется ранг, представляющий собой среднее значение из тех рангов, которые они получили бы, если бы не были равны.

• 3.    Общая сумма рангов должна совпадать с расчетной, которая определяется по формуле:

, (1),

где N — общее количество ранжируемых наблюдений (значений).

Несовпадение реальной и расчетной суммы рангов будет свидетельствовать об ошибке, допущенной при начислении рангов или их суммировании. Прежде чем продолжить работу, необходимо найти ошибку и устранить ее.

Далее применяем алгоритм расчета Т-кри-терия Вилкоксона. Удобнее это делать, используя возможности электронных таблиц (MS Excel или аналоги) [Там же]:

• 1.    Перенесем в таблицу 1 количество абсолютных значений по каждому виду ВНР в первом и втором полугодиях.

• 2.    Вычислим разность между абсолютными значениями во втором и первом замерах. Определим, что будет считаться «типичным» сдвигом (в нашем случае — абсолютная величина по каждому виду ВНР во втором измерении должна быть выше абсолютной величины по каждому виду ВНР в первом измерении).

• 3.    Переведем разности в абсолютные величины и запишем их отдельным столбцом.

• 4.    Проранжируем абсолютные величины разностей, начисляя меньшему значению меньший ранг. Проверим совпадение полученной суммы рангов с расчетной.

• 5.    Отметим цветной заливкой ранги, соответствующие сдвигам в «нетипичном» направлении.

• 6.    Подсчитаем сумму этих рангов по формуле:

• 7.    Определим критические значения Т для данного n по таблице критических значений [Там же]. Если Т_эмп меньше или равен Т_кр, сдвиг в «типичную» сторону интенсивности достоверно преобладает.

T = ZRr, (2), где ^r — ранговые значения сдвигов с бо- лее редким знаком.

Применяя в нашей ситуации представленный выше алгоритм, составим таблицу 3.

При составлении таблицы 3 исключим из анализа виды ВНР, которые в исследуемый период не наблюдались (в нашем случае это 10, 11, 12 вид, составляющие группу учебно-профессиональных видов ВНР).

В таблице критических значений для девяти наблюдений (т. е. для девяти видов ВНР) Ткр = 8. «Типичный» сдвиг является достоверно преобладающим по интенсивности, если Тэмп ниже или равен Ткр. В нашем случае Тэмп = 9,5, что больше Ткр. След. овательно, типичный сдвиг не является до.стоверно преобладающим и увеличения интенсивности ВНР в данном подразделении во втором полугодии не произошло.

Таким образом, используя попарное сравнение результатов ВНР конкретного подразделения по полугодиям, можно установить значимость различий в интенсивности ВНР, а вычисляя результативность ВНР по приведенному нами алгоритму, можно сравнивать результаты ВНР подразделений в конкретном полугодии.

Таблица 3

Расчет Т-критерия (Вилкоксона) для установления значимости различий результативности ВНР подразделения в первом и втором полугодиях

№ ВНР	Вид ВНР	I полугодие	II полугодие	Разность	Модуль	Ранг
9	Участие в выполнении плановых научноисследовательских работ филиала	1	1	0	0	1
5	Разработка научных докладов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними на научных семинарах и конференциях	10	9	–1	1	2,5
8	Участие в международных олимпиадах курсантов	2	1	–1	1	2,5
3	Разработка рефератов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук	15	17	2	2	4,5
4	Разработка рефератов по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними на заседаниях военно-научных секций	9	7	–2	2	4,5
1	Подготовка сообщений по актуальным темам в рамках военно-технического информирования	27	30	3	3	6
6	Подготовка научных статей по различным аспектам военной науки для публикации в сборниках филиала	5	9	4	4	7,5
7	Участие в изобретательской и рационализаторской работе, разработка и создание технических средств обучения, воспитания и контроля, действующих стендов и макетов	12	16	4	4	7,5
2	Разработка научных сообщений по военной проблематике, актуальным вопросам военной науки, гуманитарных, естественных и технических наук и выступление с ними в том числе на заседаниях военнонаучных секций	20	25	5	5	9
	Сумма рангов «нетипичного» направления					9,5

Заключение

Предложенный нами алгоритм оценки результативности научно-исследовательской работы студентов инженерного вуза был разработан в условиях отсутствия нетрудоемкого решения данной проблемы. Надеемся, что приведенное обоснование и апробированный алгоритм будут полезны для решения аналогичной проблемы, а также послужат отправной точкой для дальнейших исследований.