Внеаудиторное жульничество: возможности выявления и минимизации

демического мошенничества на внеаудиторном жульничестве и возможности его выявления и использовали для решения данной задачи не опросы, а статистический подход.

Описание работы

Мы рассмотрели несколько групп студентов, в которых выполнялись как традиционные проверочные работы, так и различные внеаудиторные задания (см. табл. 1).

Оценки студентов из этих групп сопоставлялись с их кумулятивными рейтингами (в НИУ ВШЭ кумулятивный рейтинг студента рассчитывается как взвешенная сумма оценок за курсы, пройденные им ранее, вес оценки за тот или иной курс в рейтинге тем больше, чем больше образовательных кредитов за него начисляется).

Наша гипотеза состояла в том, что если для внеаудиторных работ характерен больший объем жульничества, чем для аудиторных, то оценки студентов за такие работы должны хуже коррелировать с их общими достижениями, которые характеризуются кумулятивным рейтингом. Кроме того, средний балл за внеаудиторные работы должен быть выше, чем средний балл за аудиторные виды работ и итоговый средний балл за весь наш курс.

Конечно, более высокие средние баллы за внеаудиторные виды работ сами по себе не свидетельствуют о жульническом поведении. Они могут объясняться и тем, что:

– на выполнение этих работ у студентов есть больше времени;

– при выполнении работы они находятся в психологически более комфортных условиях;

– работу можно повторить несколько раз, повышая свой результат, и др.

Высокий балл у каждого отдельного студента, имеющего по другим видам работ и другим предметам посредственные оценки, тоже не свидетельствует однозначно о факте его жульничества. Однако если такое явление распространено повсеместно и для множества студентов проявляется в низкой корреляции между оценкой за данную работу и оценкой за другие виды работ или за другие курсы, и сочетается с другими признаками, обзор которых приводится ниже, то это, по нашему мнению, уже может служить индикатором наличия жульничества.

Результаты

Результаты для разных групп студентов (для краткости мы обозначили их названиями соответствующих образовательных программ) приведены в табл. 2.

Разумеется, интерпретировать полученные результаты необходимо с большой осторожностью.

Прежде всего, студент может иметь более высокий рейтинг не только благодаря хорошим знаниям, но и за счет таких качеств, как активность, коммуникабельность, умение агрессивно отстаивать свои интересы. Возможно, этим на «Политологии» объясняется более сильная корреляция с рейтингом оценки за семинары, нежели оценки за письменный экзамен: первая оценка также в некоторой степени определяется именно коммуникабельностью и активностью студентов, в то время как на вторую эти качества не оказывают влияния. С другой стороны, вероятно, успешность студента и его будущая карьера в неменьшей степени зависят от этих полезных качеств, чем от подготовки по тому или иному предмету.

Второй проблемой, связанной с рейтингом, является разнородность предметов, составляющих его. Многие из них, такие, напри-

Группы студентов, результаты которых анализировались в работе

Таблица 1

Название учебного курса	Образовательная программа	Кол-во человек	Структура итоговой оценки
«Макроэкономика»	«Политология», НИУ ВШЭ, г. Москва	62	– оценка, выставленная преподавателем за семинарские занятия (25%); – оценка, полученная дистанционно на онлайн-платформе Курсера (25%); – оценка за «традиционный» письменный экзамен (50%)
«Макроэкономика»	«Менеджмент», НИУ ВШЭ, г. Москва	120	– оценка за семинары, включающая тесты в LMS (20%, в т.ч. 3% за тесты в LMS, выполняемые дистанционно); – две оценки за проводимые в аудитории контрольные работы (по 12,5%) и итоговый экзамен (50%); – оценка за эссе (5%)
«Экономика для неэконо-мистов»	«Реклама и связи с общественностью», НИУ ВШЭ, г. Москва	266	– оценка, полученная дистанционно на онлайн-платформе Курсера (другие компоненты оценки не рассматривались)
«Экономика для неэконо-мистов»	«Юриспруденция», НИУ ВШЭ, г. Нижний Новгород	61	– аналогично предыдущему
«Экономика для неэконо-мистов»	«Востоковедение», НИУ ВШЭ, г. Санкт-Петербург	107	– аналогично предыдущему

Примечание LMS, Learning Management System – локальная онлайн-плаформа, используемая в НИУ ВШЭ, содержащая видеозаписи лекций, слайды, онлайн-те-сты и другие учебные материалы.

мер, как английский язык или философия, весьма далеки от экономических дисциплин. Должна ли обязательно быть сильной корреляция между успехами студента по философии и по экономике? Возможно, но не обязательно.

Исходя из этих соображений, мы рассчитали коэффициенты корреляции оценок студентов не со всем рейтингом, а только с оценкой за другую, тесно связанную с «Макроэкономикой» дисциплину – «Микроэкономику». Микро- и макроэкономика являются частями общего курса, но читаются двумя разными преподавателями, выставляющими оценки независимо друг от друга. Насколько коррелированны оценки за разные виды заданий на нашем курсе с оценкой по «Микроэкономике», демонстрирует табл. 3.

Из сопоставления таблиц 2 и 3 видно, что для студентов-политологов, для которых указанные дисциплины не являются базовыми, корреляция оценок по «Макроэкономике» со всем рейтингом хуже, чем только с оценкой по «Микроэкономике». Можно предположить, что, микро-и макроэкономика для них близки между собой, но «чужеродны» по сравнению с другими предметами. Для менеджеров же, для которых экономические предметы более важны, коэффициенты корреляции с оценкой по «Микроэкономике» и с рейтингом в целом достаточно близки.

Наконец, в табл. 4 сопоставляются средние баллы, полученные изучаемыми группами студентов по разным видам работ. Так как за разные виды работ баллы могли выставляться по разной шкале (10-балльной, 100-балльной и др.), для удобства сравнения все результаты были переведены в проценты.

Данные таблиц 2 и 3 свидетельствуют, что какую бы корреляцию мы ни брали – и с оценкой по «Микроэкономике», и с рейтингом в целом, наиболее низкие коэффициенты корреляции характерны для видов работ, которые студенты выполняют вне прямого контроля преподавателя; средние баллы за все эти виды работ – самые высокие. Все это в совокупности согласуется с нашей гипотезой о больших объемах жульничества при выполнении внеаудиторных работ по сравнению с аудиторными.

Хочется отметить, что тот факт, что результаты согласуются с гипотезой, еще не означает обязательного ее выполнения. Однако в случае с описанными группами для некоторых студентов существовали и дополнительные признаки жульнического поведения:

– неестественно короткое время выполнения внеаудиторных тестовых заданий;

– неестественная результативность;

– нелогичный порядок выполнения заданий;

– нехарактерные для данного студента языковые обороты, «слишком грамотный» или «слишком научный» язык, апелляция к терминам, фактам и понятиям, которые еще незнакомы студентам на данной ступени обучения (при выполнении письменных работ).

При наличии хотя бы некоторых из вышеописанных признаков низкая корреляция и высокий средний балл за работу могут быть дополнительным индикатором наличия внеаудиторного жульничества.

Исходя из полученных результатов, встает очевидный вопрос о целесообразности использования подобных внеаудиторных заданий. С нашей точки зрения, внеаудиторные задания для студентов будут оправданными, если они в большей степени относятся к формативной оценке (formative assessment), нацеленной на использование задаваемых

Таблица 2

Коэффициенты корреляции между рейтингом студентов и их оценками за рассматриваемый курс

Образовательная программа	Корреляция рейтинга студентов с оценкой…
Политология	за семинары	0,55
	на платформе Курсера*	0,25
	за письменный экзамен	0,33
Менеджмент	за семинары	0,72
	только с оценкой за тесты в LMS	0,48
	за контрольную работу 1	0,59
	за контрольную работу 2	0,60
	за эссе	0,28
	за итоговый экзамен	0,70
Реклама и связи с общественностью	на платформе Курсера	0,17
Юриспруденция	на платформе Курсера	0,35
Востоковедение	на платформе Курсера	0,23

* Здесь и далее курсивом выделены дистанционные задания, выполняемые студентами вне прямого контроля преподавателя.

случае тесты в LMS в большей степени являются средством формативной оценки, тренировочным инструментом, мало влияющим на итоговую оценку, но помогающим подготовиться к выполнению более значимых для итоговой оценки заданий. Поэтому можно ожидать при выполнении тестов в LMS меньшего распространения внеаудиторного жульничества, что и подтверждают наши «индикаторы».

Таблица 3

Коэффициенты корреляции между оценкой студентов за курс «Микроэкономика» и оценками за заданиями курса «Макроэкономика»

Важнейшим фактором снижения внеаудиторного жульничества, без сомнения, является высокая мотивация студентов. Если основной мотивацией студента при выполнении данного задания является не формальное получение высокой оценки за курс, а приобретение знаний, исчезает сам смысл жульничества.

Образовательная программа	Корреляция оценки студентов по «Микроэкономике» с оценкой…
Политология	за семинары	0,59
	на платформе Курсера	0,42
	за письменный экзамен	0,65
Менеджмент	за семинары	0,70
	только с оценкой за тесты в LMS	0,46
	за контрольную работу 1	0,47
	за контрольную работу 2	0,52
	за эссе	0,31
	за итоговый экзамен	0,69

Таблица 4

Средние баллы за различные виды работ у студентов

Образовательная программа	Средние баллы, % от максимальной оценки за данную работу
Политология	за семинары	69,7
	на платформе Курсера	82,6
	за письменный экзамен	69,4
Менеджмент	за семинары	67,9
	только с оценкой за тесты в LMS	77,4
	за контрольную работу 1	55,2
	за контрольную работу 2	66,8
	за эссе	82,3
	за итоговый экзамен	65,7

Наконец, наиболее очевидным способом решения проблемы внеаудиторного жульничества в случае онлайн-курсов может быть использование прокторинга, т.е. мониторинга процесса прохождения студентом онлайн-тестирования с привлечением специального наблюдателя – проктора. Согласно множеству исследований (например, [7,9]) прокторинг действительно способен сократить мошенническое поведение. Однако в российских условиях влияние прокторинга на снижение жульнического поведения студентов пока не изучено, что задает очевидное направление для продолжения исследований.

Итоги вопросов в качестве дополнительного учебного средства, а не к средствам контрольного оценивания (summative assessment). К примеру, сравним между собой два вида он-

лайн-тестов – тесты на Курсере и тесты в LMS. Первые, с нашей точки зрения, рассматриваются студентами в основном как средство контрольного оценивания. Во втором

Для оценки эффективности внеаудиторных заданий важно осознавать степень распространения жульничества, связанного с их выполнением. Особенно это важно для онлайн-курсов, на которых внеаудиторные задания являются единственным возможным способом контроля. При этом зарубежные исследователи онлайн-курсов расходятся в оценке масштабов присутствующего на них студенческого мошенничества.

Наша работа свидетельствует о том, что для студентов рассмотренных нами образовательных программ жульничество действительно может иметь место как при онлайн-тестировании, так и при выполнении других видов внеаудиторных работ.

Основываясь не только на качественных, но и на количественных результатах, полученных с использованием предложенного нами индикатора, можно сделать следующие выводы.

Для всех рассмотренных видов внеаудиторных работ характерно сочетание в среднем более высоких оценок и их более низкой корреляции с общей успеваемостью студентов, чем для аудиторных работ, что, с нашей точки зрения, может свидетельствовать о большем распространении жульнического поведения при выполнении данного типа работ.

Распространение внеаудиторного жульничества можно снизить, снизив стимулы студентов к жульническому поведению.

Естественным продолжением нашей работы было бы проведение подобного анализа для более широкого круга студентов, образовательных программ и онлайн-кур-сов, а также проверка действенности использования прокторинга при проведении онлайн-тестиро-вания как метода снижения масштабов жульничества.