Проблемы инфляции оценок и симптомы академического мошенничества на МООК: о чем говорит учебная аналитика

Практика применения электронного обучения и дистанционных образовательных технологий получила широкое распространение как вынужденная мера в период локдауна во время пандемии COVID-19 и впоследствии стала привычной для большинства российских и зарубежных университетов. По данным Министерства науки и высшего образования РФ, к концу 2021 года количество основных образовательных программ, реализуемых с применением электронного обучения, возросло в 1,7 раза по сравнению с допандемийным периодом 2018 года, а число программ, реализуемых на основе дистанционных технологий, возросло в 2,5 раза [1].

Накопив за этот период достаточный опыт использования массовых открытых онлайн-кур-сов (МООК) в образовательной деятельности, вузы столкнулись с проблемами, связанными с контролем качества обучения и вопросами доверия к образовательным результатам, полученным студентами в новых формах учебного процесса [2]. Среди негативных проявлений можно назвать низкую вовлеченность и недостаточную активность студентов при освоении МООК [3], несовершенство контента и инструментов оценивания [4], академическую нечестность [5] и, как следствие, инфляцию оценок [6]. Следует заметить, что инфляция оценок наблюдалась и до пандемии, причем не только в российских, но и в зарубежных университетах, и выражалась в росте среднего балла успеваемости студентов и увеличении доли повышенных оценок без объективных предпосылок изменения образовательных результатов студентов [7]. Однако причины этого явления лежали, в основном, в субъективизме оценки преподавателями академических достижений студентов или в низкой различительной способности применяемых в очном формате инструментов оценивания [8].

Широкое внедрение в образовательную практику онлайн-курсов существенно повышает риски неконтролируемой инфляции оценок, что в дальнейшем может повлечь за собой потерю доверия к университетскому образованию со стороны работодателей. Сегодня перед университетами стоит задача переосмысления опыта применения технологий онлайн-обучения в образовательной деятельности, поиска оптимальных решений на основе данных учебной аналитики и системного внедрения новых форм образовательного процесса с глубоким анализом его эффективности и адекватности оценивания знаний и навыков студентов.

Настоящее исследование фокусируется на проблеме оценивания результатов обучения студентов на основе массовых открытых онлайн-курсов. Авторы задались исследовательским вопросом: позволяют ли объективно оценивать реальный уровень знаний и навыков студентов массовые открытые онлайн-курсы, размещенные на Национальной платформе открытого образования (НПОО) и используемые в образовательном процессе российскими университетами?

Обзор литературы

Тенденция повышения среднего балла успеваемости обучающихся и связанная с ней проблема инфляции оценок была выявлена достаточно давно [8]. Так, в исследовании 1995 года за авторством J. E. Stone утверждается, что до 15 % выпускников 1990-х годов в США не смогли бы получить диплом в 1960-х годах из-за более высоких требований к оцениванию [9]. Исследователь анализирует снижение академических стандартов, завышение оценок и бюджетные стимулы для увеличения количества обучающихся в США и призывает провести на государственном уровне глобальное исследование проблемы инфляции оценок, обращая внимание на явное отсутствие интереса к ней со стороны органов общественного надзора. Экстренный перевод образовательного процесса в дистанционный формат, обусловленный пандемией [10], обострил эту проблему для образовательных учреждений всего мира. Например, в Турции отметили инфляцию оценок в 9,21 %, что является самым высоким показателем из когда-либо зафиксированных [6]. Российские исследователи также отметили рост успеваемости студентов во время пандемии [11]. Зачастую его объясняют сознательным завышением баллов на экзамене или зачете преподавателями [12] или выбором студентов курсов с более «мягким» оцениванием при формировании индивидуальной образовательной траектории [13]. Поэтому исследователями даже ставится вопрос о возможности использования оценок в качестве показателя академической успеваемости [14].

Массовое использование МООК в образовательном процессе ставит перед исследователями вопрос о корректности оценок при прохождении студентами онлайн-курсов, зачастую не предполагающих даже процедуры прокторинга для итоговой аттестации. Изучая данный вопрос, исследователи делятся опытом использования МООК в качестве учебных материалов в рамках онлайн-курса для студентов магистерских программ [15], описывают модель оценивания прогресса и достижений студентов в МООК для оценки различий внутри и между пользователями [16], предлагают алгоритм поддержки учащихся адаптированными материалами курсов и оценками, основанными на результатах обучения, чтобы обучающиеся могли достигать лучших результатов обучения, следуя адаптированным учебным материалам и автоматически сгенерированным экзаменам [17]. Также авторы работ исследуют, кто и почему регистрируется на МООК, возможность студентов самостоятельно регулировать свое обучение в МООК [18], делятся опытом использования интерактивных модулей (видеороликов и презентаций) в МООК для мотивации и активизации студентов [19]. Ollé с коллегами считают, что для повышения эффективности открытых курсов в процессе планирования следует сосредоточить внимание на более строгом контроле за учебной деятельностью студентов и на разработке обучающих материалов, позволяющих обеспечивать эту непрерывную деятельность [20].

Стародубцев с коллегами, исследуя статистику активности слушателей онлайн-курсов, доказали, что оптимизация формы представления контента, временной структуры курса и качества контрольноизмерительных материалов позволяют увеличить учебную активность студентов [21]. По мнению Тихоновой, поиск адекватной формы оценки знаний и компетенций студентов является поводом для дискуссий. По мнению ученой, в условиях дистанционного обучения необходимо пересмотреть и усовершенствовать контрольно-измерительные материалы, используя гибкие режимы оценивания, увеличение значимости текущего контроля, внедрение альтернативных форм оценивания, направленных на развитие творческого и критического мышления студентов [22]. Саяпин для повышения качества контрольно-измерительных материалов предложил использовать цифровые технологии – они позволяют выстроить структуру контрольно-измерительных материалов в соответствии с заранее заданными статистическими критериями [23]. По мнению Базановой и Соколовой, для повышения мотивации изучения МООК важно не только высокое качество материалов курса, но и правильно выстроенная система пиринговых заданий [24]. Изосимов утверждает, что основной сложностью проектирования контрольно-измерительных материалов является недостаточность научно-методических и практических разработок в сфере оценивания сформированности компетенций обучающихся [25]. Захарова и Панасенко, исследуя достоинства и недостатки МООК для преподавателей, выяснили, что преподаватели высшей школы считают основным недостатком МООК несовершенство формата, вызванного особыми требованию к онлайн-кур-сам, высокой ресурсозатратностью и, как следствие, профессиональными рисками для преподавателя [4]. По этой причине необходимо переосмыслить образовательную культуру для продвижения новых подходов к обучению с применением возможностей технологического опосредованного обучения [26]. Контролируемое внедрение технологий онлайн-обучения в университете и использование учебной аналитики как инструмента мониторинга качества учебного процесса позволят нивелировать риски и предотвратить негативные последствия цифровизации вузов. На сегодняшний день накоплены большие данные на платформах онлайн-обучения, но недостаточно исследований, посвященных проблемам внедрения онлайн-техноло-гий при реализации учебных дисциплин на основе МООК, в том числе вопросам контроля результатов онлайн-обучения и рискам, связанным с академическим мошенничеством.

В ходе нашего исследования, направленного на изучение возможности использования массовых открытых онлайн-курсов для оценки результатов обучения студентов, будут решены следующие задачи:

• 1.    Выбор онлайн-курсов для проведения исследования, включая не менее 3-х запусков каждого курса для получения достаточной выборки;

• 2.    Анализ показателей качества контрольноизмерительных материалов онлайн-курсов на основе данных учебной аналитики;

• 3.    Анализ показателей успеваемости студентов (сравнение среднего балла и медианы) и их виртуальной посещаемости;

• 4.    Выявление случаев, указывающих на академическое мошенничество, на основе совместного изучения индивидуальной активности студентов и их успеваемости.

Методы и инструменты исследования

Для проведения исследования были выбраны онлайн-курсы гуманитарной, естественно-научной, инженерно-технической и социально-экономической направленности, разработанные Уральским федеральным университетом и размещенные на НПОО. Выбор осуществлялся, исходя из наличия не менее 2-х запусков в период пандемии и объемом выборки студентов, прошедших итоговое тестирование на платформе НПОО с идентификацией личности (прокторингом), не менее 100 человек.

Для анализа показателей качества контрольноизмерительных материалов онлайн-курсов (индекса решаемости и интегрального показателя качества), успеваемости студентов (средний балл и медиана) и средней виртуальной посещаемости была использована система рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор» [27], разработанная в УрФУ в рамках грантового проекта Министерства науки и высшего образования РФ «Создание модели цифрового университета». Система «Цифровой тьютор» использует ролевую схему, включающую основных участников образовательного процесса в университете – руководителей образовательных программ, преподавателей, тьюторов, студентов. Функциональность системы «Цифровой тьютор» направлена на поддержку участников образовательного процесса в решении стоящих перед ними профессиональных задач. Система основана на специально разработанных математических моделях для аналитики учебных данных, собираемых на платформе в процессе прохождения студентами онлайн-курсов, включая данные о разных типах активностей слушателей на платформе (log-файлы), их успеваемости по каждому контрольному мероприятию и итоговом прогрессе [28]. Система позволяет рассчитать показатели качества контрольно-измерительных материалов и статистические показатели успеваемости и активности (виртуальной посещаемости) студентов на платформе, а также визуализировать их в виде удобных графиков и дэшбордов. На рис. 1 приведена концептуальная схема системы «Цифровой тьютор» с примерами дэшбордов.

С помощью системы «Цифровой тьютор» можно проводить сравнение разных курсов по заданным критериям или отдельных запусков одного курса. Кроме рассчитанных показателей пользователь получает рекомендации по использованию курсов в образовательном процессе и их улучшению. Руководители образовательных программ на основе автоматизированного анализа большого массива данных принимают решения о включении курса в образовательную программу ¹ . Преподавателям и авторам курсов предоставлены удобные инструменты для мониторинга уровня

(§) Активные студенты сдавшие минимум 1 тест        Студенты, сдававшие итоговый тест

Индексы оценки курса

Тестирование 6: Учебное задание

Тестирование 8: Классификация

Тестирование 1: Введение

Тестирование 2: Требования функционал комфортности

Тестирование 5: Экологические требоваь

0,20

1,00

Частоты оценок в контрольной точке

Тестирование 3: Требования технической целесообразности

Тестирование 4: Требования экономичес целесообразности

Оценки

0,64

Индекс решаемости заданий

Индекс решаемости заданий - показатель

Рекомендованный диапазон

студентами прошедшими контрольные

Показать рекомендации

Индекс качества КИМ                                                                                                  Индекс качества КИМ — показатель.

осиоважый на ИРЗ. и отражающий                                                                                                                       адекватность КИМ реальному уровню знаний

0-18                                                                                                                       студентов. Нормальными считаются значения

0                            0,3 Рекомендованный диапазон 0.7                             1                  »диапазоне от _ до.

Показать рекомендации

Рис. 1. Концептуальная схема системы рекомендательных сервисов и поддержки индивидуализированного обучения «Цифровой тьютор»

Fig. 1. Conceptual scheme of the system of recommendation services and support for individualized learning «Digital Tutor»

активности студентов и их успеваемости2. Сервис «Компетентностный профиль студента» позволяет отследить процесс формирования компетенций студентов в динамике от начала до конца обучения. Система «Цифровой тьютор» предоставляет детализированную и визуализированную информацию о том, как обучаются студенты в онлайн-среде, на каких этапах они испытывают проблемы, какие стратегии обучения выбирают и какие результаты демонстрируют. На основании анализа данных цифрового следа система формирует рекомендации по совершенствованию материалов МООК, применимости курса для конкретной аудитории и ожидания успешного завершения курса студентами. Для выявления случаев, где может иметь место академическое мошенничество, используются гистограммы индивидуальной активности студентов на фоне средне-групповой активности, которые анализируются совместно с результатами успеваемости студента.

В Табл. 1 приведены данные по онлайн-курсам Уральского федерального университета (УрФУ), удовлетворяющим критериям отбора.

Среди них – 10 онлайн-курсов инженернотехнической и естественно-научной направленности (1-я группа) и 8 онлайн-курсов гуманитарной и социально-экономической направленности (2-я группа). По мнению авторов, такое разделение

Таблица 1

Описание онлайн-курсов и статистика слушателей

Table 1

Продолжение табл. 1

Table 1 continues

s3 ^ я ЭЯ S3 Я Я о о я я S3 Я S3 к о я я я я S3 я к Я я § я О S3 3 5 3 О Е^ и Я S3 и я я я о я о у 2 ч я я О S3 Я о я У ® S’ § >s m В ад" S3 дЗ « 3 Й U з 5 я я Я 5g1 S3 U о Й ? 3 ^ и и ЗЯ S3 Я эЯ" Н о н я 3 Я я £ и о О Й о я У 3 я о Технология конструкционных материалов Т 156 4 urfu/TECO/ 16 7–8 2020 весна 1273 38 484 4 51 2019 осень 777 28 218 3 23 2019 весна 823 39 321 10 82 Самоменеджмент Г 452 4 urfu/SMNGM/ 16 7–8 2020 весна 4000 12 480 2 80 2019 осень 4193 13 545 5 210 2019 весна 3244 13 422 5 162 Культура русской деловой речи Г 1247 3 urfu/RUBSCULT/ 12 7–8 2020 весна 4567 37 1690 4 183 2019 осень 3897 43 1676 22 857 2019 весна 2588 28 725 8 207 Беспроводные телекоммуникационные системы Т 101 3 urfu/TELECOM/ 16 6–7 2020 весна 765 16 122 3 23 2019 осень 590 23 136 12 71 2019 весна 342 10 34 2 7 Философия и методология науки Г 188 4 urfu/PHILSCI/ 15 7 2020 весна 1423 12 171 0 0 2019 осень 1595 30 479 11 175 2019 весна 1315 7 92 1 13 Практики системной инженерии Т 297 3 urfu/SYSTENG/ 12 3–9 2020 весна 821 33 271 15 123 2019 осень 951 28 266 11 105 2019 весна 690 28 193 10 69 Основы экономической эффективности производства Э 139 3 urfu/ECOEFF/ 16 8 2020 весна 1134 28 318 3 34 2019 осень 1096 28 307 8 88 2019 весна 872 20 174 2 17 Основы педагогической деятельности Г 210 3 urfu/EDUBASE/ 16 6 2020 весна 2839 13 369 2 57 2019 осень 2038 15 306 5 102 2019 весна 1279 9 115 4 51 Управление интеллектуальной собственностью Г 208 3 urfu/INTPR/ 9 7–8 2020 весна 1537 26 400 8 123 2019 осень 1988 19 378 3 60 2019 весна 1238 15 186 2 25 Философия Г 4257 3 urfu/PHILOSOPHY/ 16 7 2020 весна 5359 59 3162 45 2412 2019 осень 3107 39 1212 27 839 2019 весна 2794 51 1425 36 1006

Окончание табл. 1

Table 1 finishes

s3 ^ я ЭЯ S3 Я Я о о я я S3 Я S3 к о я я я я S3 я к § я О S3 3 5 3 О Е^ и Я S3 и я я я о я о у 2 ч я я О S3 Я о я У ® S’ § >s m В ад" S3 дЗ « 3 Й U з 5 я я Я 5g1 S3 U о Й ? 3 ^ и и ЗЯ S3 Я эЯ" Н о н я 3 Я я £ и о О Й о я я о История: 5 подходов к историческому развитию Г 2036 3 urfu/HIST_VIEW/ 16 6–7 2020 весна 1163 27 314 11 128 2019 осень 4771 59 2815 40 1908 Естественнонаучная картина мира Е 699 3 urfu/MCS/ 16 7–8 2020 весна 2128 31 660 12 255 2019 осень 1481 45 666 30 444

* Т – инженерно-технические курсы, Е – естественно-научные, Г – гуманитарные, Э – социально-экономические

Результаты и обсуждение

На основании данных учебной аналитики авторами был проведен анализ следующих показателей успеваемости студентов и качества КИМ он-лайн-курсов: средний итоговый прогресс по курсу, средняя оценка по текущей успеваемости студентов, оценка за итоговый тест, индекс виртуальной посещаемости, индекс решаемости заданий и индекс качества контрольно-измерительных материалов. Результаты проведенного анализа качества КИМ и успеваемости студентов представлены в Табл. 2. Как видно из таблицы, значение индекса решаемости заданий практически во всех запусках существенно превышает 0,7, находясь в среднем около 0,95. Это свидетельствует о слишком простых заданиях в курсах и нецелесообразности их использования для измерений результатов обучения. Исключение составляет лишь осенний запуск курса «Естественно-научная картина мира», чей средний индекс решаемости равен 0,62,

что может быть связано с низкой виртуальной посещаемостью контрольных точек курса (0,6), тогда как в остальных курсах этот показатель в среднем равен 0,9.

Второй индекс, характеризующий информативность и различительную способность КИМ, существенно отличается для разных курсов, однако в большинстве запусков не превышает 0,7, а среднее его значение по всем запускам равно 0,49. Выделяется два курса: «Основы метрологии, стандартизация и оценка соответствия» и «Философия», которые имеют индекс качества КИМ, превышающий нижнюю границу рекомендуемого диапазона. Таким образом, можно констатировать низкое качество и нерелевантность используемых в курсах тестовых материалов. Можно также предположить, что банк тестовых заданий в курсах слишком мал, что приводит к утечке верных ответов уже после первого запуска курса и проявлению академического мошенничества на последующих запусках.

Таблица 2

Показатели качества контрольно-измерительных инструментов и успеваемости студентов

Table 2

Quality indicators of the tests and students’ performance

cd & у я эЯ cd я я о cd к	о я я я ю cd Ян cd к	У cd	Средний итоговый прогресс по курсу			Средняя оценка по всем тестам, кроме итогового			Оценка за итоговый тест			Ян я ю й и о Я g m Я U	cd x 3S ч Я я я CD cd Я co Я s 8 о	cd s У со cd я м и
			я я cd Ю зЯ Я Я &	cd Я cd Я Ч 2	X я я я Я о X Я § 8 я о о о X я	я я cd ю зЯ &	cd cd Я ч 2	X я я я Я о X Я § 8 Я О о о X я	я я cd ю зЯ я я (D &	cd Я cd Я ч 2	X я я я Я о X Я Я о о о X я о 4
Инженерная механика	Т	2020 весна	78	81	90	80	86	86	74	76	81	0,93	0,93	0,7
		2019 осень	73	74	85	83	88	92	57	57	45	0,93	0,94	0,57
		2019 весна	65	68	65	67	73	67	61	64	55	0,82	0,9	0,65
Основы электротехники и электроники	Т	2020 весна	75	77	87	79	82	90	68	70	79	0,87	0,95	0,51
		2019 осень	64	64	66	68	66	73	58	55	44	0,8	0,92	0,66
		2019 весна	64	66	74	76	83	84	46	44	24	0,85	0,92	0,51
Основы метрологии, стандартизация и оценка соответствия	Т	2020 весна	73	73	89	83	86	93	62	62	56	0,99	0,94	0,73
		2019 осень	77	78	90	84	88	93	66	66	62	0,98	0,95	0,67
		2019 весна	65	68	67	77	86	85	47	49	39	0,96	0,89	0,77
Начертательная геометрия и инженерная графика	Т	2020 весна	73	76	91	86	93	91	53	52	33	0,98	0,94	0,59
		2019 осень	77	78	100	87	90	100	60	60	57	0,98	0,96	0,59
		2019 весна	67	74	72	76	84	83	53	64	61	0,91	0,91	0,69

Продолжение табл. 2

Table 2 continues

s3 Рч у я ЭЯ S3 Ч Я о о я я S3 Я S3 к	о я я я S3 Рч я к	У	Средний итоговый прогресс по курсу			Средняя оценка по всем тестам, кроме итогового			Оценка за итоговый тест			я Я и Я § и	S3 ч я я я о 5 я со Я s я ° S Рч Рч и	S3 Ч S У У Я Рч и
			ч Ю зЯ Я Рч	S3 S3 Я 2	X я я Я о X в я Я 3 о Рч	Я Рч	S3 2	X я я Я о х В я Я В о Рч X	я Рч	S3 2	X я я Я о х в я Я В о Рч X
Системная динамика устойчивого развития (Системная экология)	Е	2020 весна	77	78	83	81	92	69	69	70	72	1	0,95	0,17
		2019 осень	80	83	86	82	92	74	74	75	72	0,98	0,96	0,28
		2019 весна	82	83	94	74	90	54	91	100	95	0,98	0,91	0,37
Теория решения изобретательских задач	Т	2020 весна	80	76	100	80	80	100	74	72	50	1	0,98	0,04
		2019 осень	73	74	85	83	88	92	57	57	45	0,93	0,94	0,57
		2019 весна	65	68	65	67	73	67	61	64	55	0,82	0,9	0,65
Технология конструкционных материалов	Т	2020 весна	78	80	97	83	87	95	71	72	87	0,9	0,99	0,46
		2019 осень	81	84	95	88	93	96	70	75	87	0,93	0,99	0,24
		2019 весна	75	77	86	79	86	85	68	70	77	0,9	0,97	0,58
Самоменеджмент	Г	2020 весна	88	93	100	88	95	97	90	93	97	0,94	0,96	0,47
		2019 осень	88	90	99	91	95	98	84	85	94	0,96	0,98	0,44
		2019 весна	83	92	87	86	96	88	78	88	83	0,91	0,97	0,49
Культура русской деловой речи	Г	2020 весна	82	84	96	92	97	86	68	66	68	0,95	0,98	0,39
		2019 осень	83	85	93	91	98	82	70	69	67	0,94	0,98	0,36
		2019 весна	82	86	92	89	95	85	72	75	74	0,93	0,98	0,38
Беспроводные телекоммуникационные системы	Т	2020 весна	94	94	100	97	96	100	91	92	100	1	1	0,18
		2019 осень	90	93	98	91	96	95	89	95	94	0,99	0,98	0,58
		2019 весна	89	90	100	96	96	100	79	82	75	1	1	0,11
Философия и методология науки	Г	2020 весна	63	66	62	63	72	62	62	62	50	0,54	0,74	0,36
		2019 осень	69	70	76	73	79	76	64	62	52	0,56	0,83	0,6
		2019 весна	74	81	86	78	82	87	70	81	66	0,6	0,91	0,37
Практики системной инженерии	Т	2020 весна	96	100	100	99	100	97	91	100	96	1	1	0,19
		2019 осень	94	100	100	99	100	12	87	100	87	0,99	1	0,14
		2019 весна	90	96	95	92	100	15	86	90	91	0,93	1	0,29
Основы экономической эффективности производства	Э	2020 весна	71	74	73	72	70	70	70	71	73	0,79	0,89	0,53
		2019 осень	69	68	73	71	68	70	68	67	70	0,78	0,88	0,62
		2019 весна	72	78	81	74	84	73	69	76	61	0,73	0,97	0,4

Окончание табл. 2

Table 2 finishes

S3 Рч у я ЭЯ дЗ Ч Я о о я я дЗ Я S3 к	о я я я S3 Рч я S3 к	У S3 m	Средний итоговый прогресс по курсу			Средняя оценка по всем тестам, кроме итогового			Оценка за итоговый тест			Рч я Я и Я § Рч и	S3 ч Я я я о 5 я со Я s я ° S Рч Рч и	S3 Ч S У в 8 О S3 У Я Рч и
			ч S3 Ю зЯ Я Я Ч Рч	S3 Я S3 Я ч о 2	X я я Я о X в я Я 3 о о Рч о X к я о ч	я S3 ю зЯ Я Я Ч Рч	S3 Я S3 Я 2	X я я Я о х В я Я В о о Рч о X к я о ч	я S3 ю зЯ Я Я ч Рч	S3 Я S3 Я 2	X я я Я о х в я Я В о о Рч о X к я о ч
Основы педагогической деятельности	Г	2020 весна	83	84	98	87	90	97	76	78	86	0,92	0,98	0,58
		2019 осень	82	84	97	86	91	93	76	75	91	0,95	0,93	0,62
		2019 весна	86	88	98	81	83	94	93	95	100	0,87	0,91	0,59
Управление интеллектуальной собственностью	Г	2020 весна	80	82	90	90	97	91	64	65	66	0,96	0,98	0,56
		2019 осень	80	82	96	90	95	96	66	65	75	0,97	0,98	0,5
		2019 весна	74	80	85	86	97	91	56	65	58	0,92	0,98	0,43
Философия	Г	2020 весна	77	80	90	78	83	86	75	76	88	0,91	0,96	0,61
		2019 осень	72	75	82	79	84	85	55	54	34	0,91	0,94	0,62
		2019 весна	66	68	68	67	73	69	62	63	57	0,85	0,88	0,77
История: 5 подходов к историческому развитию	Г	2020 весна	79	81	90	83	91	88	73	75	78	0,92	0,96	0,69
		2019 осень	74	76	87	84	90	90	59	57	43	0,94	0,97	0,69
Естественнонаучная картина мира	Е	2020 весна	81	82	94	85	89	92	75	78	87	0,91	0,95	0,44
		2019 осень	66	67	82	71	74	89	57	57	42	0,6	0,62	0,3

Online courses description and students’ distribution

курсов на группы обусловлено спецификой областей знаний и особенностями обучения по соответствующим дисциплинам, что может отразиться на результатах исследования. Так, гуманитарные и социально-экономические дисциплины требуют обязательного включения коммуникативной составляющей при проектировании он-лайн-курсов (soft-skills), а инженерно-технические и естественно-научные курсы должны содержать большое количество заданий на отработку практических навыков (hard-skills). Трудоемкость он-лайн-курсов варьировалась от 2 до 5 зачетных единиц. Большинство из них рассчитано на семестровый период с интенсивностью освоения 6–8 часов в неделю. Анализ проводился по 52-м запускам курсов, включая весенний и осенний семестры 2019 года и весенний семестр 2020 года.

Количество слушателей, зарегистрировавшихся на выбранные курсы, составляет 91 346 человек. Из них была сформирована экспериментальная выборка слушателей, освоивших курсы в полном объеме и сдавших итоговое тестирование. Общий объем выборки составляет 12 140 человек, включая 3 403 слушателей онлайн-курсов 1-й группы и 8 737 слушателей курсов 2-й группы. Среди слушателей курсов были, в основном, студенты УрФУ, на некоторых курсах присутствовали студенты других российских вузов и физические лица, осваивающие курсы в инициативном порядке (их доля в общей выборке незначительна – от 3 % до 5 %).

Оценка качества контрольно-измерительных материалов (КИМ) курса проводилась на основе двух характеристик: трудности испытания (индекс решаемости заданий), который, согласно классической теории тестирования, рассчитывается

как доля испытуемых, выполнивших задание верно [29], и интегрального индекса качества КИМ, рассчитанного с использованием стандартных методов теории информации [30] для оценки информативности и различительной способности испытания [31]. Нормативными считаются значения индекса решаемости в диапазоне от 0,3 до 0,7. Если показатели выходят за границы рекомендуемого диапазона, то такое задание не позволяет измерить реальные достижения испытуемых (либо они все справились с заданием, либо никто не смог его решить). Индекс качества КИМ должен быть не ниже 0,7, в противном случае невозможно дифференцировать их по уровню знаний и сформированности навыков. В качестве дополнительной информации приводилось значение виртуальной посещаемости слушателями контрольных точек, что позволяло оценить их активность при освоении курса.

Одновременно с оценкой уровня качества КИМ анализировалась успеваемость студентов на курсах по промежуточным учебным и контрольным заданиям, итоговому контрольному мероприятию и итоговому прогрессу за курс. Оценки, полученные слушателями на итоговом тестировании, имели более высокую степень доверия в связи с тем, что итоговое мероприятие по курсу проводилось с применением прокторинга. В качестве показателей успеваемости использовались средние и медианные значения оценок слушателей, а также доли отличных, хороших, удовлетворительных и неудовлетворительных оценок. Для уточнения причин отклонений медианных значений успеваемости от средних выводилась частотная диаграмма распределения оценок по каждой контрольной точке.

Анализ текущей успеваемости студентов на всех промежуточных контрольных точках (за исключением итогового тестирования) подтверждает тот факт, что задания недостаточно сложны для испытуемых, и все они сдают тесты на высокие баллы. Среднее значение оценок по всем курсам равно 82, что соответствует оценке «отлично», а среднее значение медианы находится на уровне 87. Смещение медианы вправо от среднего значения свидетельствует о наличии инфляции оценок. Как следствие, доля хороших и отличных оценок критически велика (81 %) в сравнении с рекомендациями европейской комиссии Болонского процесса (доля оценок A – отлично, В – очень хорошо и С – хорошо не должна превышать 65 %3). Такие результаты обучения не вызывают доверия и снижают ценность университетского образования в глазах работодателя.

Следует заметить, что текущая аттестация в онлайн-курсах проводится без прокторинга, что создает условия для использования во время тестов дополнительных источников информации, помощи со стороны третьих лиц, списывания, тогда как итоговое тестирование предполагает идентификацию личности и контроль за соблюдением студентами правил поведения на экзамене. В этом случае итоговый тест должен показывать реальную картину успеваемости. Это действительно подтверждает анализ оценок слушателей курсов на итоговой аттестации. Как видно из таблицы, результаты итогового тестирования ниже, чем текущей аттестации, их среднее и медианное значения составляют 70 баллов и 72 балла соответственно. При этом наблюдается разброс оценок для разных курсов в диапазоне от 44 баллов до 100 баллов. Доля хороших и отличных оценок также ниже, чем в текущей аттестации, хотя по-прежнему находится на высоком уровне и составляет в среднем 69 %.

Итоговый прогресс по курсу является интегральным показателем результатов обучения слушателя, который включает оценки по текущей аттестации и итоговому тестированию с заданными весовыми коэффициентами. Итоговый прогресс по курсу пересчитывается в оценку по соответствующей дисциплине и переносится в балльнорейтинговую систему. Можно заметить, что в итоговом прогрессе слушателей исследуемой выборки проявляются те же проблемы инфляции оценок, что и в текущей аттестации. Доля хороших и отличных оценок в среднем равна 87 %, а средний балл и медиана успеваемости близки к 80 баллам (77,5 баллов и 80 баллов соответственно). Это подтверждает гипотезу о том, что онлайн-курсы не позволяют объективно оценивать реальный уровень знаний и навыков студентов из-за низкого качества контрольно-измерительных материалов, что приводят к сильной искусственной инфляции оценок студентов.

Анализ log-файлов на платформе помогает выявить случаи, напоминающие академическое мошенничество, хотя точно формализовать признаки таких действий пользователей достаточно сложно. На рисунке представлены гистограммы учебной активности трех слушателей курса «Естественнонаучная картина мира» на платформе НПОО (осенний запуск 2019 года) на фоне

Рис. 2. Гистограмма учебной активности трех слушателей курса «Естественнонаучная картина мира» на платформе НПОО (столбцы) на фоне средней активности студентов академической группы (точки) Fig. 2. A histogram of three students’ educational activity at the course «Natural-Science Picture of the World» on the open.edu platform (columns) against the average activity of their academic group (dots)

средней активности студентов той же академической группы. Как видно из рисунка, процесс освоения курса вторым и третьим слушателями отличается от первого существенной неравномерностью: крайне низким уровнем активности в течение всего семестра и двумя резкими пиками во время последних двух недель.

Количественные показатели учебной активности и успеваемости для этих слушателей приведены в Табл. 3. Средняя активность слушателя рассчитывается путем усреднения его активности по периодам времени, в которых он демонстрировал активность. Индекс активности показывает отношение средней активности слушателя к средней активности группы. Оба этих показателя близки для всех трех слушателей, тогда как индексы равномерности освоения курса, равные отношению стандартного отклонения активности слушателя к его средней активности, значительно отличаются. При равномерном освоении курса, как у первого слушателя, данный индекс положителен (0,13), а при наличии отдельных всплесков на гистограмме активности второго и третьего слушателя он принимает отрицательные значения (0,96 и 0,75 соответственно). При этом средние баллы текущей успеваемости, как и индексы успеваемости, показывающие отношение средних оценок слушателей к средней оценке группы, всех трех слушателей близки.

Это свидетельствует о том, что семестровый курс был успешно освоен вторым и третьим слушателем за две последние недели семестра. Можно предположить, что задания в курсе были слишком простыми, но, как видно из таблицы 2, индекс решаемости заданий в осеннем запуске онлайн-курса «Естественнонаучная картина мира» равен 0,62, то есть находится в диапазоне нормативных значений. Кроме того, курс ориентирован на студентов гуманитарных направлений подготовки и направлен на понимание физической природы явлений, что нелегко дается даже студентам инженерно-технических направлений подготовки. По мнению авторов, такие случаи можно квалифицировать как имеющие признаки академического мошенничества. В дальнейшем планируется провести более глубокое исследование поведенческих паттернов слушателей на массовых открытых онлайн-курсах с целью выявления и типизации признаков академического мошенничества по цифровым следам на платформах открытого образования.

Заключение

Перспективы развития высшего образования всего мира неразрывно связаны с расширением внедрения в образовательный процесс онлайн-кур-сов, которые позволяют студентам одновременно учиться в нескольких университетах из любой точки мира и строить индивидуальные образовательные траектории, выбирая из всего многообразия онлайн-курсов ведущих мировых университетов. В настоящее время использование МООК для реализации дисциплин и модулей учебного плана образовательных программ высшего образования вошло в обычную практику вузов.

Как любая инновационная технология, онлайн-обучение, с одной стороны, открывает новые возможности для развития образовательной деятельности, а, с другой стороны, сопряжено с рисками снижения качества обучения, возникновения случаев академического мошенничества, инфляции оценок и, в конечном итоге, потери доверия работодателей к университетскому образованию. В связи с этим возникает необходимость параллельно с развитием онлайн-обучения внедрять сервисы учебной аналитики в университете, которые

Таблица 3

Количественный показатели учебной активности и успеваемости слушателей онлайн-курса «Естественнонаучная картина мира»

Table 3

Quantitative indicators of the students’ educational activity and academic performance within the online course «Natural-Science Picture of the World»

Шифр студента	Средняя активность студента	Индекс активности студента	Индекс равномерности занятий студента	Средний балл текущей успеваемости студента	Индекс успеваемости студента
1520316	130.42	0,89	0,13	75	1,06
1528877	119.17	0,81	-0,96	72	1,01
1260543	129.57	0,88	-0,75	71	1,01

позволили бы осуществлять мониторинг активности и успеваемости студентов и контроль качества онлайн-курсов.

Отвечая на поставленный исследовательский вопрос, проведенное исследование подтвердило, что существующие онлайн-курсы на НПОО не позволяют объективно оценивать реальный уровень знаний и навыков студентов ввиду несовершенства контрольно-измерительных материалов и недостаточного объема банка заданий. Это приводит к неконтролируемой инфляции оценок, что подтверждается высокими значениями среднего балла слушателей (82 балла по текущему контролю и 70 баллов по итоговой аттестации), смещением медианных значений распределения в сторону больших баллов по отношению к среднему, а также критически высокой долей хороших и отличных оценок по всем курсам (80 %).

Выявленные проблемы не позволяют использовать МООК в модели исключительно электронного обучения и требуют применения смешанных форматов, например, модели перевернутого класса с переводом лекционных занятий в онлайн-среду и проведением практических занятий в традиционном формате. Итоговую аттестацию по дисциплине рекомендуется проводить на основе специально разработанного банка заданий для независимого тестового контроля, который соответствует требованиям классической психометрики.

Дополнительными инструментами снижения риска инфляции оценок и поддержания качества университетского образования при использовании технологии онлайн-обучения являются:

– постоянный мониторинг данных на платформе онлайн-обучения для выявления проблем с оцениванием результатов обучения студентов;

– повышение требований к качеству и вариативности контрольно-измерительных материалов в онлайн-курсах;

– ежегодное обновление банка заданий не менее, чем на 30 %;

– выявление и профилактика случаев академического мошенничества среди обучающихся на платформе;

– использование прокторинга не только на итоговом, но и на отдельных заданиях при текущем контроле, например, с помощью открытого приложения Moodle Proctoring.

Проведение данных мероприятий позволит повысить объективность оценивания реального уровня знаний и навыков студентов при прохождении онлайн-курсов и будет способствовать росту доверия к университету со стороны внешних стейкхолдеров.