Некоторые проблемы внедрения компьютерного тестирования для контроля результатов обучения графическим предметам

Интернет давно занимает лидирующее положение в цепочке создания, хранения и передачи информации. Создаются новые онлайн-программы не только для развлечений, но и для обучения.

Об электронном образовании в мире заговорили в середине 1990-ых гг. В основном это были электронные учебники. Затем, в 2000-2004 гг. появляются системы дистанционного обучения. В 2004-2009 гг. создаются облачные сервисы. А в 20082011 гг. основной формой электронного образования становятся открытые онлайн-курсы [1].

В 2015 году в России была запущена национальная платформа "Открытое образование", которая была учреждена ведущими российскими вузами МГУ им. М.В. Ломоносова, СПбПУ, СПбГУ, НИТУ "МИСиС", НИУ ВШЭ, МФТИ, УрФУ и Университет ИТМО, которая публикует курсы ведущих российских университетов в открытом доступе.

Дистанционное обучение содержит полный объем курса, и результат обучения зависит, как и при очном образовании, от качества образовательной методики и от желания обучающихся получить знания.

В 2016 г. Советом при Президенте РФ был утвержден паспорт приоритетного проекта – «Современная цифровая образовательная среда в РФ». Целью проекта является создание условий для системного повышения качества и расширения возможностей непрерывного образования для всех категорий граждан. Решить эту задачу разработчики проекта предлагают за счет развития российского цифрового образовательного пространства и увеличения числа обучающихся образовательных организаций, освоивших онлайн-курсы, с 35 тыс. до 11 млн человек к концу 2025 г. [2]. В 2017 г. Министерство науки и образования РФ в ходе конкурса на предоставление грантов определило 16 вузов, ответственных за реализацию различных мероприятий для достижения целей проекта [3].

Количество онлайн-студентов с каждым годом растет. Однако статистика показывает, что только 15% студентов завершают начатый курс [4].

Опрос, проведенный Фондом общественного мнения (База данных ФОМ [5, 6], 2013, 2015) показал еще один аспект дистанционного образования. На вопрос: «Если у студентов будет выбор: изучать тот или иной предмет очно, с посещением лекций и семинаров, или дистанционно, через интернет. Как вы думаете, какой вариант они будут выбирать чаще: очное обучение или дистанционное?» 48% опрошенных ответили – дистанционное.

А на следующий вопрос: «Как это скажется на качестве получаемого ими образования – положительно или отрицательно?» 49% считают, что отрицательно. Можно сделать вывод, что данный вид обучения может повлечь за собой недобросовестное выполнение заданий и отсутствие мотивации.

В рамках программы повышения квалификации по созданию и использованию массовых открытых онлайн-курсов (МО-ОК), которая была реализована Томским региональным центром компетенций в области онлайн-обучения на базе Института дистанционного образования Томского государственного университета (октябрь 2017 г. – июнь 2018 г.) [7], был сделан анализ некоторых особенностей реализации МООК на практике.

Вот какие выводы и оценки сделали участники программы:

– Онлайн-курсы представляют собой очень хороший способ приучить студентов к самостоятельной работе. Такой вид обучения требует большей ответственности.

– МООК позволит уйти от постоянного воспроизведения на лекциях сухой теории, которую можно посмотреть или почитать.

– Использование электронных ресурсов позволяет более качественно организовывать общение со студентами.

– В то же время – «процент студентов с высокой организацией труда невелик; там, где самостоятельная работа особенно важна, ее часто игнорируют вообще, накапливая долги, или выполняют задания формально».

– Исчезает сама личность преподавателя с его харизмой, которая во многом определяла для студентов интерес к предмету.

В октябре 2019 г. Федеральный институт развития образования РАНХ и ГС совместно с Институтом ЮНЕСКО по информационным технологиям в образовании (ИИТО ЮНЕСКО) провел научнопрактический семинар «Актуальные во- просы развития дистанционного обучения» [8].

Более 70 профессионалов в области дистанционного образования (включая 40 дистанционных участников) обменялись накопленным опытом в области разработки дистанционных курсов.

Обозначим проблемы, которые возникают в процессе внедрения дистанционного образования. Прежде всего, следует отметить большое различие между вузами, дающими гуманитарное образование, где занятия проходят в виде лекций и семинаров, и техническими, где главную часть составляет практика и лабораторные работы, для которых необходимо определенное оборудование.

Кроме того, есть проблема с идентификацией личности слушателей онлайн-курсов и спецификой оценки учебных результатов больших студенческих потоков. При онлайн-обучении трудно гарантировать, что сдавший задание человек не списал его, не скопировал текст чужого ответа, данного сокурсником по МООК, или не попросил своего более знающего предмет знакомого выполнить задание вместо него. Тем более встает вопрос качества контрольного тестирования, являющегося основным критерием оценки освоения учебного материала.

С учетом сказанного выше, тема данной статьи, посвященной анализу практического применения компьютерного тестирования студентов инженерных специальностей, является актуальной, так как оригинальная система тестирования, разработанная и применяемая в МГТУ им. Н.Э. Баумана, может успешно применяться для дистанционного обучения.

В 2015 году на кафедре «Инженерная графика» МГТУ им. Баумана стартовал эксперимент, целью которого было исследование применения компьютерного тестирования в образовательном процессе. За прошедшие 5 лет охват эксперимента вырос с двух групп до всех групп факультета «Специальное машиностроение» по дисциплинам «Инженерная графика» и «Начертательная геометрия». В осеннем семестре 2019 учебного года в эксперименте приняло участие 639 пользователей, а об- щее количество тестовых сессий составило годам представлен на рисунке 1. 3868. Объем эксперимента с разбивкой по

■ Уникальных пользователей ■ Тестовых сессий

Рис. 1. Число пользователей и количество тестовых сессий

Существенный объем накопленной статистики за пять лет позволяет провести качественный анализ эксперимента и сделать выводы. Как ранее отмечалось авторами [9], результаты компьютерного тес- тирования хорошо коррелируют с результатами графического тестирования и успеваемостью студента в целом. Статистика за 2019 г. подтверждает эти выводы (рис. 2).

Итоговая вероятность правильного ответа студента

Рис. 2. Корреляция итоговой оценки студента с результатами тестирования

Кроме этого, следует также отметить пьютерного тестирования позволяет сту-существенный образовательный эффект – денту лучше усваивать материал, что подповторное прохождение студентом ком- тверждается результатами графического тестирования и итоговой оценкой.

В качестве положительных сторон компьютерного тестирования преподаватели-участники эксперимента отметили также эффективное использование времени заня- тия: снижается время прохождения группой рубежного контроля, не нужно проверять контрольные работы, исключается фактор предвзятости оценки – все это позволяет преподавателю больше времени уделять проработке нового материала.

Вместе с тем, по мере увеличения коли- ния ответов (Сложнее запомнить, меньше вероятность получить вопрос с заученным ответом), так и списывания (меньше вероятность, что соседям будет задан аналогичный вопрос).

– Увеличение количества возможных вариантов ответа на вопрос совместно с использованием других форм тестовых заданий (множественный выбор, соответствие, последовательность) позволяет снизить вероятность угадывания.

– Рандомизация последовательности тестовых заданий, равно как и вариантов чества тестируемых студентов, стали воз- ответов, также позволяет снижать риск за- никать организационно-технические проблемы, как ожидаемые, так и не входив- шие в группу риска на этапе планирования эксперимента.

Первой и самой очевидной проблемой, решенной ещё на этапе планирования, являлась проблема угадывания, формального заучивания ответов и списывания. Для успешного решения этой проблемы необхо- димо улучшать как количественные, так и качественные показатели базы тестовых заданий:

– Большой объем базы тестовых зада- учивания или списывания ответов.

– Тщательный подбор времени, отве- денного на тест, позволяет снизить риски списывания с мобильных телефонов и иных источников из-за недостатка времени на лишние действия.

– На основе одних и тех же графических изображений формировались различные тестовые задания, что позволяло так- же снижать вероятность успешного списывания или заучивания ответов (рис. 3 и ний

позволяет снижать риски как заучива-

Рис. 3. Вариант тестового задания

Прямая AD четырехугольника AB CD является профильной прямой на чертеже

Рис. 4. Вариант измененного тестового задания

Гораздо сложнее оказалось решить проблемы аутентификации и авторизации студентов в системе тестирования. Изначально, для удобства студентов, пройти тестирование можно было в часы работы компьютерного класса кафедры, где находился дежурный преподаватель, который осуществлял контроль доступа и техническую поддержку. При небольшом количестве участников тестирования вопрос идентификации решался ведущим преподавателем самостоятельно.

По мере расширения числа участников эксперимента стала возникать проблема, связанная с неравномерной нагрузкой на компьютерные классы. В некоторые дни образовывалась очередь, в то время как в другие компьютерные классы были пусты. Кроме того, администратор стал фиксировать результаты, полученные вне времени работы компьютерных классов, так как доступ к системе был возможен со своим логином/паролем через интернет. Для решения данной проблемы сервер тестирования был перенесен в локальную сеть университета, а доступ из интернета был закрыт.

Одновременно с этим, была доработана система, где каждой группе отводилось определенное время в течение дня для тестирования. Вышеперечисленные меры дали лишь кратковременный результат, и через некоторое время модуль анализа результатов стал фиксировать результаты с IP-адресом, отличным от адресов компьютерного класса – студенты стали тестироваться из коридора через Wi-Fi сеть университета. Кроме того, анализ данных стал показывать нарушение корреляции между результатами работы студентов на занятиях и результатами тестирования.

Проведенный анализ, вместе с повторным тестированием сомнительных с точки зрения текущей успеваемости результатов, выявил проблему доступа к системе под чужими учетными данными, то есть, за отстающих студентов тестирование проходили другие студенты. Дальнейшее ужесточение правил доступа к системе были признаны нецелесообразными, а именно:

– Необходимость проверки студенческих билетов с целью идентификации тестируемых создавала серьезную нагрузку на дежурных преподавателей.

– Внедрение двухфакторной аутентификации никак не решало проблему не- санкционированного доступа к системе, если студенты действовали по предварительной договоренности.

В качестве компромиссной меры в 2019 году было принято решение проводить тестирование во время занятий на неделе рубежного контроля по модулю под руководством ведущего преподавателя. Большое количество студентов (650 человек, 30 групп), участвовавших в контрольных ме- роприятиях на одних и тех же неделях одновременно, требовало серьезных усилий со стороны организаторов тестирования. Однако подобный подход проявил себя достаточно хорошо:

– Отсутствие возможностей подлога результатов – при тестировании присутствует ведущий преподаватель.

– Замена бумажной контрольной работы тестированием позволяло тратить вре- мя преподавателям на консультации вместо проверки работ.

– Тестовая выборка показала хорошую корреляцию результатов компьютерного тестирования и графической контрольной работы.

За прошедшие пять лет авторами эксперимента была проделана большая работа в части внедрения методологии тестирования в учебный процесс. Решен ряд практических задач, направленных на расширение тестовой базы и совершенствования программного обеспечения собственно тестирования. Полученные статистические данные позволяют сделать вывод о поло- жительных результатах использования компьютерного тестирования в образовательном процессе.

В то же время одной из наиболее сложных задач компьютерного тестирования, как и других форм дистанционного образования, по-прежнему остается проблема аутентификации и авторизации, препятствующая их широкому внедрению. В настоящий момент без использования до- полнительных аппаратно-программных средств невозможно полностью автономное тестирование студентов. С развитием современных технологий становятся доступными более точные биометрические способы аутентификации, такие как распознавание лица, голоса, которые обеспечат решение данной проблемы, но при этом следует отметить, что и сам контроль в ходе обучения является не целью, а сред- ством, позволяющим оценить уровень полученных знаний. Для анализа результатов тестирования и своевременной корректировки учебного процесса по-прежнему необходимо непосредственное участие преподавателя, роль которого остается важнейшей.

Поэтому будущее образование студен- тов должно гармонично сочетать как новые, основанные на применении цифровых технологий, так и традиционные формы обучения.