Методические рекомендации по организации контроля знаний в системах электронного обучения на примере системы Competentum

Одним из наиболее важных показателей эффективности работы профессорско-преподавательского коллектива при обучении студентов является объективная оценка уровня знаний и компетентностных навыков, которыми должны обладать слушатели [5].

Контроль уровня сформированности универсальных учебных действий, достигнутых в процессе обучения студентов, может осуществляться с применением современных технологий, предоставляемых системами электронного обучения [1, 5]. Одним из примеров такой системы электронного обучения является линейка программных продуктов компании Competentum.

Целью работы является формирование методических рекомендаций по организации контроля знаний студентов в системе электронного обучения компании Competentum.

Методические рекомендации

Образовательные цели, поставленные перед студентами при изучении каждой конкретной дисциплины, должны быть легко диагностируемыми и обладать объективным уровнем сложности, чтобы иметь возможность отделить обязательный минимум содержания образования, задаваемый требованиями Федерального государственного образовательного стандарта и рабочей программой по дисциплине, составленной в соответствии с основной образовательной программой вуза по направлению, от требований к уровню подготовки студентов по окончании изучения курса [2].

Основным преимуществом применения систем электронной системы тестирования являются критериально-ориентированный подход к оценке образовательных достижений обучаемых. Особенность данного подхода заключается в оценке соответствия уровня достижений каждого отдельного обучающегося некоторым нормам, задаваемым стандартом или образовательной программой. При этом неважным становится начальный, стартовый уровень владения материалом, так как формируется индивидуальная траектория обучения студента и определяются его индивидуальные нормы развития. Принцип дифференцированного обучения тесно связан с индивидуализацией процесса обучения, консолидация данных об учебных достижениях студента по дисциплине позволяет преподавателю спрогнозировать динамику его дальнейшего развития, в конечном счете, на практике осуществлять интегрированный подход продвижения студента из зоны актуального в зону ближайшего развития.

В то же время критериально-ориентированный подход при электронном тестировании позволяет избежать субъективной ориентации преподавателя на статистические нормы усвоения знаний, определяемые для конкретной группы учащихся.

Методика применения системы электронного обучения компании Competentum при организации контроля знаний строится на одной из базовых форм проведения компьютерных тестов – автоматизированной генерации вариантов тестов. Это предполагает динамическое создание вариантов теста лично для каждого назначенного пользователя системы в момент его первого обращения к тесту. Считается, что база тестовых вопросов, разрабатываемая преподавателем, обладает устойчивыми статистическими характеристиками, сложность и разнородность вопросов откалибрована в соответствии с педагогикоэргономическими требованиями к тестам. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Каждый преподаватель при формировании банка тестовых заданий в программной системе Competentum.АВТОР формирует набор разделов теста, соответствующих тематическому содержанию учебного материала и предполагаемой сложностью тестовых заданий, указывая для каждого раздела количество выводимых студенту при тестировании вопросов.

Наличие большого количества типов тестовых вопросов в рассматриваемой системе позволяет расширить спектр измеряемых умений и навыков при тестировании.

Типовыми видами тестовых заданий, используемых преподавателями в системах электронного обучения, являются вопросы на выбор единственного или нескольких правильных вариантов ответов, вопросы на установление соответствия и порядка. Иногда к таким видам заданий относят также вопросы на категоризацию и заполнение пропусков, матричный выбор и ранжирование.

Типовые вопросы знакомы студентам, не вызывают затруднений при тестировании, как в плане понимания, что нужно сделать, так и при реализации интерфейса вопросов. В то же время дидактически целесообразно применять другие типы вопросов для организации контроля универсального характера знаний студентов. Широкие возможности для написания комплексных вопросов представляет тип «Заполнение пропусков DND», который позволяет оставить в предложении несколько пропусков и организовать выбор вариантов ответов для каждого из них (как вариант – тип вопроса «Заполнение пропусков с выбором»). Множество вариантов вопросов с использованием матриц также позволяет создавать интересные и сложные вопросы, требующие больше времени на ответ, но при этом стимулирующие интерес к изучаемой дисциплине и мотивирующие к применению нестандартных алгоритмов обработки и осмысления изученной информации.

Конечно, процент включения нетипичных вопросов в тест должен обосновываться уровнем подготовки студентов, временем, отводимым на тестирование, достаточным опытом работы с оболочкой и другими факторами.

После разработки базы тестовых вопросов для входного, промежуточного, текущего или итогового контроля по дисциплине и некоторой настройки будущего теста (указание численных параметров теста – количество вопросов, длительность, а также других характеристик) преподаватель начинает работать с системой «Магистр» (последние версии данной программной системы называются ShareKnowledge), где непосредственно настраивает планируемый сеанс тестирования студентов и позже отслеживает ход и результаты тестирования.

Далее приводятся методические рекомендации по использованию программной системы «Магистр». В ходе своих действий преподаватель должен загрузить в систему тест и настроить его для прохождения, учитывая специфику организации контрольных мероприятий в учебном заведении и по конкретной дисциплине.

Шаг 1. Импорт подготовленного в программе «АВТОР» теста в систему «Магистр». Особенностью экспорта подготовленного в программе «АВТОР» теста является наличие возможности выбрать желаемый стандарт экспортирования. Наиболее целесообразным для применения является стандарт SCORM 2004, т.к. он позволяет использовать данный курс в различных системах дистанционного обучения и является одним из самых распространенных наборов спецификаций.

Шаг 2. Публикация импортированного теста осуществляется с указанием предустановленных правил назначения теста и его кода.

Шаг 3. Определение параметров тестирования. На этом шаге необходимо задать дату и время сдачи, выбрать шкалу оценок, указать количество попыток прохождения теста.

Шаг 4. Назначение теста студентам на контрольном мероприятии может происходить по мере заполняемости компьютерного класса, с назначением каждого конкретного студента или целой академической группе.

Шаг 5. Контроль и проверка результатов – один из разделов узла «Управление обучением», в котором для каждого теста можно просмотреть состояние тестирования каждого пользователя, вплоть до просмотра вопросов, которые у него были отобраны системой из общей базы вопросов, а также динамически изменяющиеся результаты в ходе тестирования и итоговый результат и отчет об ошибках после завершения сеанса.

Наиболее значительное число применений электронной системы тестирования происходит в момент заранее закрепленной в семестре контрольной точки (промежуточный тест, зачет, экзамен) и в синхронном режиме, т.к., как правило, академическая группа студентов одновременно проходит тестирование по дисциплине. Тем не менее, имеет место и асинхронное проведение тестирования, когда преподаватель публикует тест и назначает его группе студентов на определенный период (например, месяц), в течение которого они должны изучить некоторый материал и затем пройти тестирование для подтверждения усвоения знаний, возможно, за несколько попыток. Обычно такие возможности системы используются для организации тестирования по дополнительным, не обязательным, разделам курса, а также разделам, имеющим высокий уровень сложности и большую тесто- вую базу вопросов. Рассмотренную систему можно применять для организации самоконтроля знаний студентами, получаемых в рамках внеаудиторной самостоятельной работы, что существенно расширяет возможности и в целом роль самоконтроля как формы организации обучения.

Система электронного обучения «Магистр» развернута на виртуальной сетевой инфраструктуре «Персональный виртуальный компьютер», действующей в ЮУрГУ в аудиториях, подключенных в сети Internet. Данная технология позволяет осуществить доступ из любой точки мира к виртуальному рабочему столу с установленным программным обеспечением и необходимыми образовательными сервисами [4].

Система «Магистр» позволяет организовать прохождение тестирования у больших потоков студентов, где в различных академических группах ведут занятия разные преподаватели. В таком случае лектор или держатель теста, публикует учебный тестовый материал с назначением преподавателей. У назначенных преподавателей появляется возможность осуществлять контроль и проверку результатов тестирования всех студентов, а не только той академической группы, в которой он ведет занятия, что можно обозначить как некоторый недостаток системы. Обычно, проведение текущего тестирования по разделу учебной дисциплины у потоков, состоящих из большого количества академических групп студентов, не удается организовать одновременно. Поэтому тестирование проводится в синхронном режиме (все студенты одной группы должны пройти тестирование одновременно, на одном занятии), но для каждой академической группы выделяется собственный период сдачи, чтобы избежать возможности удаленного тестирования отсутствующими студентами. При этом преподаватель, держатель теста, может опубликовать учебный материал несколько раз с назначением различных ведущих преподавателей и различных академических групп.

Система электронного обучения Competentum предоставляет преподавателю готовый шаблон сценария диалога со студентами, предустановленные классификации (шкалы) уровня знаний и умений студентов в зависимости от цели тестирования. Вместе с этим администратор системы может, исходя из потребностей конкретного учебного заведения, подразделения или даже преподавателя, создать новую шкалу оценок. Так, на ряде факультетов Южно-Уральского государственного университета внедрена балльно-рейтинговая система оценки успеваемости студентов по дисциплине, которая предполагает использование шкалы соответствия традиционных оценок некоторому набору чисел, соответствующих баллам, полученным студентом в течение семестра и на итоговых контрольных мероприятиях. В предустановленный набор шкал оценок были добавлены такие шкалы как «Экзамен» ( от 50 % – « удовл. » , от 65 % – « хор.», от 75 % – « отл. »), «Пересдача» ( от 65 % – « удовл. » , от 75 % – « хор. » , от 85 % – « отл. »), «Вторая пересдача» ( от 75 % – « удовл. » , от 85 % – « хор. » , от 95 % – « отл. »), «Зачет» (от 60 % – « зачтено »).

Тесты как структурные единицы электронного учебного материала могут быть опубликованными как постоянно, так и ограниченное время, и изыматься из учебных планов студентов, отображаемых на узле «Мое обучение». При этом результаты пройденных тестов сохраняются и могут быть доступны студенту наравне с преподавателем, в зависимости от выбранного статуса публикации: «Разрабатывается» (не доступен в каталоге новых учебных курсов у студентов; если студент успел ранее начать сеанс тестирования, до перевода в состояние разработки, тест будет доступен, результаты будут сохранены), «Изъят из каталога» (тест не доступен в каталоге новых и пройденных учебных курсов у студентов, но доступен для всех преподавателей, назначенных для данного курса, все результаты доступны) или «В архиве» (тест не доступен в каталоге новых и пройденных учебных курсов в студентов, не доступен для преподавателей, назначенных для данного курса, но результаты тестирования доступны держателю теста).

Особенностью изъятия теста из системы или помещения его в архив является сохранение в полном объеме результатов тестирования каждого теста, включая протоколы тестирования для каждого студента.

Удаление учебного материала не приводит к изменению в статусе ранее опубликованного теста, так же как и его обновление: преподавателю нужно иметь в виду, что если студент начал тестирование, то обновление учебного материала и его повторная публикация с новыми настройками не приведет к автоматическому обновлению начатого сеанса тестирования. Поэтому при создании теста нужно остерегаться возможных ошибок в содержании или настройках электронного учебного материала.

Методическое описание этапа контроля уровня усвоения содержания образования отражено в представленных рекомендациях полностью и указывает на возможность циклического возврата к определенным этапам процесса настройки, организации хода и мониторинга результатов тестирования.

Заключение

Исходными данными к началу разработки методических рекомендаций по организации контроля знаний в электронной системе обучения компании Competentum являлись требования, которые выдвигаются к тестам на проверку уровня обученности, формы компьютерных тестов, особенности компьютерного тестирования с применением рассматриваемой программной системы.

Разработанные методические рекомендации детально отражают процесс настройки и мониторинга результатов тестирования студентов в системе электронного обучения компании Competentum, применяющейся на факультете Вычислительной математики и информатики Южно-Уральского государственного университета.

Опыт применения данной системы выявил необходимость в проведении репетиционного тестирования для студентов, впервые работающих в данной системе, а также возможность и оправданную необходимость ее развертывания и использования в виртуальном пространстве, предоставляемом студентам Южно-Уральского государственного университета программной реализацией технологии обучения «Персональный виртуальный компьютер» [3].