Требования к текстовым заданиям как элементу контроля в системе дистанционного образования

Одной из важнейших проблем дистанционного обучения является организация итогового контроля знаний обучаемых. В большинстве случаев студенты сдают зачеты и экзамены в форме компьютерного тестирования, так как оно позволяет без участия преподавателя оценить полученные знания. Но зачастую вузы сталкиваются с ситуацией, когда некорректно составленные тестовые задания не могут оценить качество подготовки студентов. Подобная ситуация не только подрывает престиж вуза как продавца образовательных услуг, но и нарушают сам процесс дистанционного образования. Таким образом, перед многими вузами встает задача разработки качественных бан ков тестовых заданий (БТЗ).

Сибирский университет потребительской кооперации (СибУПК) - негосударственное учреждение высшего профессионального образования Центросоюза РФ. С 2010 г. в вузе внедряется система дистанционного образования, контроль знаний студентов в которой основывается на разработанном в 2009 г. стандарте «Подготовка и проведение компьютерного тестирования». Приведем основные положения стандарта, касающиеся требований к разработке тестовых заданий. Процедура экспертизы и статистического анализа качества БТЗ в данной статье рассматриваться не будет.

При разра ботке тестовых заданий в первую очередь следует помнить, что тестовым заданием признается краткое высказывание, логически и содержательно законченное, имеющее однозначно определяемый ответ. Задания, сформулированные в форме вопроса или повелительного предложения, тестовыми заданиями являться не будут, так как они не являются высказываниями и к тому же грамматически усложнены вспомогательными словами.

В системе AST-Test, используемой СибУПК, реализованы следующие формы тестовых заданий:

• -    открытой формы - тестируемому нужно самому вписать слово, цифру, словосочетание, т.е. варианты ответа к тестовому заданию отсутствуют;

• -    закрытой формы - подразумевает под собой выбор тестируемым вариантов ответа среди уже предложенных, при этом может быть как один, так и несколько правильных вариантов ответа;

• -    установление соответствия - предполагает необходимость определения тестируемым пар из двух приведенных множеств объектов, при этом каждому элементу первой группы соответствует только один второй группы;

• -    на восстановление последовательности -требует от тестируемого определения правильного порядка следования предложенных объектов.

Для компьютерного тестирования, по нашему мнению, необходимо использовать по возможности все формы тестовых заданий, так как тестирование становится более разнообразным. К тому же для разных элементов содержания образования подходят разные по форме задания. Если автор сведет все многообразие учебного материала к однотипным заданиям, он получит некачественный БТЗ, в котором содержание не соответствует форме.

Области примен ения указанных выше форм тестовых заданий приведены в таблице. Из нее видно, что тестовые задания на установление последовательности имеют ограниченный круг применения.

По нашему мнению, при составлении тестовых заданий для компьютерного тестирования следует учитывать следующие требования, многообразие которых объединено нами в четыре категории.

• 1.    Базовые требования:

• а)    краткость и ясность формулировки, отсутствие неоднозначности;

• б)    использование заданий с однозначными ответами, независимость правильного ответа от научной школы автора;

• в)    связь каждого тестового задания с конкретным фактом, принципом, умением, знанием;

• г)    указание в ключе для заданий открытой формы всех возможных правильных ответов;

• д)    число вариантов ответа для заданий на восстановление последовательности или соответствия - не более 5-6 (в противном случае

• 2.    Логические требования:

затрудняется восприятие вариантов отв ета и увеличивается время на решение тестового задания).

Область применения тестовых заданий разных форм

Проверяемый элемент знаний	Формы тестовых заданий
	и § cd § щ S S со Я § ° Ф СО 5 5 в ° н в к В § g 1 « 1 m со	cd  „ X В Я о к | к д м s es R л н cd О Q о Н у К щ S и и н а И g о	cd 3 к о	о S 55 Щ Э у 03 со о о н о 2 О О О О са	S S о са о щ cd о ч са о О К
Названия объектов	+	—	+	+	—
Формулы	+	в случае наличия нескольких способов расчета показателей	для расчета значений по формулам	+	—
Смысл терминов, названий, имен	+	+	+	+	—
Определения	+	—	+	+	—
Сравнение и сопоставление объектов, противоположности, противоречия, антонимы, ассоциации	+	+	+	+	—
Классификации	—	+	—	+	—
Причинно-следственные отношения	+	+	+	—	—
Алгоритмы, процедуры	—	—	вычисление по формуле	—	+
Хронология событий	+	+	—	+	+

Примечание : в некоторых ячейках указаны наиболее подходящие типы заданий для данной тестовой формы.

• а)    варианты ответа в заданиях закрытой формы (принадлежность одному роду, виду) должны быть однородны;

• б)    вопросительные формулировки, формулировки с использованием глагола в повелительном наклонении должны отсутствовать;

• в)    тестовые задания на восстановление соответствия должны быть представлены в виде двух однородных множеств (каждое со своим названием);

• г)    тестовые задания на восстановление последовательности должны иметь четко сформулированный критерий упорядочивания;

• д)    тестовые задания на восстановление соответствия должны иметь однозначно определенные пары элементов, среди них не должно быть одинаковых;

• е)    тестовые задания на восстановление последовательности должны иметь четко выстроенную последовательность элементов, среди которых не должно быть одинаковых;

• ж)    варианты ответа наподобие «все выше перечисленное», «любой», «оба», «нет правильного ответа» и прочие должны отсутствовать;

• з)    тестовое задание должно соответствовать его форме.

• 3.    Требования, предъявляемые к заданиям разной формы с целью уменьшения фактора угадывания:

• а)    отсутствие подсказок в формулировке тестового задания или вариантов ответа (ассоциаций, однокоренных слов, глаголов или прилагательных в том же роде / числе, что и правильный вариант, и проч.);

• б)    отсутствие заведомо ложных вариантов ответа;

• в)    отсутствие заданий с очевидным решением;

• г)    отсутствие вариантов ответа, выделяющихся среди прочих длиной или ключевыми словами, а также стилем;

• д)    отсутствие группировки нескольких вариантов ответа в один;

• е)    наличие хотя бы двух дистракторов в заданиях закрытой формы.

• 3.    Стилистические требования:

• а)    простая синтаксическая конструкция, отсутствие повторов и двойных отрицаний;

• б)    отсутствие сленга (кроме случаев, когда тестовое задание создается для проверки профес-

• сиональной терминологии или соответствующей области языка);

• в)    отсутствие обобщающих слов, таких как: «всегда», «иногда», «никогда»;

• г)    согласованность всех вариантов ответа в числе с формулировкой тестового задания;

• д)    отсутствие повторяющихся слов и словосочетаний в вариантах ответа;

• е)    составление тестового задания на соответствие из нескольких однообразных заданий закрытой формы с выбором одного правильного ответа;

• ж)    использование длинных вопросов и коротких ответов.

Проиллюстрируем необходимость некоторых требований на примерах.

Пример 1 (классический). Первым космонавтом был ... .

В данном задании отсутствует однозначность. В качестве ответов преподаватель может получить следующее: русский, советский человек, мужчина и т.д. Каждый из данных ответов будет правильным. Чтобы убрать из задания неоднозначность, нужно внести пояснение, с какой именно стороны нужно охарактеризовать первого космонавта.

Фамилия первого космонавта - ... .

Пример 2. Техническая норма загрузки вагона определяется:

• а)    делением количества погруженных тонн на количество погруженных вагонов;

• б)    по Сборнику правил перевозки тарифов №160;

• в)    по минимальной норме загрузки вагона;

• г)    по грузоподъемности;

• д)    по Прейскуранту №10-01.

В задании было нарушено правило подбора ответов по одному основанию. Первый вариант ответа «делением количества погруженных тонн на количество погруженных вагонов» не соответствует принципу однородности и отвечает на другой вопрос - «как, каким действием», а не «согласно какому документу», как остальные варианты ответа. Улучшить тестовое задание можно, заменив данный вариант ответа однородным.

Пример 3. Определите последовательность лет жизни и творчества великих мировых социологов:

• 1)    Огюст Конт;

• 2)    Карл Маркс;

• 3)    Эмиль Дюргейм.

Недостатками данного задания являются использование глаголов в повелительном наклонении, а также отсутствие критерия, по которому не обходимо упорядочить элементы. Усовершенствованное задание может выглядеть так.

Хронологическая последовательность лет жизни и творчества великих мировых социологов:

• 1)    Огюст Конт;

• 2)    Карл Маркс;

• 3)    Эмиль Дюргейм.

Пример 4. Субъектами международного движения капитала являются:

• а)    корпорации;

• б)    правительственные организации;

• в)    коммерческие банки;

• г)    все перечисленное верно.

Правильным ответом предлагается «все перечисленное верно». При этом любой из перечисленных вариантов ответов будет частично правильным, но если испытуемый выберет какой-то из них, кроме «все перечисленное верно», то получит неверно выполненное задание. Другими словами, задания с такой формулировкой ответов изначально являются провальными для испытуемых. Кроме того, использование подобных вариантов ответа недопустимо, так как большинство систем компьютерного тестирования «перемешивают» варианты ответа, и данный вариант ответа может оказаться в произвольном месте, что лишает его смысла. Из данной ситуации можно выйти введением дополнительных неправильных вариантов ответа и обозначением вариантов а)- в) как правильных.

Пример 5. Зависимость количества фотоэлектронов от частоты света:

• а)    прямо пропорциональная;

• б)    обратно пропорциональная;

• в)    зависимости нет.

В примере трети й вариант ответа логически противоречит формулировке задания, в которой утверждается, что зависимость существует. Следует либо удалить задание, либо заменить его заданием открытой формы.

Пример 6. Термоэлектронная эмиссия - это:

• а)    испускание телом электронов под воздействием тепла;

• б)    испускание телом электронов под воздействием радиации;

• в)    испускание телом электронов под воздействием освещения.

Электростатическая эмиссия - это:

• а)    испускание телом электронов под воздействием нагревания тела;

• б)    испускание телом электронов под воздействием большой напряженности;

• в)    испускание телом электронов под воздействием фотонов света.

Фотоэлектронная эмиссия - это:

• а)    испускание телом электронов под воздействием тепла;

• б)    испускание телом электронов под воздействием большой напряженности электрического поля;

• в)    испускание телом электронов под воздействием освещения.

Пример 6 наглядно показывает, как форма задания не соответствует содержанию. В данном случае рациональнее было бы составить из данной группы заданий одно задание на соответствие. К тому же необходимо вынести повторяющиеся слова, «утяжеляющие» задание, из вариантов ответа в формулировку. Усовершенствованное задание могло бы выглядеть следующим образом.

Соответствие между видом эмиссии и физическим явлением, вызывающим испускание телом электронов:

• 1 .Термоэлектронная: а) тепло;

• 2 . Электростатическая: b) большая

• 3 .Фотоэлектронная: с) освещение;

напряженность тела;

• d)    нагревание тела;

• е)    радиация.

Пример 7. Поясните понятие «научная проблема»:

• а)    проблема, которая не требует немедленного решения;

• б)    основополагающий вопрос современности;

• в)    ситуация в научной области деятельности;

• г)    объект интереса ученых;

• д)    сложный комплекс взаимосвязанных вопросов, требующих непременного решения (т.е. актуальных), и для получения ответов на которые необходимы специальные исследования.

Правильный вариант ответа в данном случае очевиден. Он выделяется как ключевыми словами (комплекс вопросов), так и длиной. Использование подобных заданий недопустимо в БТЗ. Если автор намерен оставить это задание, ему следует изменить его форму на открытую.

Пример 8. Действие уголовного закона в пространстве основано на следующих принципах:

• а)    гражданства и территориальности;

• б)    вины и гуманизма;

• в)    гуманизма и гражданства;

• г)    законности и вины.

При решении представленного задания велика вероятность угадывания правильного ответа тестируемым. Если он знает хотя бы один из принципов (или гражданственность, или территориальность), то найти правильный ответ не составит труда. Задание может быть усовершенствовано следующим образом.

Действие уголовного закона в пространстве основано на следующих принципах:

• а)    гражданства;

• б)    территориальности;

• в)    вины;

• г)    гуманизма;

• д)    законности.

Рассмотренные примеры наглядно показывают, почему выделенные ранее требования должны соблюдаться при составлении тестовых заданий. Безусловно, разработка самих тестовых заданий - очень трудоемкая работа, но она является основой для формирования БТЗ и последующего тестирования. Именно от качества составленных заданий зависит качество контроля знаний как студентов очной формы, так и занимающихся в системе дистанционного образования.