Методика тестового контроля знаний студентов

Подавляющее большинство педагогов стремится изменить практику своей работы, чтобы способствовать активному обучению студентов и развитию у них критического мышления.

В последнее время тестовые технологии приобретают все большее распространение в образовании.

Многие учебные заведения внедряют в практику тестирование как одно из основных средств, проведения промежуточного и итогового контроля знаний студентов.

История образовательного тестирования насчитывает уже несколько тысяч лет [1, 2]. Тестовые технологии контроля знаний использовали еще в древнем Китае, Вавилоне и Греции. Родоначальником современного тестирования считают известного английского ученого Фрэнсиса Гальтона, а отсчет образовательного тестирования осуществляют от работ Альфреда Бине и Теодора Симона, которые по заказу Министерства образования Франции разработали тесты для отбора обучающихся с задержками развития в специализированные школы.

Основы теории педагогического тестирования подробно изложены в трудах В.С. Аванесова [3], Л.Я Ащепковой [4], В.С. Кима [2], М.Б. Челышковой [5], а также во многих публикациях в журналах Вестник «Тестирование и мониторинг в образовании», «Информационные технологии в образовании», «Информационные технологии и средства обучения» и др.

Существуют различные определения педагогических тестов.

В частности, согласно определению В.С. Аванесова «Педагогический тест – это система параллельных задач возрастающей трудности, специфической формы, что позволяет качественно и эффективно оценивать уровень и структуру подготовленности обучающихся» [6].

По определению В.С. Кима [2] «Педагогический тест – это система тестовых заданий различной сложности, позволяющая качественно и эффективно измерять уровень и структуру подготовленности испытуемых».

Из этих и других определений следует, что педагогический тест является определенной моделью знаний, дополненной средствами установления соответствия знаний конкретного испытуемого этой модели. Но любая модель является целевым, приблизительным, неполным отражением оригинала [7].

В случае тестирования неточности отображения среди других факторов обусловлены статистической природой методик определения его результатов. Отсюда мы должны сделать следующие выводы:

• 1.    Для достижения различных целей нужны разные тесты.

• 2.    Качественный тест должен разрабатываться в соответствии с определенными правилами, обеспечивающими его качество, в частности предусматривать проверку этого качества.

• 3.    Даже хороший тест дает результаты, пригодные для определенного усредненного обучающегося, но результаты тестирования отдельных студентов могут оказаться, существенно, ложными.

ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

Для проверки качества теста обычно используют такие показатели, как надежность и валидность [2–5].

Надежность теста определяют как коррелируемость результатов, полученных при нескольких попытках тестирования или при прохождении эквивалентных (параллельных) форм теста, а также как коррелируемость результатов выполнения различных частей теста (в этом случае сложность задач должна быть равномерной). Считается достаточной, если соответствующий показатель не менее чем 0,8.

Валидность теста определяют как соответствие его результатов независимым оценкам знаний обучающихся (или других контролируемых параметров).

Кроме этого при разработке тестов необходимо определять качество отдельных задач.

Среди показателей их качества важное место занимают:

• –    уровень сложности (p i ), который определяют как среднее арифметическое баллов, полученных всеми студентами за соответствующее задание);

• –    коэффициент корреляции (R i ), который показывает, насколько коррелируют между собой успешность выполнения этой задачи и итоговые баллы обучающегося за весь тест;

  – коэффициент (индекс) дискриминации (I i ), который указывает на способность по результатам выполнения этой задачи выделять группы обучающихся, успешно и неудачно выполнивших тест в целом (чаще всего для его расчета берут 1/3 лучших и 1/3 худших по итоговым результатам студентов).

После определения этих характеристик необходимо удалить тестовые задания, слишком сложные (p i < 0,2) или слишком легкие (p i > 0,9), а также задачи с низкими коэффициентами корреляции (различные авторы предлагают брать пороговое значение в пределах 0,15 ÷ 0,3). Пороговое значение 0,3 является более обоснованным, поскольку соответствует, общепринятому в прикладной статистике, порога значимости коэффициента корреляции [7]. Ниже пороговые значения обусловлены не столько возможной значимостью соответствующих задач, сколько сложностью подготовки качественного теста. Сложные задачи можно не удалять. Но в этом случае количество баллов, получает студент за правильное выполнение определенной задачи, которая устанавливается с учетом его сложности.

Проблемы, которые решает тестирование.

К достоинствам тестирования обычно причисляют следующее [2–5]:

• – большая объективность по сравнению с другими формами контроля;

  – большая справедливость;

  –  более полный охват всего учебного материала;

  –  более точная оценка;

  – экономическая эффективность;

  – сравнительно малые затраты времени на контроль.

Впрочем, следует отметить, что эти преимущества существуют лишь при соблюдении технологии разработки тестов.

В частности говорить о большей объективности и справедливости тестирования можно только при условии, если тест является валидным. Иначе мы можем получить замену субъективности оценки субъективностью отбора тестовых заданий и назначения баллов за ответы на них.

Более полный охват учебного материала может оказаться повышением доли второстепенных вопросов, которые не отражают общий уровень подготовки тестируемых. На примере модульных тестовых контрольных работ это иллюстрируется большим количеством вопросов, правильность ответов на которые не коррелируется с результатами выполнения теста в целом.

Повышение экономической эффективности и снижение затрат времени по сравнению с другими формами контроля происходит, в том случае, если тест используется для контроля больших по объему групп обучающихся. Желательно, чтобы его можно было использовать многократно, но для этого нужно создавать эквивалентные по сложности варианты заданий, а также использовать более разнообразные формы тестовых заданий.

Опыт использования модульного тестового контроля знаний студентов по дисциплине «Аэрология выработок» свидетельствует, о том, что, во-первых, повышается интерес к учебному материалу, возникает множество вопросов, которые никогда не появлялись во время традиционного изложения материала, во-вторых, сложный материал усваивается легче и быстрее.

Каким же образом осуществляется модульный тестовый контроль по аэрологии выработок?

Проведение тестового контроля можно условно разделить на три этапа:

• 1)    подготовка к проведению тестирования;

• 2)    непосредственное проведение тестирования;

• 3)    проверка результатов тестирования.

ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

На первом этапе составляются карточки тестовых заданий, которые содержат от 30 до 60 вопросов (при выполнении работы в течение 2-х академических часов) или от 15 до 30 вопросов (при выполнении работы в течение 1-го академического часа).

Карточки составляются не менее чем в 2-х вариантах (Карточки № 1 и 2), а для удобства качественной и быстрой проверки результатов тестирования составляются кодограммы правильных ответов на все варианты тестовых заданий.

Все варианты заданий имеют одинаковые вопросы и одинаковые варианты ответа на вопрос.

Отличаются варианты заданий между собой только месторасположением, как вопросов, так и вариантов ответов на вопросы.

Ответ на поставленный вопрос заключается в выборе варианта правильного ответа из нескольких предложенных (причем, только один из предложенных является правильным).

Выполнение контрольной работы осуществляется на специальном бланке, который содержит информацию о студенте, таблицу ответов и критерий оценки выполнения работы.

Составление вариантов карточек тестовой контрольной работы, таким образом, позволяет:

– еще до проведения тестирования исключить сомнения студентов в возможности получения одними студентами «очень легкого» задания, а другими «слишком сложного», то есть все студенты имеют одинаковые по сложности тесты;

– охватить вопросами почти все темы изучаемого раздела (особенно значительным количеством вопросов основных тем раздела);

– исключить возможность предоставления студентами так называемой «товарищеской помощи» своему соседу во время выполнения контрольной работы (поскольку для ответа на один вопрос студент тратит примерно 1–2 минуты и поэтому в случае отвлечения студент физически не успеет выполнить все свои задания);

– определить качество усвоения студентами отдельных тем изучаемого раздела (если студент не усвоил материал темы на достаточном уровне то в большинстве вопросов, отнесенных к этой теме, он сделает ошибки).

На втором этапе студентам сообщается тема и цель контрольной работы, указывается порядок выполнения тестового задания, время выполнения тестового задания и проверки результатов тестирования.

Студентам выдаются тестовые задания таким образом, чтобы исключить получение одинакового варианта двумя соседними студентами и объявляется время начала выполнения работы.

Третий этап тестирования, как правило, проходит следующим образом.

За 10 минут до окончания учебного занятия студентам сообщается о завершении тестирования и начале проверки результатов тестирования.

Каждый вариант решения тестового задания проверяется с помощью кодограммы правильных ответов в присутствии его исполнителя в течение 15–20 секунд, способом наложения кодограммы соответствующего варианта на бланк студента с выполненным заданием.

На основании критерия оценки выполнения работы студент самостоятельно выставляет себе оценку, а преподаватель своей подписью подтверждает объективность выставления оценки. Это исключает возникновение сомнений у студентов в объективности выставления им оценки.

Студентам,    которые    получили    оценки    «удовлетворительно»    и

«неудовлетворительно» сообщается о темах, которые им нужно более тщательно проработать на дополнительных занятиях и консультациях.

Студенты, которые получили оценки «хорошо» и «удовлетворительно» могут, по их желанию, повторно выполнить данную работу, с целью повышения оценки на один бал во время дополнительных занятий и консультаций.

Студенты, которые получили оценки «неудовлетворительно» обязаны в установленном порядке повторно выполнить данную работу, с целью повышения оценки на один бал во время дополнительных занятий и консультаций, после более глубокой проработки отдельных тем или всего материала в целом.

Постоянная работа по усовершенствованию проведения тестовых контрольных работ сказывается на результатах их первичного выполнения.

Кроме преимуществ, тестирование как форма контроля имеет также и определенные недостатки. К ним обычно [2–5] относят следующие основные ошибки:

– продолжительность, трудоемкость, высокая себестоимость разработки;

– обычный тест не выявляет причин неудовлетворительных ответов студентов;

– тестирование не позволяет контролировать уровень знаний, связанных с творчеством, глубоким анализом проблем и т.д.;

– результаты тестирования могут содержать случайную составляющую («случайно угадан правильный ответ»).

Следует отметить, что некоторые из недостатков и проблем могут быть устранены путем применения нетрадиционных форм тестовых заданий и совершенствования методик обработки результатов тестирования.

В частности, авторы [8] предлагают добавить к традиционным такие формы тестов:

– задание с числовым вычислением, где баллы выставляются с учетом отклонения от правильного ответа. Их преимуществом является то, что количество однотипных вариантов заданий одинаковой сложности в этом случае может быть

ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ достаточно большим (иногда бесконечно большим). При этом проверяется не способность студента запоминать правильные ответы, а его способность пользоваться алгоритмами решения определенных типов задач;

– задания с двойственным ответом, выдаваемые последовательно, и ограниченным временем на каждый ответ (разновидность задач по выбору);

– задания со словесным ответом, которые оценивают по коэффициенту корреляции с правильным ответом (разновидность открытой формы заданий);

– задания с выбором, где все ответы верны, но имеют разную степень полноты (соответственно, за разные ответы назначается разное количество баллов).

Другим направлением совершенствования тестовых технологий является совершенствование методов обработки результатов тестирования.

В частности, в [9] рассмотрены отдельные алгоритмы, позволяющие автоматически устанавливать итоговые результаты тестирования на основе анализа эмпирических функций их распределения, или по результатам сравнения ответов испытуемых с определенными «эталонными» ответами, а также методы автоматизированного назначения баллов за выполнение отдельных задач с учетом процента тестируемых обучающихся, которые справились с ними.

По моему глубокому убеждению, подготовка так называемого «нулевого» варианта (который содержит все вопросы тестового задания и варианты правильных ответов), но не совпадает, ни с одним из вариантов контрольной работы позволяет целенаправленно изучать учебный материал на лекционных занятиях. То есть этот «нулевой» вариант предоставляется студентам в начале изучения соответствующего раздела и во время проведения лекционных занятий студенты могут не только определить вариант правильного ответа на вопрос, но и обосновать его.

И последнее, по моему личному убеждению, для успешного усвоения студентом программы раздела профессионального модуля является только его личная заинтересованность в этом.

С этой целью мною разработаны тесты для выполнения всех контрольных работ студентами при помощи компьютера. Эти тесты раздаются студентам в начале изучения раздела профессионального модуля и являются предметом постоянного тренинга, как при подготовке к качественному выполнению плановых аудиторных тестовых контрольных работ, так и в усвоении всего учебного материала раздела профессионального модуля.

Тестовые технологии имеют определенные преимущества перед традиционными методами контроля знаний. Но они также имеют определенные недостатки, и требуют осторожности при практическом применении.

К основным проблемам применения тестовых технологий относится необходимость выполнения существующих требований к разработке тестов, а именно:

– учета влияния целевого назначения теста на выбор его структуры и содержания, а также алгоритма обработки результатов;

– соблюдение процедур определения показателей качества теста в целом, и отдельных тестовых заданий, в том числе использование контрольных групп и корректировки тестов с учетом показателей качества;

– выбор методов назначения баллов за правильные ответы и тому подобное.

Обоснование корректности переноса результатов тестирования, который является правильными «в среднем», на каждого конкретного испытуемого, определение доверительных интервалов получаемых результатов, вероятностей ошибок и тому подобное.