Методика верификации тестовых материалов для контроля знаний студентов по дисциплинам естественнонаучного цикла в информационной среде Лотус

До сих пор не утихают споры о достоинствах и недостатках компьютерного тестирования. Однако именно тестирование, а не классические формы контроля в большей степени соответствуют компетентностному подходу. В пользу этого говорит следующее сравнение: на устный экзамен обычно выносится 2-4 темы, на письменный - 3-5, а тест позволяет включить вопросы по всем разделам изучаемого курса.

Компьютерное тестирование это тот инструмент, с помощью которого можно унифицировать требования, предъявляемые к уровню усвоения той или иной дисциплины. Кроме этого выполняется требование объективности и надежности результатов, а также возможности детально контролировать знания студента.

Высокая технологичность компьютерного тестирования позволяет эффективно организовать контроль знаний на всех этапах обучения.

Все вышесказанное справедливо при грамотном составлении тестов, вы можете собрать коллектив авторов обладающих высоким научным потенциалом, огромным педагогическим и практическим опытом, поставить им задачу широкого охвата тематики и различного уровня сложности тестового материала. Созданный ими «продукт» не будет являться педагогическим тестом, это будут лишь задания, представленные в тестовой форме. Они не могут быть включены в настоящий тест до тех пор, пока не станет известной мера их трудности, а также и другие характеристики.

В современных педагогических измерениях разводят три понятия: педагогический тест, задания в тестовой форме (тестовые материалы) и тестовые задания. К заданиям в тестовой форме тоже предъявляются требования:

• - краткость;

• - технологичность;

• - правильность формы;

• - правильность содержания

• - логическая форма высказывания;

• - одинаковость правил оценки ответов;

• - наличие определенного места для ответов;

• - одинаковость инструкции для всех испытуемых;

• - правильность расположения элементов задания;

• - адекватность инструкции форме и содержанию задания [2].

В качестве методики верификации тестовых материалов и превращения их в тестовые задания можно предложить несколько способов.

Верификация может быть проведена на основании методики экспертной оценки. Однако практика показывает огромное несоответствие в позиции различных экспертов как по вопросам оценки трудности заданий, так и по вопросу необходимой трудности теста в целом.

Современные исследования отечественных и зарубежных авторов показывают, что основой объективной методики верификации тестового материала может служить эмпирическая проверка меры их трудности на типичных репрезентативных группах, с последующей обработкой результатов методами статистического анализа.

Критерием эмпирической трудности в классической теории долгое время считалась доля правильных ответов на любое задание, она вычислялась по формуле pj = Rj IN ,где

R j означает число правильных ответов на j -е задание, а N - общее число испытуемых в группе.

Позднее была осознана содержащаяся в этой формуле смысловая неточность: увеличение значения P j указывает не на возрастание трудности, а, наоборот, на ее сокращение. Поэтому в последние годы с показателем трудности заданий стали ассоциировать противоположную статистику - долю неправильных ответов.

qj=wj । n

Тест не может состоять только из простых или из сложных заданий. Простые задания создают лишь видимость знаний. Трудные задания тоже искажают результат измерения. Доказана их несостоятельность как средства усиления мотивации к учебе. Одних трудные задания могут подтолкнуть к учебе, других - оттолкнуть от нее.

Включение в тест заданий средней трудности оправдано с точки зрения классической теории тестов т.к. тесты, составленные из таких заданий, имеют максимальную измерительную надежность. Но в погоне за высокой надежностью теряется их содержательная валидность, т.е способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Этот феномен в теории известен как парадокс теоретика американской психометрики Ф.Лорда.

Кроме того необходимо учитывать подготовленность каждой отдельной группы.

На группах со слабой подготовкой не работают трудные задания, т.к. не один участник группы не может на них ответить, и такие задания должны быть исключены из теста.

На группах с сильной подготовкой не работают простые задания, т.к. все участники группы могут на них ответить, и такие задания тоже должны быть исключены из теста.

Таким образом, содержание традиционного теста должно существенным образом варьироваться в зависимости от уровня подготовленности тех групп учащихся, на измерение знаний которых он нацелен.

При составлении тестов в системе ЛОТУС следует учитывать этот факт. Мы предлагаем для повышения измерительной валидности тестовых материалов создавать две конфигурации, одна из которых содержит простые задания и задания средней трудности, а другая – задания средней и высокой трудности. Разделение тестовых заданий подобным образом позволит в дальнейшем создавать тесты, построенные строго из заданий возрастающей трудности, открывая этим путь к созданию одной из самых интересных шкал измерения - шкалы Л. Гутмана.