Возможности использования адаптивных тестов в практике современного высшего образования

отдельных обучающихся. Одним из таких инструментов является электронное адаптивное тестирование .

Проблема использования адаптивных электронных тестов приобретает особую актуальность в условиях пандемии короновируса, вынудившей все образовательные организации активно использовать электронные технологии обучения, соответствующие специфике дистанционного формата организации образовательной деятельности. Изучение возможностей использования подобных тестов поможет найти решения для мотивирования учащихся к продолжению обучения, создать адаптивные образовательные среды, определить методы коммуникации, предпочитаемые обучающимися, подобрать способы оценивания, которые также адаптируются к их способностям и потребностям.

Анализ литературы показывает, что идея использования адаптивных тестов не нова. А. Бине в 1905 году разработал тесты интеллекта, позволяющие сосредоточиться на отдельном человеке и его уникальных способностях, а не на удовлетворении учебных потребностей большой группы [12]. Он использовал метод повышения или понижения сложности вопроса в зависимости от того, как участники ответили на предыдущий вопрос. Бине не был ориентирован на создание тестовой формы, он скорее адаптировал тест для измерения уникальных способностей человека. Его метод был эффективен для индивидуального использования [13].

В 1950-х годах Ф. Лорд разработал модифицированный метод адаптивного тестирования под названием «Flexilevel», который можно было использовать в больших группах. В этом методе применялся алгоритм, который позволял тесту изменять порядок представления заданий на основе соответствия между тем, насколько сложным было задание, и тем как его выполнял тестируемый. Вне зависимости от того, как пройден тест, способ выставления оценок позволял оценить всех тестируемых по одной и той же шкале. Таким образом, результаты тестируемых могут быть сопоставлены друг с другом. Простой алгоритм, созданный Лордом, также позволял тестируе- мым самостоятельно оценивать полученные ими результаты [13].

Адаптивные тесты имеют много преимуществ перед традиционными. Обычно они более эффективны, когда используются с линейными моделями, имеющими длинную асимптотическую часть или искаженное распределение ошибок. Они сконструированы, чтобы сохранять определенный уровень значимости. Адаптивный тест, который разработан для поддержания уровня значимости α, будет иметь вероятность отклонения нулевой гипотезы в точке α или около нее, в случае, если нулевая гипотеза верна. Таким образом, статистические показатели адаптивных тестов обычно превосходят соответствующие характеристики традиционных тестов [15].

T. Davey указывает, что основной принцип адаптивного тестирования состоит в том, чтобы не задавать слишком сложные или слишком простые для тестируемого вопросы. Поскольку ответы способных учеников на простые вопросы и испытывающих трудности обучающихся на трудные вопросы не дают объективной инфор-

ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ АДАПТИВНЫХ ТЕСТОВ В ПРАКТИКЕ СОВРЕМЕННОГО ВЫСШЕГО

ОБРАЗОВАНИЯ мации, необходимо регулировать уровень сложности вопросов для каждого тестируемого. Правильное определение и последующая постановка таких вопросов – цель каждого адаптивного теста [8].

H. Masoner и A. El Bassiouny определяют адаптивное тестирование как форму электронного тестирования, которое адаптируется к навыкам и уровню знаний тестируемого. Такие тесты могут быть запрограммированы на оценку уровня знаний или психического состояния. Испытуемый может пройти тестирование, не тратя дополнительное время на ненужные вопросы или вопросы, которые слишком сложны или легки для него [13]. В адаптивном тестировании, согласно определению N. Chaimongkol, S. Pasiphol и S. Kanjanawasee, элементы выбираются в соответствии со способностями каждого испытуемого. Тестирование начинается с умеренно сложного задания. Если испытуемый отвечает на вопрос правильно, следующий вопрос, который ему дают, будет более трудным, в противном случае – более простой [7].

R.C. Ismail отмечает, что идея адаптации в электронных тестах основана на динамическом изменении уровней сложности тестовых вопросов в соответствии с предыдущими и текущими показателями ученика. Программа получает необходимую информации, чтобы судить об уровне ученика по заданному параметру. При этом дается оценка на основе анализа уровня сложности вопросов, на которые он ответил, а не по количеству правильных ответов [10].

К.А. Фоменко и М.С. Роман определяют адаптивный тест как реализуемую при помощи компьютера систему тестовых заданий различного типа, условие которых может быть представлено в разной форме: графической, аналитической, вербальной. Данная система позволяет предъявлять задания определенного уровня сложности в зависимости от результатов выполне- ния предыдущего задания [4], то есть, после каждого правильного ответа уровень сложности последующих заданий повышается, а после неправильного – понижается [1].

В практике обучения используются три вида компьютерного тестирования :

• •    тестирование, в котором варианты и порядок предъявления заданий фиксированы;

• •    тестирование, в котором варианты формируются автоматически из имеющегося набора заданий по правилам, заданным разработчиком;

• •    адаптивное тестирование, в котором для каждого испытуемого в процессе тестирования формируется индивидуальный набор заданий, причем их выбор основан на результатах ответов данного индивида на предыдущие задания [2].

Адаптивные тесты делятся на три типа:

• •    первый тип – адаптация по квалификации, основная цель – выбор заданий для в оптимизации оценки местоположения каждого испытуемого в латентном континууме; • второй тип – адаптация по длине теста для принятия решений – предполагает выбор элементов для получения ошибки классификации меньше заданного значения при принятии решений по классификации. Этот критерий отбора приводит к получению компьютерных адаптированных тестов (далее – CAT) разной длины, причем длина зависит от того, насколько близко испытуемые находятся к точке принятия решения;

• •    третий тип CAT – адаптация к латентным классам – выбирает тестовые задания для оптимизации классификации испытуемых на ряд скрытых классов. Эти скрытые классы обычно не образуют континуума. Это относительно новая разновидность адаптивного тестирования.

Существует классификация адаптивных тестов по типу их завершения. Выделяют адаптивные тесты фиксированной и переменной длины, различающиеся по количеству вопросов, которые необходимо задать учащемуся для завершения теста. Адаптивный тест фиксированной длины имеет заранее определенное количество вопросов, зависящее от правила выбора из группы аналогичных заданий, представленных в банке вопросов. В адаптивных тестах переменной длины количество вопросов, которые необходимо задать для завершения теста, зависит от наличия у учащегося рассматриваемой характеристики или способности. Количество вопросов и их уровни сложности варьируются в зависимости от качества ответа на каждый вопрос [14–17].

Исследователи выделяют различные компоненты адаптивных тестов . В работах N.A. Thompson, D.J. Weiss представлены такие компоненты CAT:

• •    банк элементов или набор вопросов, обычно уже откалиброванных, то есть с известными параметрами;

• •    критерий выбора первой позиции;

• •    алгоритм выбора элемента (алгоритм выбирает следующий вопрос, учитывая предполагаемые способности пользователя);

• •    алгоритм оценки способностей (алгоритм обновляет оценочные процедуры, учитывая ответ пользователя);

• •    критерий остановки тестирования [18; 19].

Чтобы быть по-настоящему адаптивной, по мнению T. Davey, M.J. Pitoniak, S.C. Slater, C.G. Parshall, J.A. Spray, J. Kalohn, CAT должна включать следующие компоненты:

• a)    пул откалиброванных заданий, достаточно большой, чтобы любой экзаменуемый видел только небольшую их часть;

• б)    правило принятия решения для выбора первого элемента (или набора элементов) – ответы на первый элемент (или набор) используются для определения начальной оценки уровня способностей тестируемого;

• в)    методы выбора дополнительных элементов (наборов элементов): ответы на каждый комплекс вопросов помогают постоянно уточнять оценку эффективности функционирования тестовой системы. Вопросы не являются ни слишком сложными, ни слишком легкими для тестируемого;

• г)    требования к выбору вопросов (эффективный отбор вопросов обеспечивает высокую степень точности оценивания тестируемого по небольшому количеству тестовых заданий);

• д)    спецификации, аналогичные тем, которые приняты для создания обычных тестов, для обеспечения сбалансированности элементов теста по содержанию;

• е)    критерии завершения – ограничения, которые используются для принятия решения о том, когда тестируемый может закончить тест [9].

С.Н. Ларин, В.Ю. Валентина выделяют следующие преимущества адаптивных тестов:

• •    возможность организации оперативного мониторинга и контроля уровня знаний обучаемых на всех этапах их обучения;

• •    возможность получения более объективных оценок уровня знаний каждого тестируемого с высокой точностью и при минимальных затратах времени;

• •    повышение эффективности организации контроля уровня знаний обучающихся за счет снижения влияния таких неблагоприятных факторов как усталость, волнение, невнимательность и др.;

• •    формирование непосредственных прямых и обратных связей

между обучаемыми и педагогом не только в процессе обучения, но и при контроле уровня знаний [3].

Электронный адаптивный тест позволяет получить высокую точность измерения психометрических свойств, он эффективен, надежен, имеет высокую текущую и прогностическую валидность [20].

Основным недостатком компьютерного адаптивного тестирования, по мнению H. Masoner, A. El Bassiouny, является то, что учащиеся не могут просмотреть выполненные задания, так как после ответа на вопрос он больше не отображается. Это может вызвать проблемы, если тест используется в учебных целях. Также есть риск преднамеренно неправильного использования САТ тестируемым, который может попытаться ответить на первый набор вопросов неправильно, чтобы получить более легкие вопросы в дальнейшем и более высокий балл в итоге [13]. На самом деле, если ученик намеренно неправильно отвечает на сложные вопросы, программа действительно предлагает ему более простые задания. Но, поскольку каждый уровень вопросов оценивается определенным образом, ученик в любом случае получит балл, показывающий, что у него недостаточно сформированы некоторые навыки или знания. Это обеспечивается спецификой адаптивного теста, оценивающего наличие или отсутствие правильных ответов на вопросы каждого из уровней.

Другой недостаток CAT связан с тем, что при их частом использовании повышается вероятность по- вторения заданий в последующих тестах. Несмотря на то, что в CAT встроены элементы управления, предотвращающие многократное использование заданий, составляющие теста с определенными свойствами имеют тенденцию к переэк-спонированию. Данное действие должно контролироваться, что предполагает операционные расходы, ложащиеся на провайдера тестирования [16]. Избежать этой проблемы можно увеличив объем банка вопросов. По данным проведенных исследований, количество вопросов в банке САТ должно быть в десять раз больше, чем в традиционном тесте. Кроме того, незнание ответов учащимися (как это обнаруживается, например, в языковых тестах) снижает скорость угадывания правильных ответов, даже если вопросы повторяются.

Таким образом, можно сказать, что адаптивное электронное обучение – это современная стратегия организации образовательной деятельности, основанная на принципе учета индивидуальных различий, потребностей и перспектив каждого обучающегося. Важной составляющей данного вида обучения являются адаптивные тесты – эффективное технологическое нововведение в области оценивания образовательных результатов на разных уровнях образования. Они основаны на принципе учета индивидуальных различий между учениками, способны выбирать уровень сложности вопросов в зависимости от успехов тестируемого, объективно оценивать его результаты в реальном времени.