Онтология компьютерного тестирования в обучении

Информационные технологии, адаптивное обучение и инструментальные средства активно используются для повышения эффективности, доступности и индивидуализации образовательного опыта [1, 2]. Компьютерное тестирование (КТ) продолжает находиться в центре внимания цифровых технологий в обучении [3-9]. Разработаны технологические инструменты для КТ при создании и применении электронных учебников [6, 10], Интернет-платформы для массовых открытых онлайн-курсов (МООК) 1 . Некоторые издательства учебной литературы тиражируют учебные пособия и предоставляют доступ к электронным версиям пособий с КТ по отдельным разделам и пособию в целом (см., например, [11]).

Цель данной статьи – исследование научно-методических основ КТ. В работе используются методы системного и онтологического анализов [12, 13], педагогической психологии и дидактики, а также опыт авторов в области теории и технологий электронного обучения.

• ¹    Yurchenko A. 9 best massive online course (MOOC) Platforms. ITSM4U.RU. 2023. https://itsm4u.ru/9moocplatform .

• 1    Общие требования к тестам

При разработке цифровых обучающих ресурсов (ЦОР) значительная часть работы приходится на создание тестов для тренирующих и контрольных упражнений. Тренирующее упражнение – это тест, сопровождаемый внутренней обратной связью (ОС) [6], контрольное упражнение – тест, не сопровождаемый внутренней ОС. Подготовка тестов требует высокого педагогического мастерства от преподавателя-разработчика. Для каждого ключевого понятия учебного материала в ЦОР необходимо придумать задания для его усвоения и контроля, расположить и ранжировать их, выбрать форму упражнений (с выборочными и/или конструируемыми ответами), подготовить эталоны ответов и предусмотреть типовые ошибки.

Структуру теста можно представить в следующем виде: Тест = Задание + Эталон. Если в тесте отсутствует эталон, то невозможно провести диагностику и измерение при контроле, сформировать внутреннюю ОС для тренировочных упражнений.

Выделяют пять общих требований к тестам [14]: валидность; определённость (общепонятность); простота; однозначность; надёжность.

Различают содержательную и функциональную валидность : первая – это соответствие теста содержанию учебного материала, вторая – соответствие теста оцениваемому уровню усвоения учебного материала.

Выполнение требования определённости теста необходимо для понимания каждым обучающимся того, что он должен выполнить, и для исключения правильных ответов, отличающихся от эталона.

Требование простоты теста означает, что тест должен иметь одно задание одного уровня усвоения, т.е. не должен состоять из нескольких заданий разного уровня усвоения.

Однозначность определяется как одинаковость оценки качества выполнения теста разными экспертами. Для этого используется следующая характеристика: К = Р 1/ Р , где Р 1 — количество правильно выполненных операций в тесте (наборе тестов); Р — общее количество операций в тесте (наборе тестов). При К ≥ 0,7 можно считать, что цель обучения на данном уровне достигнута, и можно переходить, если необходимо, к тестам следующего уровня [15].

Понятие надёжности тестирования определяют как вероятность правильного измерения величины К. Количественный показатель надёжности r ∈ [0,1]. Требование надёжности заключается в обеспечении устойчивости результатов многократного тестирования одного и того же испытуемого. Надёжность теста (набора тестов) растёт с увеличением количества операций P [16].

• 2    Типовые сценарии и экранные формы компьютерного тестирования

Дидактическая ниша ЦОР, в которых используется КТ, – теоретическая подготовка обучающихся (первоначальное знакомство, восприятие, осмысление и закрепление учебного материала) [6]. КТ в этих ЦОР применяют в учебной деятельности для тренировки по теории (рисунок 1) и для контроля по теории (рисунок 2).

Задание^; Изучить                    ’■ . ^—\                    \    Г Самокоррекция ) 1     \~Сформировать unu \ д           / к           выбрать из Q предложенных Решение      вариантов -^/Т^^Х „          •'        1 - Изучить Посмотреть Учащимся    \ Просмотреть      /     1 —^—*—            /   \    Теория по заданию Правильное решение       V    ) Комментарий к заданию Рисунок 1 – Схема взаимодействия обучающихся и объектов компьютерного тестирования в тренировке по теории

Иллюстрация к вопросу Вопрос,                                 ।                             | \    X Изучить     1                  \ \      \ J        изучить ВыСрать,,.--’ /— \                                        0твет /   \ Выбрать и 'запустить ’                / —^—■г-                 \           -' I1’ -         / Изучить \     / Батарея тестов           \     Учащийся /             ~"—^ \         I1’       /             Иллюстрация к ответу ^Просмотреть Протокол контроля         Журнал контроля Рисунок 2 – Схема взаимодействия обучающихся и объектов компьютерного тестирования в контроле по теории

Тренировка по теории . Только в ходе собственной активной деятельности обучающегося может быть достигнута главная дидактическая цель применения ЦОР – осмысление учебного материала, его интериоризация и запоминание. Эта цель достигается в ходе интерактивного взаимодействия обучающегося с объектами КТ (см. рисунок 1). В этой схеме после ответа на вопрос и получения сообщения о его правильности обучающийся может посмотреть правильный ответ, комментарий к ответу (например, ход решения задачи), теорию к вопросу из соответствующего раздела учебного материала (рисунок 3).

Рисунок 3 – Пример экранной формы тренировки по теории в электронном учебнике по механике [6]

Контроль по теории . КТ используют для промежуточного или итогового контроля уровня усвоения теории в ЦОР соответственно по отдельным разделам или по всему учебному материалу. Сценарий контроля включает составление предоставление обучающимся необходимого набора тестов. Процесс тестирования заключается в предъявлении обучающемуся тестовых заданий в определённой последовательности (см. рисунок 4).

Укажите название элементов крыла под номером 10 на схеме.

а                                                б

Рисунок 4 – Примеры экранных форм компьютерного тестирования в контроле по теории: а – в системе КАДИС [6]; б – в электронной библиотечной системе издательства «Юрайт» [11]

По окончании КТ обучающемуся предоставляется протокол тестирования, где он может увидеть количество набранных баллов, полученную оценку, список пройденных вопросов. Для каждого теста предусматривается возможность сравнить ответ, данный в ходе тестирования, с правильным ответом. В случае неудовлетворительной оценки целесообразно предъявлять протокол контроля (рисунок 5а). Предусматривается разделение результатов по темам с возможностью вернуться к повторному изучению материала (рисунок 5б).

б

Рисунок 5 – Примеры экранных форм протокола контроля а – в системе КАДИС [6]; б – в электронной библиотечной системе издательства «Юрайт» [11]

Информация о результатах тренировки и контроля по теории записывается в журнал успеваемости. Программы управления журналом обеспечивают сортировку «цифровых следов» обучающихся по различным признакам, проведение статистического анализа для выявления «трудного» и «лёгкого» учебного материала (рисунок 6).

Рисунок 6 – Примеры экранных форм журнала успеваемости [6]

3 Структурирование тестов по уровням усвоения

При подготовке тестов целесообразно структурировать их в отдельные наборы по уровням усвоения с использованием таксономий дидактических целей [15-18]. В данной работе структуризация тестов проводится по трём уровням усвоения в классификации [15].

Тесты первого уровня ( знакомство ) - это репродуктивная деятельность с помощью (с внешней опорой). В приведённых примерах (рисунок 7) внешней опорой являются представленные явно объекты, по которым задаются вопросы (приведены в основном примеры тестов по программированию).

N п/п	Тестовые задания	Эталоны	p
	Опознание
1	Является ли оператор GOTO оператором безусловного перехода	ДА	1
1	Различение
2	Какой из представленных операторов является оператором безусловного перехода? 1.    GOTO 2.   DO... WHILE... 3.   IF... THEN... ELSE...	GOTO	3
	Классификация
3	Укажите операторы условного и безусловного перехода: 1.    GOTO 2.   DO... WHILE... 3.   IF... THEN... ELSE...	Безусловного GOTO, условного -остальные	б

Рисунок 7 - Примеры тестов первого уровня

N п/п	Тестовые задания	Эталоны	Р
	Тесты подстановки
1	Оператор ... является оператором безусловного перехода?	GOTO	1
	Конструктивные тесты
2	Какой оператор обеспечивает безусловную передачу управления в программе?	GOTO	1
3	Дайте определение...	Ключевые слова, символы, порядок их расположения.	По числу ключевых слов.
14	Напишите формулу...
5	Перечислите признаки (свойства) ...
	Типовые задачи
6	Запишите оператор безусловного перехода из любого места программы к оператору, помеченному меткой А.	GO ТО А	1
7	Определите величину тока в сети с напряжением U = 150 В и сопр,- R = 50 Ом.	1 1=1 R. 2.1=150/50=ЗА.	1

Тесты второго уровня ( воспроизведение ) - это воспроизведение ранее усвоенной информации по памяти, от точной копии до применения в типовых ситуациях (рисунок 8).

Тесты третьего уровня ( применение ): обучающийся способен самостоятельно воспроизводить и преобразовывать усвоенную информацию для обсуждения известных фактов и продуцирования о них субъективно новой (для него) информации, а также для применения её в нетиповых (реальных) ситуациях.

Нетиповые задачи в процессе обучения могут переходить в разряд типовых задач (второй уровень усвоения). Другие учебные задачи могут всегда оставаться нетиповыми, например, формулировка проектной задачи в терминах математического программирования. Проектирование сложного объекта

разделяется на ряд проект-

Рисунок 8 - Примеры тестов второго уровня ных подзадач. Декомпозиция общей задачи на частные всегда является нетиповой ситуацией (третий уровень усвоения).

Различают тип и форму теста. Тип теста связан с уровнем усвоения (см. рисунки 7, 8): опознание, различение, классификация - типы тестов первого уровня; тесты подстановки, конструктивные тесты, типовые задачи - типы тестов второго уровня; нетиповые задачи -тесты третьего уровня. Тип теста определяется характером мыслительной деятельности, которую должен выполнить обучающийся при решении теста.

Форма теста определяется его представлением. Современные инструментальные средства для создания ЦОР позволяют строить тесты с выборочными и/или конструируемыми ответами. Часто применяются тесты с выборочными ответами. Они просты в подготовке (не нужно создавать множество эталонов правильных ответов, обеспечить полноту которого крайне затруднительно) и в использовании.

Тесты с выборочными ответами нередко связывают только с первым уровнем усвоения. Это распространённое дидактическое заблуждение является результатом поверхностного суждения. Если обучающийся сначала конструирует ответ, вспоминая ранее усвоенную информацию, либо применяя её для решения типовой или нетиповой задачи, и после этого выбирает ответ из представленных вариантов, то это тест соответственно второго или третьего уровня усвоения. Поэтому при подготовке теста с выборочными ответами необходимо чётко представлять (реконструировать) вид мыслительной деятельности, которую будет выполнять обучающийся при его решении.

Последовательность уровней усвоения в тренировке по теории . Порядок применения тестов для диагностики и последующей корректировки знаний предполагает продвижение от низших уровней усвоения к высшим [15-17]. С развитием в педагогике методики «перевёрнутого класса» [18], последовательность применения тестов в тренировке по теории может быть иной – сначала тесты верхнего уровня, затем – тесты более низкого уровня.

Наблюдения авторов за работой студентов с электронными учебниками показывают, что часть студентов начинает тренировку по теории с тестовых заданий верхних уровней усвоения, переходя, если необходимо, к заданиям более низкого уровня, возвращаясь назад к верхним уровням и т.д. Исследования эффективности процессов электронного обучения показывают, что свободное сканирование по учебному материалу даёт более высокий рост результатов на уровне применения знаний при решении нетиповых задач [6].

4 Алгоритмы контроля

Для промежуточного контроля по отдельным разделам изучаемого учебного материала возможны полная и/или частичная (обычно с использованием элементов случайности) выборка тестовых заданий из набора тестов контролируемого раздела. Рассматриваются два алгоритма контроля при частичной выборке: с фиксированным числом тестов в наборе (ФЧТ) и с переменным (адаптивным) числом тестов (ПЧТ).

При контроле по схеме с ФЧТ каждому учащемуся предъявляется определённое количество контрольных упражнений в наборе тестов, созданном случайным образом из всей совокупности упражнений тестов. Исходными данными для контроля с ФЧТ являются: Q – количество тестовых заданий в наборе, E – минимальное количество баллов для оценки «отлично», G – для оценки «хорошо», S – для оценки «удовлетворительно».

Алгоритм контроля с ФЧТ можно представить в виде ориентированного графа, состоящего из пяти вершин (рисунок 9а).

а                                         б

Рисунок 9 – Графы алгоритмов контроля: а – с фиксированным числом тестов; б – с переменным числом тестов

Величины B, E, G, S вычисляются по формулам: B=∑BiVi; E=KEBmax∑Vi; G=KGBmax∑Vi; S=KSBmax∑Vi, где i изменяется от 1 до Q; Vi – вес теста, Vi∈[0,1]; Bmax – предельное число баллов за тест, принятое в шкале контроля (например: 1, 5, 10 и т.п.); Bi - оценка в баллах за тест, Bi∈[0,Bmax]; KE, KG, KS – коэффициенты, определяющие нижние границы оценок (отлично, хорошо, удовлетворительно) соответственно (обычно KE=0,9; KG =0,8; KS=0,7).

При адаптивном контроле с ПЧТ заранее известно лишь начальное, минимальное количество контрольных упражнений в наборах тестов, предъявляемых обучающимся. Если ответы обучающихся неверны, то добавляются дополнительные задания. Их количество зависит от степени правильности ответов – чем хуже отвечает обучающийся, тем больше он получает заданий.

Алгоритм адаптивного контроля с ПЧТ, используемый авторами для экспресс-контроля готовности обучающихся к лабораторным работам, показан на рисунке 9б. В этом алгоритме предельное число баллов за тест, принятое в шкале контроля, Bmax =5, веса всех тестов Vi одинаковы и равны единице, K E = 0.9, т.е Е' =4,5 Q '.

В тренировке по теории также можно использовать ПЧТ. Исходными данными для управления здесь являются: минимально необходимое количество упражнений Qmin и две пороговые величины уровня усвоения (см. рисунок 9б).

Для итогового контроля целесообразно использовать « билеты» – наборы сформированных тестовых заданий. Такой подход позволяет представить все разделы учебного материала, составить примерно равноценные по содержанию и трудности наборы тестовых заданий.

• 5 Искусственный интеллект в компьютерном тестировании

Эксперименты по подготовке компьютерных тестов с помощью искусственного интеллекта (ИИ) проводились с использованием нейросети (НС) ChatGPT -4o-mini ² .

• ■    НС способна создавать несколько (5-8) тестов для заданного небольшого фрагмента текста. Если учебный материал структурирован на отдельные небольшие разделы (в пределах экрана компьютера), то такое разбиение текста вполне вписывается в ограничения НС. Но возможно (менее удобно) произвольное разбиение больших текстов на доступные для НС фрагменты. При этом производительность вполне приемлема – отклик на запрос практически мгновенный.

• ■    Для тестов с выборочными ответами НС генерирует тесты с четырьмя вариантами ответов (рисунок 10). Опыт авторов показывает, что предпочтительней было бы минимум пять ответов.

Рисунок 10 – Пример теста, сгенерированного в ChatGpt по фрагменту текста из [11]

■ Оценка вариантов ответов бинарна (верно/неверно), что не всегда удобно. Нередко целесообразно иметь более дифференцированные оценки за ответы.

■ ChatGPT - это языковая НС. Она генерирует тесты для текстового учебного материала и не может генерировать или обрабатывать изображения.

• ■    ChatGPT обучена на англоязычных источниках по дидактике. Поэтому она знает лишь о таксономии [17] и может генерировать тесты по уровням этой таксономии. Однако можно «заказывать» генерацию тестов по уровням таксономии [15] ( воспроизведение и применение ), совпадающим с уровнями таксономии [17] (соответственно запоминание и применение ).

Таким образом, современные НС могут помочь в создании тестов, учитывая, что процесс подготовки тестов является самым трудоёмким этапом в разработке ЦОР. Ограничения относятся к тестам с изображениями. Развитие НС, распознающих визуальные образы, позволяет надеяться на прогресс в подготовке тестов с графическими иллюстрациями.

ИИ пользуется популярностью у студентов. Существует много онлайн-источников по оказанию услуг с помощью НС, в т.ч. и для решения тестов. Преподавательское сообщество тревожит применение НС в качестве своего рода «шпаргалок». Предлагаются, в частности, этические правила применения ИИ [19, 20]. Генеративный ИИ «может создать зону комфортного уровня доверия между студентами и технологией (особенно по мере того, как она становится более надёжной и интегрируется в повседневные продукты), где баланс риска и вознаграждения может склонить многих студентов к лёгким, а затем и к более серьёзным нарушениям академической честности» [21].

Заключение

В разработке ЦОР наиболее трудоёмкая часть работы, требующая высокой педагогической квалификации, приходится на создание компьютерных тестов. При подготовке тестов целесообразно структурировать их в отдельные наборы тестов по трём уровням усвоения: знакомство, воспроизведение, применение. В ходе тренировки по теории допустимо свободное сканирование учащихся по уровням усвоения, подобно методике «перевёрнутого класса».

Информацию о результатах тренировочных и контрольных процедур КТ необходимо записывать как внешнюю обратную связь в журнал успеваемости, при этом программы управления журналом должны обеспечивать сортировку «цифровых следов» учащихся по различным признакам, проведение статистического анализа для выявления «трудного» и «лёгкого» учебного материала.

Для промежуточного контроля по теории могут быть использованы алгоритмы КТ с ФЧТ и ПЧТ в наборе, предъявляемом обучающемуся. Для итогового контроля целесообразно применять «билеты» – наборы тестов, сформированных в определённом количестве и в определённой последовательности.

Компьютерный тест должен включать задание и эталон его выполнения, удовлетворять общим требованиям к тестам. Современные НС позволяют автоматизировать процесс подготовки тестов для текстового учебного материала.