Использование модели знаний в технологии адаптивного педагогического тестирования

В настоящее время значительное внимание уделяется развитию информационных технологий в образовании, что требует нового, современного подхода к созданию интеллектуальных систем дистанционного обучения и тестирования студентов. Повышенный интерес наблюдается к проблеме тестирования как к новому виду объективного контроля знаний, умений и навыков студентов.

Как правило, уровень знаний по конкретной дисциплине у каждого учащегося разный, поэтому для организации эффективного обучения и получения объективной оценки знаний следует учитывать индивидуальные способности каждого учащегося и его уровень подготовки.

Изучение дисциплины сопоставимо со строительством дома, сначала закладывается фундамент, а лишь потом на его основе строятся стены. Каждый преподаватель понимает, что дальнейшее изучение материала по любой дисциплине становится возможным лишь при наличии знаний предшествующих тем. Таким образом, основной задачей контроля знаний также является выявление неосвоенных (или неусвоенных) студентами областей.

В данной статье представлено описание основных принципов работы программного продукта, реализующего технологию адап-

тивного педагогического тестирования с использованием модели знаний, которое позволяет выполнять диагностическую функцию с учетом уровня подготовки студента.

Существующие системы контроля знаний

Для контроля знаний используются системы тестирования, которые в большинстве своем умеют: формировать базы тестовых заданий, выводить их в виде некоторого множества тестовых вопросов и получать скалярную величину, характеризующую уровень знаний учащегося. Результаты тестирования, хотя и обладают некоторой устойчивостью, однако не позволяют учитывать индивидуальные особенности студентов и тем более анализировать их структуру знаний! В рамках развития современных технологий тестирования остается открытым вопрос: "Каким образом можно выразить глубину познаний в некоторой области одним числом"?

Для анализа результатов в существующих системах тестирования используются протоколы, которые содержат информацию о правильных и неправильных ответах на вопросы теста. В лучшем случае система тестирования хранит также решения на задания теста или ссылки на учебные материалы.

Суммируя вышесказанное, можно сделать вывод, что для развития образовательно- го процесса в целом следует добавить интеллектуальную и диагностическую функции в современные системы контроля знаний.

Использование модели знаний

В рамках данной статьи рассматривается один из возможных путей решения проблем контроля знаний, а именно разработка методики адаптивного педагогического тестирования на основе модели знаний.

При построении модели знаний по некоторой дисциплине экспертом могут быть выделены следующие уровни:

• -    уровень понятий;

• -    уровень утверждений;

• -    уровень умений.

К уровню понятий можно отнести знания основных терминов, свойств и составных частей описываемых понятий, знание классификации и структуры связей между понятиями предметной области. К уровню утверждений можно отнести знания основных теорем, формул, принципов, законов изучаемой области и способность применять их в отдельности без интеграции с другими утверждениями. К уровню умений можно отнести учебные элементы, отражающие наиболее важные практические задачи, возникающие в процессе обучения. Каждое умение связано с усвоением ряда понятий и утверждений и заключается в способности оперировать ими, выстраивая длинные цепочки рассуждений и самостоятельно составляя алгоритм решения задачи.

Выделенные уровни знаний неразрывно связаны между собой: утверждение строится на основе знаний о понятии, умение – на основе знаний утверждения. Таким образом, понятия, утверждения и умения отвечают принципу агрегирования (см. рис. 1) .

ческая сеть – это связный ориентированный граф, ребрам которого предписаны смысловые идентификаторы связей. В рамках разработанного программного комплекса детализация предметной области выполнена с использованием семантической сети, элементный состав которой образуют понятия предметной области.

Рассмотрим виды связей между объектами семантической сети понятий. Связи между объектами могут быть двух видов:

• -    структурные связи понятий;

• -    связи, реализуемые утверждениями.

Структурные связи понятий соединяют объект и множество родственных объектов, свойство объекта с самим объектом, составную часть с объектом. Смысловое содержание связи в этом случае является определением понятия. Направление связи выбирается таким образом, чтобы указывать на то понятие, которое необходимо знать для определения исходного понятия.

Утверждения предметной области – основные формулы, теоремы, законы, принципы, применяемые для решения практических задач. Одно и то же утверждение может связывать более двух понятий; таким образом, нескольким связям будет приписан одинаковый идентификатор. Направление связи для утверждений часто не указывается, так как одно и то же правило применяется для решения как прямых, так и обратных задач. Утверждения являются более значимыми в общей системе знаний дисциплины.

Пример фрагмента семантической сети понятий для предметной области "Информация и ее представление в памяти компьютера" курса "Информатика" показан на рис. 2.

Рис. 1. Соотношение уровней знаний

В литературе описано множество моделей, используемых для представления зна ний предметной области, среди которых наибольшую наглядность и применимость демонстрируют семантические сети. Семанти-

Рис. 2. Фрагмент семантической сети понятий

Таким образом, структура модели знаний имеет три уровня детализации:

• -    отдельные предметные области и связи между ними посредством входных и выходных учебных элементов;

• -    линейные списки значимых учебных элементов для каждой предметной области;

• -    семантические сети для каждой из представленных предметных областей.

Содержательные характеристики тестового или контрольного задания определяются оценками покрытия значимых учебных элементов модели знаний. Степень покрытия учебного элемента задается оценками: 0 – не входит, 1, 2, 3 – затрагивается незначительно, в средней степени и значительно соответственно. Оценки покрытия определяются с использованием семантической сети по числу связей учебных элементов, которые необходимо использовать при решении задания. Пример формирования оценок покрытия отражен на рис 3.

Рис. 3. Формирование оценок покрытия учебных элементов заданиями теста

Основной вес при определении степени покрытия имеют утверждения (утверждения можно учитывать с весом 1, а понятия – с весом 0,5).

Объединение оценок покрытия для всех тестовых заданий, включаемых в базу, образует матрицу покрытия. Строки матрицы соответствуют заданиям базы тестовых (контрольных) заданий, столбцы – учебным элементам модели системы знаний. Таким образом, в системе формируется матрица V размером N*M, v j e { 0,1,2,3 } , N – количество заданий в базе тестовых заданий, M – число учебных элементов.

Входная информация для генерации теста

Реализация алгоритма тестирования возможна при наличии базы калибровочных заданий по дисциплине, а также при сформированной структуре модели знаний (включая информацию о покрытии учебных элементов).

Перед генерацией теста преподаватель выбирает учебные элементы по дисциплине, вопросы по которым должны войти в тест.

Таким образом, в формировании теста участвуют только те столбцы матрицы покрытия, которые характеризуют выбранные преподавателем учебные элементы.

Анализ структуры знаний по учебному элементу с помощью адаптивного тестирования

В рамках разрабатываемого программного комплекса по каждому учебному элементу выполняется "уточнение" оценки уровня знаний студентов. Для этого авторами данной статьи предлагается использовать адаптивное тестирование по учебному элементу.

"Уточнение" оценки знаний по некоторому учебному элементу начинается с тестового задания средней сложности . Если студент справляется с тестовым заданием, то ему дается вопрос большей сложности. Если на каком-то шаге студент ошибся, то он получает вопрос меньшей сложности. Тестирование заканчивается, когда на протяжении некоторого времени наблюдаются небольшие колебания уровней сложности (например, чередуются последовательно идущие уровни сложности). Период колебаний задается разработчиком программного комплекса.

В общем виде в рамках адаптивного тестирования по учебному элементу индивидуальная кривая знаний студента представлена на рис. 4.

Рис. 4. Индивидуальная кривая знаний студента при адаптивном тестировании

Можно выделить следующие преимущества адаптивного теста по учебному элементу перед традиционным тестом:

• -    Адаптивный тест может определить уровень знаний тестируемого с помощью меньшего количества вопросов.

• -    При выполнении одного и того же адаптивного теста студенты с высоким уровнем подготовки и студенты с низким уровнем подготовки увидят совершенно разные наборы вопросов: первый увидит большее число сложных вопросов, а последний – легких.

• - При адаптивном тестировании повышается достоверность результатов, так как в этом случае исключается быстрое изучение банка тестовых заданий путем "про-щелкивания" вариантов на компьютере (таким образом можно узнать лишь легкие задания, а трудные и часть средних оказываются неизученными).

В теории адаптивного тестирования вводится предположение о существовании связи между наблюдаемыми результатами тестирования и латентными (скрытыми от непосредственного наблюдения) качествами студентов, выполняющих тест [1]. Данные качества трактуются как способности студентов или как уровень подготовки по дисциплине.

Взаимодействие двух множеств значений латентных параметров порождает наблюдаемые результаты выполнения теста. Элементы первого множества – это значения латентного параметра, определяющего уровень подготовки N студентов 0 ,i = 1 ,N . Второе множество образуют значения латентного параметра в , J = 1 ,n , равные трудностям n заданий теста. Идея взаимодействия двух множеств отражена на рис. 5.

Основой реализации большинства систем адаптивного тестирования является модель Г. Раша и/или А. Бирнбаума [2]. В процессе выполнения адаптивного теста строится модель обучаемого, которая используется для генерации последующих заданий тестирования в зависимости от уровня знаний обучаемого.

Трудность заданий

Рис. 5. Взаимодействие множеств латентных параметров

Условная вероятность правильного выполнения j-го задания трудностью р. для модели Г. Раша выражается формулой e 1,7 (в—Pj)

^{Pj ( в )} = ₊ 1 , 7 ( в - P j ) ^,            (2)

а для модели А. Бирнбаума – формулой е 1,7-aj- (в - Pj)

^Pi ^{( в )} = _{1 + е} 1 , 7- aj-( 0- P j ) ^,             (3)

где a характеризует дифференцирующую способность задания.

Условная вероятность правильного выполнения i-м студентом с уровнем подготовки θ различных по трудности заданий тестов для модели Г. Раша выражается формулой e 1,7 в - P )

^{P( P} ) = 1 + _e 17 в -P ) ,        (4)

а для модели А. Бирнбаума – формулой e 1,7-a, -(0,-P)

^{P( P} ) = 1 + e 1 , 7- a , -( в , - P ) ,         (5)

где параметр a указывает на меру структурированности знаний ученика.

В описанных моделях в первом случае вероятность правильного выполнения J-го задания теста является возрастающей функцией от переменной. Это свойство функции легко интерпретируется и согласуется с практическим опытом преподавателя. Естественно ожидать, что чем больше уровень подготовки студента, тем больше вероятность правильного выполнения им j-го задания теста.

Во втором случае вероятность правильного выполнения i -м студентом тестового задания является убывающей функцией от переменной. Таким образом, чем больше уровень сложности задания, тем меньше вероятность правильного ответа.

В рамках разрабатываемого программного комплекса модель Г. Раша используется при расчете параметра, характеризующего уровень подготовки студентов, а также для коррекции уровней сложности тестовых заданий в базе.

Апробация программного комплекса проводится для тестовых заданий, уровень сложности которых задан преподавателем априорно. После проведения тестирования сложность тестовых заданий, вошедших в тест, корректируется: рассчитываются доли правильных ( p ) и неправильных ответов ( q ) студентов на тестовые задания для всей базы данных, после чего производится коррекция уровней сложности тестовых заданий путем оценки параметра в , характеризующего трудность заданий:

в = ln f t .

\ i )

Таким образом, после проведения тестирования преподаватель получает оценку уровня подготовки студента по учебному элементу, которая соответствует значению параметра трудности в логитах для последнего тестового задания адаптивного тестирования по учебному элементу 0 ⁰.

Обработка результатов тестирования

Обработка результатов тестирования ведется по результатам выполнения студентами теста (в тесте содержатся вопросы по выбранным преподавателем учебным элементам). При этом итоговая оценка знаний студента по всем учебным элементам складывается из оценок знаний студента по каждому учебному элементу, что позволяет выявить "проблемные" места в знаниях студента по изучаемой дисциплине. Таким образом, в рамках тестирования группы студентов составляется матрица результатов Q, размером NxM ,0i е 0,1, M - количество учебных элементов, N – число тестируемых.

Значения элементов матрицы 0_ki представляют собой оценку знаний студента по учебному элементу, выраженную в логитах, они рассчитываются по результатам адаптивного тестирования. Введение единой шкалы для элементов двух различных множеств 0 (уровни подготовки) и в (трудность тестовых заданий) позволяет решить ряд вопросов, как теоретических, так и практических. В частности, благодаря единой шкале можно корректно сравнивать результаты знаний студентов, полученные с помощью различных тестов, и подобрать оптимальные значения в , позволяющие измерить искомое 0 с минимальной ошибкой измерения.

Выводы

В рамках развития современных методик контроля знаний студентов предложенное решение организации системы тестирования предоставит следующие возможности:

• -    учет структуры знаний учащегося, то есть выявление неусвоенных учебных элементов;

• -    организация индивидуального процесса обучения студентов с учетом их способностей.

При использовании систем тестирования, которые могут адаптироваться под уровень и структуру знаний студента, возможен не только контроль, но и обучение и самообучение студентов.

Использование модели знаний в тестировании может обеспечить обратную связь между студентом и преподавателем, т. е. выявить неусвоенные учебные элементы, затрудняющие дальнейший процесс обучения студента.