Разработка комплекса критериев анализа ответов обучаемого в экспертных системах контроля и оценки знаний

На современном этапе развития дидактика стремится отчетливо управлять процессом обучения на всех этапах, начиная от постановки целей и заканчивая проверкой результатов. В связи с этим в педагогической науке идет поиск путей и средств совершенствования контроля и оценки знаний с целью повышения качества обучения. Так, К. Инген-камп считает, что «современная научно обоснованная дидактика обречена на поражение, если она не опирается на богатый инструментарий максимально объективных методов педагогической диагностики»1.

В качестве одного из таких средств педагогическая наука рассматривает тестирование. В. С. Аванесов называет тестирование «одной из наиболее технологических форм проведения автоматизированного контроля с управляемыми параметрами качества»2. Преимущество такой формы контроля в его объективности, т. е. независимости проверки и оценки знаний от эксперта-препода-

вателя, владеющего знаниями в данной предметной области.

Дидактическое тестирование – это не новый метод исследования. Еще в XIX в. исследователи Ф. Гальтон, А. Кеттел изучали индивидуальные различия людей с помощью тестов. Изначально ученые-дидакты считали, что тестирование не является полезным, поскольку оно ограничивает возможности развития обучающихся. Дидактический тест проверяет исключительно знания и поэтому является эффективным средством контроля наряду с другими методами. По словарю С. И. Ожегова, «дидактический тест – это набор стандартизированных заданий по определенному материалу, устанавливающий степень его усвоения обучаемыми»3. С точки зрения В. С. Аванесова, «тест – это метод педагогического измерения»4. М. И. Потеев определяет тест как совокупность составленных в стандартной форме знаний, умений и навыков, удовлетворяющих требованиям надежности и валидности, по которым проводится сравнительная оценка знаний, умений и навыков, способностей, умственного развития5.

Существующие в педагогической науке формы представления ответа на тестовое задание целесообразны. Целесообразность их применения в учебном процессе оправдана практикой. Дидактические тесты по многим признакам являются наиболее передовым методом контроля и прочно удерживают лидирующие позиции среди традиционных форм контроля знаний.

Проведенный нами анализ современного состояния исследований, а также систем контроля и оценки знаний показал, что существующие способы конструирования вопросов и ответов на основе дидактических тестов имеют массу достоинств6:

• -    уменьшают субъективность оценок;

• –    создают возможность комплексной компьютеризации всего процесса контроля и оценки знаний;

• –    повышают интенсивность труда;

• -    обеспечивают простоту и оперативность проверки результатов и др.

Практика показывает, что существующие способы конструирования вопросов и ответов на основе дидактических тестов не всегда позволяют объективно выявить реальный уровень знаний учащихся и имеют отрицательные стороны [1]: серьезные искажения восприятия учащимися целостности материала, вы -работка стереотипности мышления, механическое заучивание ответов, запоминание и списывание ключей к тестам, не всегда можно выяснить, как учащийся определил ответ – путем логических рассуждений или случайно и т. д. Такая ситуация имеет негативные последствия: снижается стимулирующее воздействие педагогической оценки на познавательную деятельность обучаемых и качество учебного процесса в целом.

Поиск педагогически эффективных путей и разработка новой методики анализа ответа обучаемого в экспертных автоматизированных системах контроля и оценки знаний является проблемой нашего исследования. Однако в педагогической науке пока недостаточно научных работ, нацеленных на исследование путей совершенствования процесса контроля и оценки знаний на основе тестирования.

Таким образом, одним из эффективных средств контроля и оценки знаний является дидактический тест.

Теоретическая значимость заключается в том, что предложен новый подход к разработке теоретических положений контроля и оценки знаний на основе дидактических тестов. Данный подход позволяет повысить степень приближения оценки за тест к уровню реальных знаний учащихся, особенно по предметам социально-гуманитарного цикла. Практическая значимость исследования заключается в проектировании экспертной системы контроля и оценки знаний с использованием нового подхода к конструированию тестового вопроса и ответа, допускающего свободно конструируемую форму тестового ответа. Разработан комплекс критериев анализа ответа обучаемого.

В статье ставится цель – научно обосновать эффективность и разработать комплекс критериев анализа тестового ответа, позволяющих объективно организовать проверку результатов обучения.

Обзор литературы

В контексте новых парадигм образования проблема объективного оценивания знаний приобретает новые формы и содержание. Широкое распространение способов получения оценки знаний обусловило проблему оценивания преподавателем результатов учебной деятельности обучающихся как самостоятельное направление педагогической науки.

Зарубежные исследователи Х. Хин, Дж. Саундерс, Дж. Алгина, Л. Крокер, Р. Гамбелтон, Х. Роджерс, Х. Сваминатан, Д. Райт, С. Ливингстон и многие другие, работающие в данной области, фокусируются прежде всего на проблемах измерения и оценивания знаний.

Так, в работе Х. Хин, Дж. Саундерс оценивается точность двух процедур оценки надежности тестов [2]. Ученые С. Ливингстон, Х. Сваминатан, Р. Гамбелтон, Дж. Алгина, М. Сабковиак считают, что объем предусмотренных программой обучения знаний можно определить с помощью специального вида педагогического теста – критериально-ориентировочного. При этом выделяют два основных его типа: ори- ентированные на определенную область содержания и тесты «на мастерство» (квалификационные) [3–5].

Помимо перечисленных ученых-исследователей существенный вклад в развитие текстологии внесли публикации К. Пирсона, Ч. Спирмена, Л. Терстоуна, Г. Томсона в области тестовых систем, а также методики обработки результатов тестирования, которые способствовали созданию метода корреляции и факторного анализа, успешно применяющихся в современных исследованиях по проблемам совершенствования качества теста, программной обработке результатов тестирования.

Проблемам повышения объективности оценки знаний с использованием компьютерного тестирования посвящены работы многих отечественных исследователей. Так, в работе И. И. Соколовой показано, что компьютерное тестирование можно рассматривать как современную наукоемкую педагогическую технологию [6]. Согласно исследованию Т. В. Кишкурно, Т. П. Брусенцовой, тестовые методы эффективны при оценке знаний студентов [7]. А. В. Неверов, А. И. Метельский, А. В. Равино раскрыли преимущества применения системы тестирования в учебном процессе подготовки специалистов [8]. В исследовании Г. С. Куприяновой с целью преодоления трудностей формирования тестов предлагается тезаурусный подход к формированию тестового инструментария по дисциплинам [9]. Д. Ю. Альтиментова, А. Ю. Федосов в своей работе предлагают адаптивные алгоритмы проверки ответов на одиночные тестовые вопросы, которые позволят освободить преподавателя от значительного количества рутинной работы, а также повысить качество оценки знаний студентов [10]. В свою очередь, Г. В. Пачурин, Н. С. Тюмина, С. М. Шевченко на основании проведенного исследования пришли к выводу, что тест как инструмент оценки знаний является эффективным при организации учебного процесса, но при решении, например, творческих задач или в проектной деятельности необходимо сочетать тесты

с другими методами контроля, поскольку они не всегда позволяют в полной мере оценить знания обучающихся [11], а Л. А. Соловьева проанализировала системный подход к тестированию [12].

Значительная часть исследований посвящена разработке алгоритмов, методов и технологий тестирования, лежащих в основе проектирования экспертных систем контроля и оценки знаний. Так, в исследовании С. В. Сипайло проанализированы возможности компьютерной программы MyTestX для разработки тестовых заданий с целью повышения эффективности учебного процесса. Дана характеристика тестовых заданий, разработанных для контроля знаний студентов по конкретным дисциплинам [13]. Подобная позиция реализована в исследованиях В. Н. Головачевой, А. В. Горбунова, В. П. Овчаренко [14–16].

Для более объективного внутреннего аудита качества полученных знаний Л. В. Ляпустиной, Т. В. Жарниковой, Ю. М. Евченко рекомендуется проводить статистическую обработку результатов тестирований [17]. Для объективности оценивания знаний учающихся, по мнению К. Б. Брянкина и И. А. Вылегжаниной, необходимо проводить экспертизу тестовых заданий. При этом следует учитывать краткость, логичность, правильность формы и содержания, репрезентативность, соответствие целям тестирования, единообразие записи всех заданий одного теста, разнообразие форм и структуры [18]. В педагогических исследованиях продемонстрировано применение тестовых технологий для оценки знаний студентов по различным дисциплинам [19–21].

Как показывают исследования В. В. Кручинина, В. Головачевой и соавторов, Е. У. Медеуов, использование контролирующих систем сталкивается с проблемой неразработанности дидактических и психолого-педагогических основ применения и эффективности существующих форм обучения [22–24].

В основе разработки автоматизированных систем контроля и оценки знаний лежат следующие формы конструирования тестовых заданий:

• -    выбрать правильный ответ из списка предложенных;

• –    выбрать правильный ответ из двух частей (первая часть предлагает сделать выбор, а вторая часть – его обоснование);

• –    выбрать правильный ответ только из двух возможных вариантов;

• -    распределить элементы предложенного перечня в правильной последовательности;

• –    установить соответствие между элементами множеств;

• -    завершить высказывания или вставить пропущенные слова;

• –    ответить одним числом или словом;

• -    многословный ответ с ограничением по последовательности и связям между словами [1].

Современные инструментальные среды ЭВМ позволяют разрабатывать тесты с выборочными, числовыми, конструируемыми ответами. На практике чаще применяют тесты с выборочными ответами, поскольку они проще в подготовке и в использовании. Например, в тестах с выборочными ответами обучающиеся основные усилия фокусируют на выполнение самого задания, а не на набор ответов.

В исследованиях отечественных авторов содержатся основополагающие идеи конструирования вопросов и ответов на основе дидактических тестов, выводы педагогической оценки с помощью преобразования имеющейся шкалы или система оценок, а также разработки более формализованных способов оценивания уровня знаний обучаемых [25-27]. Интерес исследователей вызвали идеи Г. Мутанова, Е. Фединой. В работах этих ученых предлагается решить проблему объективности теста за счет введения «нечеткого» теста, т. е. теста, на каждый вопрос которого может быть предложено несколько правильных и неправильных ответовов [28; 29]. Несомненно, нечеткие тесты расширяют функции тестов. Однако, на наш взгляд, введенное понятие «нечеткий тест» в определенной степени снижает вероятность его «угадывания».

В настоящее время особенно актуален вопрос о необходимости создания такой системы контроля и оценки знаний, которая позволила бы выявить реальный уровень знаний обучаемых по предметам социально-гуманитарного цикла, т. е. предметам, в которых основная роль принадлежит знаниям и рассуждениям человека.

Мы считаем, что при выборе критериев оценки тестов должны учитываться и мыслительные навыки, которые могут быть получены в процессе обучения: понимание, применение, анализ, синтез, сравнительная оценка и др.

Тестовые вопросы дают информацию для размышления. Дело в том, что не каждая дисциплина поддается формализации. Для таких предметов, как физика, математика, механика формализация очевидна. По предметам социально-гуманитарного цикла используемые знания не всегда могут быть четко формализованы. Отставание в разработке методологических проблем и создании новых методов оценки знаний является основной причиной разрыва между потенциальными и реальными возможностями ЭВМ.

Для того чтобы контроль знаний с применением тестирования был действительно эффективным для указанного цикла предметов, на каждом этапе обучения необходимо оценить степень усвоения знаний. При этом нужно охватить все необходимые характеристики усвоения знаний с помощью тестирования: конкретизировать ответ примерами и логически связано, грамотно выражать свои мысли и т. д. Только при использовании указанных форм оценки знаний, которые не уступают по содержанию устному контролю, можно достичь больших преимуществ от использования такого эффективного средства получения точной и объективной оценки знаний, как тестирование.

Однако при этом существует проблема – сложность распознавания смысла ответа. Существующие методы анализа систем и моделирования, основанные на точной обработке данных, не способны охватить всю сложность процессов мышления человека и принятия решений. В этом случае придется отказаться от высоких стандартов точности, которые ожидаются при математическом анализе четко определенных систем, и снисходительно относиться к другим подходам, являющимся приближенными по своей природе.

Введение новшеств связано с определенным риском, поскольку есть трудность предвидеть конечный результат и избежать ошибочных предположений. Для получения качественного результата внедрение нововведения должно быть тщательно продумано, в деталях разработано и грамотно организовано.

Материалы и методы

Методологической основой разработки комплекса критериев анализа ответов обучаемого в экспертных системах контроля и оценки знаний является теория тестирования как основа оценивания знаний, полученных в процессе обучения.

Необходимость теоретического расширения концепции тестирования путем добавления нового подхода к конструированию тестовых вопросов и ответов вытекает из достижений и недостатков, существующих в теории и практике методов педагогического тестирования, с целью дать практикующим педагогам возможность использовать новую методику оценки знаний. Это позволит достичь больших преимуществ от применения экспертных систем контроля и оценки знаний.

Для разработки комплекса критериев анализа тестового ответа была использована методика, основанная на когнитивной таксономии целей Б. Блума. Совершенствование теории разработки педагогических тестов для обучаемых через применение таксономии Блума позволило повысить качество обучения на основе четко выработанных критериев оценивания мыслительных навыков обучаемых.

Результаты исследования

Для оценки анализа ответа нами разработан следующий комплекс критериев.

Предметность отражает базовый уровень знания предмета и определяется сравнением соответствия использованных дескрипторов дескрипторам тезауруса или их синонимов. Качество критерия «предметность» характеризуется коэффициентом δ . Критерием оценки δ является отношение количества правильно используемых дескрипторов к общему количеству дескрипторов, соответствующих каждому вопросу теста в тезаурусе. Расчет критерия производится следующей формулой:

8 = —, M где N – количество правильно используемых дескрипторов, M – общее количество дескрипторов.

Грамотность определяется правилами построения текстовых документов. В исследовании мы ограничились условиями применения частных показателей – проверкой орфографии, которая определяется сравнением соответствия каждого использованного в тексте ответа слова словам орфографического словаря. Качество критерия «грамотность» обозначается коэффициентом γ . Критерием оценки γ является отношение количества правильно написанных слов к общему количеству слов в тексте ответа. Расчет критерия производится следующей формулой:

K

Y = — R

ствующих их базе по каждому вопросу теста. Расчет критерия производится следующей формулой:

D ф = F ’ где D – количество примеров, соответствующих базе примеров, F – общее количество примеров из базы примеров.

Логические связи между предложениями определяются правилами связи языка между предложениями. Качество данного критерия характеризуется коэффициентом μ . Критерий оценки μ – отношение количества логических связей в ответе, которое определяется матрицей инцидентности ответа (рис. 1) к максимально возможному количеству логических связей между употребляемыми в тексте ответа предложениями. Расчет критерия производится следующей формулой:

E

Ц L ’

где E – количество логических связей в ответе, L – максимальное количество логических связей в ответе между употребляемыми предложениями, определяется следующей формулой:

L = n. (n -1)-g i i=1

где n – количество предложений в тексте ответа.

где K – количество правильно написанных слов в тексте ответа, R – общее количество слов в тексте ответа.

Наличие примеров в тексте ответа наглядно поясняет основной вопрос теста. Критерий определяется сравнением соответствия использованных в тексте ответа примеров словам в базе примеров или их синонимов. Качество данного критерия характеризуется коэффициентом φ . Критерием оценки φ является отношение количества правильно указанных в тексте ответа примеров к общему количеству примеров, соответ-

	1	2		N
1	1	1	1	1
2		1		1
			1	1
n				1

Р и с. 1. Матрица инцидентности ответа

F i g. 1. Answer incidence matrix

Диагональные элементы матрицы обозначают количество предложений в ответе. Наддиагональные элементы определяют в ответе связи между рассматриваемым предложением и последующими предложениями ответа, т. е. последовательно вытекающие друг из друга логические связи.

Сложность характеризует качество каждого текстового ответа в целом и определяется наличием связей между рассматриваемыми критериями. Если тестируемый при ответе на основной вопрос теста достаточно высоко определяет критерий «предметность», грамматически правильно строит текст ответа, демонстрирует наличие примеров, поясняющих суть основного вопроса, в тексте ответа присутствует постепенное развитие мысли, то такой ответ с точки зрения общей его характеристики является сложным. Качество данного критерия обозначается коэффициентом ŋ . Расчет критерия производится следующей формулой:

( 8 + у + ф + ц )

П = ---------------,

z где δ – коэффициент, полученный по критерию «предметность»; γ – коэффициент, полученный по критерию «грамотность»; φ – коэффициент, полученный по критерию «наличие примеров»; μ – коэффициент, полученный по критерию «логические связи между предложениями»; z – количество рассматриваемых критериев.

Анализ сложности подсчитывается количеством связей в ответе и определяется экспертным путем.

Общая оценка за каждый вопрос теста выставляется по следующей формуле:

Ball = ю ■ k

,

где δ – оценка, полученная по критерию «предметность»; γ – оценка, полученная по критерию «грамотность»; φ– – оценка, полученная по критерию «наличие примеров»; μ– – оценка, полученная по критерию «логические связи между предложениями»; η – экспертная оценка, полученная по критерию «сложность»; w – общее количество критериев анализа ответа; k – коэффициент сложности каждого тестового вопроса.

Общая оценка за тест формируется на основе разработанного нами метода [30; 31]. Структурная схема разработанной экспертной автоматизированной системы контроля и оценки знаний представлена на рисунке 2.

Ядром такой системы является базовый словарь предметной области, который служит для анализа каждого текстового ответа и состоит из следующих компонентов: тезауруса, базы примеров, орфографического словаря, лексического анализатора.

Основным способом формирования тезауруса является выборка дескрипторов, как правило, выраженных существительными, из конспекта лекций, рабочей программы, их синонимов и других специализированных по данному предмету лингвистических источников.

Основным способом формирования базы примеров является выборка примеров, приведенных преподавателем на лекциях, примеров из ответов учащихся на практических, семинарских занятиях и т. д.

Орфографический словарь. Входная информация тестируемого фиксируется и заносится в лексический анализатор экспертной системы.

Лексический анализатор принимает исходный текст ответа непосредственно от элементов входного интерфейса и преобразовывает его в массив лексических единиц. Для каждой лексической единицы анализатор выполняет процедуру поиска, используя базовый словарь предметной области. При точном совпадении анализируемого слова с дескриптором базового словаря предметной области вариант поиска считается успешным, и в программу передается соответствующая информация.

Для проверки правописания тестовых ответов к системе контроля и оценки знаний применен словарь С. И. Ожегова, а также дополнительный словарь для

Р и с. 2. Структурная схема экспертной системы контроля и оценки знаний

F i g. 2. Block diagram of the expert control and knowledge assessment system

ввода новых узкоспециализированных слов. На основе полученной информации проводится расчет критериев и выводится итоговая оценка.

Рассмотрим пример «словесно-лингвистического» ответа, например, на вопрос «Что такое массив информации?» Предложим один из вариантов ответа: «Массив информации - информационная структура, образованная из одной или более записей таким образом, что записи описывают объекты, а массив – класс объектов. Несколько массивов составляют систему или набор массивов. Записью называется точно установленный набор данных, характеризующих некоторый объект или процесс. Примерами записи могут служить товарные чеки, наряды на выполнение работ, накладные, анкеты, статистические отчеты ».

Словесный ответ – это определенный текст, содержание которого раскрывает суть поставленного вопроса. Поэтому для оценки данного ответа необходимо прежде всего оценить его содержание с использованием разработанного нами комплекса критериев.

Предметность является составной частью базового словаря предметной области. Базовый словарь предметной области - это основной опорный дидактический материал, который служит для анализа каждого текстового ответа. В свою очередь, он подразделяется на следующие составляющие: тезаурус, базу примеров, орфографический словарь.

Тезаурус имеет вид словаря, в котором последовательно расположены термины (основные смысловые единицы) и зафиксированы связи между ними. Тезаурус служит для поиска слов, которые определяют базовый уровень знания предмета. Любой тезаурус состоит из введения, алфавитного указателя (словарная часть) и систематического указателя.

База примеров представляет собой словарь, в котором в определенном порядке расположены слова, предназначенные для наглядного пояснения основных вопросов теста. Построение базы примеров состоит из двух взаимосвязанных этапов. Изначально формируется множество всевозможных слов-примеров. Затем из них выбираются наиболее используемые, при этом учитывая не только частоту их употребления, но и все формы, которые они могут иметь.

Выделим дескрипторы из текста рассматриваемого нами ответа, произведя морфологический анализ предложений. В результате анализа ответ тестируемого разбивается на множество различных частей речи. Для того чтобы выбрать из текста рассматриваемого ответа дескрипторы, подсчитаем количество существительных в тексте ответа: массив, информация, структура, запись, объект, класс, система, набор, данные, процесс. При этом необходимо учитывать различные формы каждого слова и их синонимы.

В связи с этим выделены следующие вычислительные процедуры определения критерия предметности: анализ предложения, выбор ключевых слов (дескрипторов), определение их соответствия дескрипторам тезауруса, количественная оценка, вывод оценки.

Грамотность определяется грамматическими правилами построения текстовых документов. Грамотность ответа определяется по ряду признаков: γ1 – наличие подлежащего, γ2 – наличие сказуемого, γ3 – наличие дополнений, γ4 – наличие определений, γ5 – наличие обстоятельств, γ6 – отсутствие грамматических ошибок, γ7 – отсутствие стилистических ошибок, γ8 – наличие разнообразных синтаксических конструкций.

Выбранные коэффициенты характеризуют ответ как обобщенный показатель грамотности. Например, А – полное предложение; γ 1 ∩ γ 2 ∩ γ 3…∩ γк , где к – количество структурно-семантических компонентов, определяющих данный показатель.

Если к = max I , ( I - максимальное количество структурно-семантических компонентов, для которых выполняется условие), то ответ можно считать полным.

Б – неполное предложение – γ 1∩ γ 2∩ П y ЗА yk , где К <  I ;

В – ограниченное предложение – только γ 1∩ γ 2;

Г – неправильное предложение – отсутствует либо γ 1, либо γ 2;

Д – безграмотное предложение – наличие грамматических ошибок;

Е – неправильно оформленное предложение – наличие стилистических ошибок.

В рассмотренном примере в первом предложении ( Массив информации - информационная структура, образованная из одной или более записей таким образом, что записи описывают объекты, а массив – класс объектов ) массив – подлежащее, структура – сказуемое, образованная из одной или более записей таким образом – определение, выраженное причастным оборотом; что записи описывают объекты, а массив – класс объектов – придаточная структура, состоящая из двух простых предложений, связанных сочинительным союзом /а/, причем во втором предложении – неполном – отсутствует сказуемое, поэтому ставится тире. Вся придаточная структура присоединяется подчинительным союзом /что/.

Во втором предложении ( Несколько массивов составляют систему, или набор массивов ) несколько массивов – подлежащее, составляют систему – сказуемое, набор массивов – приложение.

В третьем предложении ( Записью называется точно установленный набор данных, характеризующих некоторый объект или процесс ) набор – подлежа-

щее, называется – сказуемое, установленный – определение, точно – обстоятельство, данных – определение, характеризующих некоторый объект или процесс – определение, выраженное причастным оборотом.

В четвертом предложении ( Примерами записи могут служить товарные чеки, наряды на выполнение работ, накладные, анкеты, статистические отчеты ) примерами записи – определение (несогласованное), могут служить – сказуемое, чеки, наряды, накладные, анкеты, отчеты – подлежащие, товарные – определение (согласованное), на – предлог, выполнение – определение (несогласованное), работ – дополнение.

Критерием оценки γ может быть набор различных правил, определяющих грамматическое качество текстового ответа в целом. Наличие примеров в тексте ответа наглядно поясняет основной вопрос. Качество критерия «наличие примеров» характеризуется коэффициентом φ и определяется сравнением соответствия использованных примеров словам из базы примеров. В рассмотренном выше ответе на вопрос теста «Что такое массив информации?» демонстрируются пять правильных примеров: товарные чеки, наряды на выполнение работ, накладные, анкеты, статистические отчеты .

Исходя из опыта работы преподавателя-предметника, критерием оценки φ могут быть наличие одного, двух и более примеров, отсутствие примера, неправильный пример.

Логические связи между предложениями определяются правилами связи языка между предложениями. Текст, состоящий из двух или нескольких предложений, связанных между собой по смыслу или структурно, и выполняющий композиционно-стилистическую функцию в связном тексте, представляет собой сложное синтаксическое целое.

С точки зрения структурно-семантической сложные синтаксические целые делятся на сложные синтаксические целые с цепной связью и сложные синтаксические целые с параллельной связью между предложениями.

В рассмотренном примере первое предложение сложного синтаксического целого имеет обобщающее значение, все остальные раскрывают содержание первого. Из четырех представленных в ответе предложений первые два и последние два связаны параллельной связью.

Критериями оценки μ может быть соблюдение следующих условий:

– все предложения ответа должны иметь логические связи с основным предложением ответа;

– все предложения, кроме основного, должны иметь соподчиненный характер к основному предложению;

– дополнять его содержание, раскрывать более подробно суть основного предложения, пояснять основное предложение, классифицировать предметы вопроса и т. д.

В рассмотренном выше ответе на вопрос теста «Что такое массив информации?» диагональные элементы матрицы состоят из четырех элементов, так как в тексте представленного ответа четыре предложения. Между первым и вторым предложениями ответа имеется логическая связь, которая определяется по ключевому слову «массив». Между первым и третьим, первым и четвертым, третьим и четвертым предложениями имеется логическая связь, определяющаяся по ключевому слову «запись». Расчет критерия «логические связи между предложениями» определяется количеством логических связей в тексте ответа.

Предложенный тестовый ответ с точки зрения определения критерия «сложность» является сложным, поскольку достаточно высоко определен критерий предметности, грамматически правильно построен текст ответа, имеются 4 логические связи, демонстрирует наличие примеров.

Тестируемый внимательно читает предложенный вопрос теста и вводит ответ на каждый вопрос в окно, которое не ограничено возможностями ввода текстовой информации (рис. 3). Система предоставляет возможность просмотра и корректировки ответов до тех пор, пока не будет нажата кнопка

Р и с. 3. Форма ввода ответа на тестовый вопрос F i g. 3. Input form for answering a test question «оценить результат». После нажатия этой кнопки система анализирует от -веты испытуемого и выводит резуль -тат. Каждый вариант теста состоит из 10 предложенных тестовых вопросов, номера которых ранжируются по мере возрастания их сложности. Оценки выставляются по каждому из выбранных критериев по десятибалльной шкале. Система предоставляет возможность проанализировать составляющие результат тестирования и вывести при необходимости его на печать. На экран выводится сводная таблица результатов тестирования (табл. 1), а также в графическом виде демонстрируются результаты анализа введенных испытуемым ответов теста (рис. 4). Все коэффициенты, представленные в ней с соответствующими им оценками по каждому разработанному критерию, позволяют детально проанализировать ответы тестируемых за каждый вопрос теста комплексом критериев и обосновать получение его итоговой оценки за тест.

Обсуждение и заключение

Результаты исследования могут быть использованы как в общей педагогике, так и в теоретической и практической тестологии. В работе теоретически об-

Т а б л и ц а 1. Пример сводной таблицы результатов тестирования

T a b l e 1. Example of a test results summary table

Порядковый номер вопроса / Question number	Предметность / Objectivity		Грамотность / Literacy		Примеры / Examples		Логические связи / Logical connections		Сложность / Complexity		Общая / Оver-all
	δ	Оценка / Assessment	γ	Оценка / Assess-ment	φ	Оценка / Assess-ment	μ	Оценка / Assess-ment	η	Оценка / Assess-ment
1	1,0	10	1,0	10	1,0	10	0,9	10	1,0	10	10
2	1,0	10	1,0	10	1,0	10	0,9	10	1,0	10	10
3	1,0	10	1,0	10	1,0	10	0,8	9	1,0	10	10
4	1,0	10	1,0	10	1,0	10	0,7	8	0,9	10	10
5	1,0	10	1,0	10	1,0	10	0,7	8	0,9	10	10
6	1,0	10	1,0	10	1,0	10	1,0	10	1,0	10	10
7	1,0	10	0,9	10	1,0	10	0,7	8	0,9	10	10
8	1,0	10	1,0	10	1,0	10	0,2	3	0,8	9	8
9	0,5	6	1,0	10	1,0	10	0,3	4	0,7	8	8
10	0,5	6	1,0	10	1,0	10	1,0	10	0,9	10	9

Предметность / Objectivity

Грамотность / Literacy

Примеры / Examples

Логические связи / Logical connections Сложность / Complexity

Р и с. 4. Графическое представление результатов тестирования

F i g. 4. Graphic representation of test result

основана необходимость использования нового подхода к конструированию ответа на тестовый вопрос, допускающего свободно конструируемую форму тестового вопроса и ответа, а также необходимость разработки критериев анализа такого ответа и научно обоснованного подхода к их оцениванию. Учет полной информации, содержащейся в тестовом ответе испытуемого, осуществляется с использованием разработанных ал -горитмов расчета критериев анализа тестового ответа, что позволяет получить комплексную объективную оценку уровня усвоения знаний.

Многолетние исследования различных авторов по оцениванию знаний показывают, что баллы, выражающие оценку знаний студентов в обучаемых группах, должны быть распределены по нормальному закону. Поэтому самая эффективная система оценки знаний будет та, которая не завышает, не занижает и не смещает средний уровень балла в ответах группы, т. е. гипотеза о нормальности распределения баллов при контроле процессов обучения остается основной рабочей гипотезой.

Таким образом, с помощью разработанной экспертной системы контроля и оценки знаний мы добились повышения качества обучения за счет получения педагогом объективной информации о степени усвоения обучающимися учеб ного материала; детального анализа содержания оценки знаний, что повышает интерес и мотивацию к процессу обучения, о чем свидетельствуют данные, доступные педагогу после проведения тестирования; целенаправленной корректировки процесса обучения с учетом результатов тестирования, выбором коэффициентов сложности.

Построенная нами экспертная система контроля и оценки знаний может быть рекомендована для совершенствования контроля и оценки знаний (особенно по предметам социально-гуманитарного цикла) с целью повышения качества обучения. Это дает возможность применить полученные результаты для решения научной проблемы объективного и достоверного оценивания знаний с использованием тестового метода контроля и оценки знаний. Однако такая экспертная система контроля и оценки знаний на данном этапе не рекомендуется к массовому использованию в образовательном процессе.

Полученные результаты не решают все аспекты проблемы качества знаний, полученных в процессе обучения. Дальнейшая теоретическая и практическая разработка данного направления требует решение таких вопросов, как совершенствование метода тестирования в плане увеличения количества критери-

ев оценки знаний, разработки критериев оценки их качества, развитием базы знаний и т. д.

Полученные в исследовании результаты открывают возможности дальнейшего изучения проблемы обеспечения качества приобретенных в процессе обучения знаний. Предварительное обсуждение материалов работы в научно-педагогическом сообществе под -тверждает целесообразность и важность проведения исследования в обозначенном проблемном поле в условиях образовательной среды.

СПИСОК

ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

Поступила 01.02.2019; принята к публикации 24.05.2019; опубликована онлайн 30.09.2019.

Об авторах :

Головачева Виктория Николаевна, профессор кафедры информационно-вычислительных систем РГП «Карагандинский государственный технический университет» (100027, Казахстан, г. Караганда, Бульвар Мира, д. 56), доктор педагогических наук, ORCID: , Scopus ID: 56646538500, Researcher ID: N-9843-2017,

Томилова Надежда Ивановна, доцент кафедры информационно-вычислительных систем РГП «Карагандинский государственный технический университет» (100027, Казахстан, г. Караганда, Бульвар Мира, д. 56), кандидат технических наук, ORCID: , Scopus ID: 57194212148, Researcher ID: B-2794-2019,

Абилдаева Гульнур Балтабаевна, старший преподаватель кафедры информационно-вычислительных систем РГП «Карагандинский государственный технический университет» (100027, Казахстан, г. Караганда, Бульвар Мира, д. 56), магистр технических наук, ORCID: , Researcher ID: B-3194-2019,

Заявленный вклад авторов :

Головачева Виктория Николаевна – разработка методологической составляющей; формулирование основной концепции исследования; научное руководство; постановка научной проблемы и определение основных направлений ее решения, критический анализ и доработка текста; формирование выводов.

Томилова Надежда Ивановна – общее руководство проектом; развитие методологии; участие в разработке экспертной системы контроля и оценки знаний; составление тестовых заданий для проведения педагогического эксперимента; проведение критического анализа материалов и формирование первоначальных выводов.

Абилдаева Гульнур Балтабаевна – поиск аналитических материалов в отечественных и зарубежных источниках; проведение тестирования; сбор и анализ статистических данных; визуализация данных в тексте; проведение анализа и подготовка первоначальных выводов.

Все авторы прочитали и одобрили окончательный вариант рукописи.