Система автоматизированного контроля результатов обучения

Одной из проблем интеграции образовательных учреждений различных структур является проведение информатизации образования на основе единого подхода к вопросам оценки результатов обучения. Подобный подход включает в себя единую согласованную методику контроля с использованием согласованных эталонов знаний.

Организация достоверного и эффективного контроля качества знаний обучаемых требует к себе постоянного внимания преподавателей. Особенно актуальной данная задача становится в связи с внедрением в образовательную практику систем дистанционного образования.

Для совершенствования образования одним из ведущих факторов служит решение задачи более глубокой индивидуализации процесса обучения. В условиях тех ограничений (трудовых, материальных и др.), с которыми сталкиваются вузы, адаптация учебного материала к каждому обучаемому может быть осуществлена только путем широкого внедрения в учебный процесс вычислительной техники, и в первую очередь автоматизированных обучающих и контролирующих знания систем (АОС). Другой фактор - это применение ЭВМ при организации, учете и планировании учебного процесса. Комплексное использование вычислительной техники связано с реше- нием целого ряда достаточно сложных научных проблем в области психологии обучения, педагогики, информатики, кибернетики, систем искусственного интеллекта и ряда других смежных научных направлений. В общем случае в обучении используются специализированные информационные системы (ИС). Основное внимание при разработке таких ИС уделяется методам организации учебного материала, форме выдачи порции информации обучаемому, оптимальному распределению материала во время обучения и т.д. При этом вопросы промежуточного и рубежного контроля знаний не соответствуют достигнутому уровню АОС. Контроль усвоения знаний ведется на базе подсчета правильных однозначных ответов, жестко связанных с текстом вопроса. На наш взгляд, это снижает эффективность обратной связи студент - АОС, вследствие чего потенциальные возможности ИС, применяемых в обучении, используются не в полной мере. Для повышения ее эффективности необходимо расширение дидактических возможностей систем в области контроля и оценки знаний студентов.

Специфика компьютерного обучения заключается в том, что для усвоения предлагается заранее отобранная, систематизированная, упорядоченная и формализованная информация. Каждый кадр учебной информации является семантически законченным фрагментом. Теми же свойствами, по существу, обладают и эталоны знаний, относительно которых ведется оценка.

Для получения оценки требуется проведение синтаксического и семантического анализа ответов. Синтаксический анализ предполагает выделение элементов эталонного ответа из совокупности элементов вводимого ответа. Под семантическим анализом мы понимаем операции поиска, маркировки и сортировки соответствующих типов семантических единиц и зависимостей среди элементов ответа, на основании которых вычисляются те или иные характеристики качества знаний. Измерение каждой характеристики и получение комплексной оценки производятся относительно эталона ответа с помощью операции пересечения. Сравнение данного метода с другими, в частности с методами таксономической классификации, применяющими критерий таксономического подобия, показало, что предлагаемый подход представляется более полным и в большей степени соответствует задаче контроля знаний, чем прочие.

Для учебной информации, предлагаемой для обучения, самая удобная форма представления - естественный язык. С учетом сложностей проектирования общения в системах искусственного интеллекта, использующих ограниченный естественный язык или искусственные языки, близкие к нему, для внедрения в системах контроля знаний целесообразно применение проблемно-ориентированного естественного языка (тезаурус, составленный для каждого отдельного курса). Имеющийся набор терминов, обладающий возможностью расширения номенклатуры, и синонимов позволяет избежать многозначности выражений в предъявляемой информации и ответах. Достоинством языка такого типа следует назвать его использование в обучении без предварительной подготовки. Ограничение числа терминов в структуре тезауруса по каждому разделу ведется преподавателем исходя из особенности предмета, глубины, полноты изучения курса и опыта самого преподавателя.

В настоящее время АОС находят широкое применение в вузах и организациях по подготовке и переподготовке специалистов как системы, реализующие различные типы обучающих стратегий.

Функциональная структура таких систем может быть различной, но в них всегда должен присутствовать блок, вырабатывающий дальнейшую стратегию действий системы относительно обучаемого. Этот блок, обеспечивающий обратную связь обучаемый - система, предназначен для анализа ответов обучаемого и контроля состояния полученных знаний. Однако если другие подсистемы АОС хорошо структурированы и описаны, то блоки кон- троля, используемые в системах, требуют дальнейшего развития.

Универсальное решение данной проблемы, несомненно, лежит в области развития систем искусственного интеллекта и смежных областей. Но имеющиеся на этом пути трудности заставляют искать другие подходы к решению задач контроля ответов обучаемого на ограниченном естественном языке.

Подробнее остановимся на подсистеме коррекции обучения, основной целью которой является организация обратной связи между обучаемым и АОС. В действующих системах АОС в качестве подсистемы обратной связи используется процедура оценки и анализа ответа обучаемых на заданные системой тесты. Для создания более гибкого алгоритма оценки необходимо отказаться от стандартного формирования структуры ответов в виде совокупности выборочных или выборочно-конструируемых элементов и сделать основной упор на свободно-конструируемые, контекстно-конструируемые и свободные типы формирования ответов. При реализации анализа ответов такого типа возникают известные трудности синтеза систем искусственного интеллекта, например вопросно-ответных (ВОС), функционирующих в среде ограниченного естественного языка.

Одним из вариантов упрощения семантического анализа является так называемый квазисемантический анализ информации, позволяющий перейти от сложных семантикосинтаксических структур, подлежащих синтаксическому, морфологическому и семантическому анализу, к их количественно-взвешенным критериям. Тем самым анализ таких структур для данного случая с достаточной степенью точности удается заменить процедурой количественной оценки, базирующейся на некоторой совокупности информационных характеристик.

По сравнению с другими классами информации учебная информация имеет ряд особенностей, позволяющих упростить ее анализ. К ним относятся: априорное отсутствие синонимии; тезаурус, ограниченный проблемной областью; единая целевая функция обучения для различных чипов психофизической деятельности обучаемых; единая организация учебного материала и методов адаптации к характеристикам обучаемых.

Рассматриваемая система АОК, предназначенная для анализа и оценки ответов обучаемых, имеет тип представления входной информации в виде свободно-констру-ируемых фраз естественного языка, числовых данных, блок-схем или принципиальных схем различных устройств. В языке общения с системой допускаются термины или их синонимы как занесенные в тезаурус, хранящийся в памяти ЭВМ и используемый в процессе обучения, так и не включенные в него. Оценка знаний осуществляется в процессе анализа конструкций ответа, содержащих элементы тезауруса, поскольку на его основе реализованы эталоны. Тезаурусы ориентированы на конкретные предметные области знаний.

Блок-схема системы АОК изображена на приведенном ниже рисунке.

Преподаватель выдает задание, одновременно из базы знаний в измерительную систему направляется эталон ответа. Обучаемый, используя тезаурус, формирует ответ и вводит его в ЭВМ. По окончании анализа выводится оценка знаний по заданному вопросу.

Перспективной реализацией данной схемы, развитием этого направления является применение в комплексе тестирования и контроля знаний экспертной системы, базирующейся на знаниях (Knowledge-Based Expert System (KBES)), и системы понимания и обработки естественного языка. База знаний экспертной системы содержит требуемый набор знаний, являющийся эталоном для оценки ответов, а система анализа естественного языка позволяет трансформировать ответы тестируемого в образы для последующей оценки.

Отметим,что процесс оценки знаний в системе моделирует процесс оценки знаний преподавателем: любая его стадия может быть проанализирована как самостоятельно, так и совместно с преподавателем.

Применение систем такого рода еще более оправданно, если проблему интеграции

ЭВМ

Задание

Рис. 1. Блок-схема организации оценки качества знаний

образования рассматривать с позиций дистанционного образования. Современное развитие телекоммуникационных систем, одним из примеров которого может являться глобальная информационная среда Интернет, предоставляет широкие возможности для решения проблем интеграции. Например, с помощью Интернета могут быть решены проблемы согласования и выработки единых вариантов курсов и эталонов оценки знаний.

РЕЙТИНГОВАЯ СИСТЕМА ОЦЕНКИ ЗНАНИЙ В ЕСТЕСТВЕННО-ТЕХНИЧЕСКОМ ЛИЦЕЕ

Проблемы условий и критериев эффективности современного обучения вызывают у исследователей и учителей, с одной стороны, обостренный интерес, с другой - значительные трудности. Вопросы поиска абсолютных и относительных способов оценки знаний и умений школьников весьма актуальны и интересны. Это важно еще и с той точки зрения, что для положительного развития познавательной деятельности ребенка, а также для его психического развития необходимо предоставить ему возможность самостоятельно оценивать свои знания и умения, а также узнать свое относительное место в ученическом коллективе.

Рейтинговая система оценки была введена в естественно-техническом лицее в 1998 г. Сразу оговоримся, что рейтинговая оценка не заменяет основную школьную оценку и не влияет на аттестат. Эта оценка позволяет ученику наглядно (в цифрах) уви деть свое относительное положение в классе, в параллели, в лицее в целом. Рейтинговые оценки влияют на награждение лицеистов, на присуждение им стипендий и т.п.

Рейтинг каждого учащегося определяется с помощью компьютерной программы. Основная концепция этой программы была разработана научным руководителем лицея В.И.Ивлевым, а реализована нами. Программа написана с помощью редактора электронных таблиц Microsoft Excel.

Основой определения рейтинга служат оценки, получаемые учащимися на уроках и зафиксированные в классном журнале.

По окончании каждой учебной четверти в предметные рейтинговые таблицы (табл.1) заносятся количество пятерок, четверок, троек и двоек (колонки 3 - 6), полученных лицеистами по каждому предмету, а также четвертные оценки (колонка 11). Конечный рейтинг (колонка 14) выставля-