Использование корпоративной информационно-технологической платформы для контроля знаний студентов

ВЕСТНИК 2017

В Университете (Национальный исследовательский университет «Московский институт электронной техники») для эффективного взаимодействия субъектов образовательного процесса используется корпоративная информационнотехнологическая платформа как совокупность технико-технологических и организационноинформационных решений поддержки и сопровождения образовательной деятельности. В ней размещаются все необходимые материалы, поддерживающие учебный процесс, в том числе осуществляется контроль качества знаний студентов.12

Научные исследования в области разработки и внедрения систем автоматизированного конт- роля знаний проводили: Аванесов В.С., Беспалько В.П., Карлащук В.И., Карпов В.Э., Ким В.С., Кривошеев А.О., Лаптев В.Н., Луценко Е.В., Майоров А.Н., Нейман Ю.М., Норенков Ю.И., Оцуки С., Растригин Л.А. Рудинский И.Д., Савельев А.Я., Свиридов А.П., Стоунс Е., Симанков В.С., Соловов А.В., Хлебников В.А. и многие др. [4].

Формы и методы реализации балльно-рейтинговой системы отражены в трудах Боева О.В., Давыдовой Л.Н., Киргуевой Ф.Х., Суржикова А.Л., Цахоевой А.Ф., Чубик П.С. и др. Вопросы диагностики знаний на основе балльно-рейтинговой системы с использованием тестовых измерителей рассмотрены в исследованиях Акинфиевой Н.В., Гребнева Л.С., Зинченко Н.А., Лебедевой Е.Н., Литвиненко Э.В., Макарова А.А., Серебряковой Л.А., Сакаевой С.Р., Яковлева Е.В. и др.

В настоящее время существует большое количество систем контроля знаний в виде отдельных программных решений: «Аттестация», ГРАММАТЕЙ-КЛАСС, ITEMAN, RASCAL, RSP, The Examiner testing system, FastTEST professional, C-Quest, CONTEST, ПОЛСТАР, «Контроль знаний», «Экзаменатор», «Мудл» и отечественных автоматизированных обучающих систем:

АОС-ВУЗ, АОС-СПОК, АОСМИКРО, САДКО, КАДИС, КОБРА, «Фея», «ЭКСТЕРН», «Гисофт» и многие др. [1; 2; 3].

Анализ этих систем позволил сделать выводы о необходимости разработки алгоритмов функционирования системы контроля знаний, основанных на формальных методах анализа и дифференцированной оценки ответов обучаемых. Повышение эффективности обучения при использовании корпоративной информационнотехнологической платформы было доказано рядом экспериментальных исследований, результаты анализа которых показали, что наличие возможностей системы постоянного контроля степени усвоения и качества знаний студентов способствует более прочному закреплению учебного материала.

Контроль качества знаний студентов, являясь важной частью образовательного процесса, обеспечивает обратную связь с обучаемым и предназначен в первую очередь для определения уровня знаний студентов с целью организации адаптивного управления обучением. Нами были исследованы различные алгоритмы и методики проведения контроля знаний, определен набор встроенных параметров, предназначенных для параметрической настройки системы контроля знаний.

Контроль качества знаний студентов осуществляется с помощью тестов на базе корпоративной информационно-технологической платформы Университета. К тестам предъявляются следующие требования.

– Надежность, понятность, простота, однозначность, полнота и пр. Под надежностью теста понимается способность измерять степень усвоения пройденного учебного материала. Это достигается повторным тестированием.

– Понятность теста означает, что студент должен понимать, какие задания и в каком объеме он должен выполнить.

– Простота теста состоит в том, что задания формулируются как можно лаконичнее, четче, конкретнее.

– Однозначность теста предполагает, что при оценке качества его выполнения разными преподавателями не должно быть существенных противоречий.

– Полнота теста означает охват одним тестом всех элементов измеряемого полученного знания (дефиниций, категорий, функций, свойств и т.д.) [4].

Существенным фактором при подготовке такого рода деятельности является стратегия построения курсов [5].

В существующих системах тестирования знаний итоговая оценка ответа тестируемого на тестовое задание включает только сравнение конечного ответа с эталонным ответом. Но один и тот же конечный ответ на тестовое задание может быть получен при различных траекториях процесса его формирования. Поэтому динамика процесса формирования ответа должна учитываться при вычислении степени соответствия конечного ответа эталонному ответу на тестовое задание.

Субъекты образовательного процесса с использованием корпоративной информационнотехнологической платформы получают доступ к информационным ресурсам по всем составляющим учебного плана образовательных программ, к результатам своей текущей успеваемости, к тестовым материалам и многим другим сервисам. Преподаватели используют эту платформу для предоставления доступа студентам к источникам информации, вводят в электронные журналы дисциплин накопленные студентами баллы в балльно-рейтинговую систему, регистрируют задолженности студентов, составляют графики для ликвидации задолженности и пр.

Контролирующие, обучающие и комбинированные программы разрабатываются в Университете с учетом рекомендаций педагогической кибернетики. Дидактические программы обладают определенным «интеллектом», при этом качественные контролирующие программы используют компьютерную графику в информационных и контрольных кадрах; позволяют оперативно изменять содержание учебного курса с помощью интеллектуального меню; обеспечивают возможность изменения трудности и сложности заданий; позволяют студенту работать в индивидуальном темпе; являются открытыми системами, что позволяет их легко модернизировать. Важной характеристикой «интеллекта» программы является возможность автоматически анализировать ответы студентов.

Интеллектуальная программа позволяет автоматически или автоматизированно генерировать задания из базы знаний с помощью генератора случайных чисел. В этом случае контроль становится более объективным, так как разные студенты с разной степенью подготовки получают разные задания. Интеллектуальная контролирующая программа дает возможность анализировать ответы разных типов: выборочный, инъекционный, перестановочный, классификационный, полностью конструируемый студентом; распознает различные синонимы правильных ответов; проводит синтаксический и

ВЕСТНИК 2017

ВЕСТНИК 2017

семантический анализы ответов студентов; различает технические (орфография, ошибки клавиатурного набора) и существенные ошибки; локализует местонахождение ошибки; может задавать дополнительные вопросы с целью оценки.

К новым результатам организованной системы контроля знаний студентов относятся: формализация представления ответов различных типов, позволяющих использовать для их анализа и оценки методы сравнения списков и множеств; методика сравнения множеств и списков для определения правильности ответов.

В качестве моделей свободно конструируемых ответов могут использоваться списки и множества. Например, текстовые ответы, вводимые через шаблоны, можно рассматривать как список слов или словосочетаний. Для оценки выборочных ответов был разработан Д-метод, который не зависит от семантики вопроса и позволяет проводить оценку дифференцированно, а не по наиболее часто используемой двухбалльной шкале. Система контроля знаний включает в себя множество предлагаемых вопросов, правильные ответы на них и правила определения корректности ответов, полученных в ходе опроса.

Поскольку при использовании выборочных ответов существует возможность неадекватной оценки знаний обучаемого в случае непредвиденного ввода правильного ответа, была проведена оценка предложенных типов ответов (МНОЖЕСТВО, СПИСОК, МНОЖЕСТВО СПИСКОВ и СПИСОК МНОЖЕСТВ) с точки зрения величины такой вероятности.

Подготовка и реализация системы контрольных мероприятий с использованием системы контроля знаний студентов в масштабе всего Университета подсистема «Рубежный контроль текущей успеваемости» координируется специальным отделом разработки образовательных методик и технологий.

В качестве средства хранения информации (базы данных научных и учебно-методических материалов) и инструмента компьютерного тестирования, а также для оценки знаний студентов Университета используется авторская сертифицированная сетевая программная оболочка.

На рис. 1 показана функциональная структура программного решения, в которой представлена совокупность программных приложений, среди которых расположена система контроля знаний студентов, база данных, база знаний, файлы с учебными материалами, подсистема управления знаниями, подсистема управления предметной областью, внешние модули и пр.

Рис. 1. Функциональная взаимосвязь системы контроля знаний с элементами информационно-технологической платформы

В данной работе использовались наборы правил базы знаний для управления контролем знаний. База знаний реализована на языке PDC Prolog. Описание теста из соответствующих файлов (с расширением TDL) автоматически конвертируется в файл формата базы данных языка Пролог (database). Этот файл содержит следующие факты, показанные во фрагменте программы на рис. 2:

% для блоков КОНТРОЛЬ_ПО_ТЕМЕ

% еоп1го !(название_темы,

% типконтроля: ПРОМЕЖУТОЧНЫЙ - 0

% ЗАВЕРШАЮЩИЙ - 1

%       ВЫБОРОЧНЫЙ - 2

%   способвыбора: СЛУЧАЙНО_БЕЗ_ПОВТОРОВ - 0

%        СЛУЧАЙНО - 1

%        ПОЛЬЗОВАТЕЛЬ - 2

%        ПОДРЯД - 3

%   способвыдачи: ОДИН - 0, ВСЕ - 1

%    количествовопросов, количествоответов, оценка,

%   тип_оценки : СУММА - 0

%        ПРОЦЕНТ - 1

%       ШКАЛА - 2

%   минимальный_балл, максимальный_балл)

% для блоков ВОПРОС

% question (название_темы, названиевопроса, названиесвойства, значениесвойства)

% для блоков ОТВЕТ

% answer (название_темы, названиевопроса,

% тип_ответа: МНОЖЕСТВО - 0

% СПИСОК - 1

%        ВЫРАЖЕНИЕ - 2

%        ТЕКСТ - 3

% эталон,

% типоценки : СХОДСТВО - 0, РАВНО - 1

% погрешность, минимальный_балл, максимальный_балл) % для управления порядком выдачи вопросов % order(свойство, ASC | DESC)

Рис. 2. Фрагмент программы «Контроль по теме»

Показана сводимость синтаксического описания графиков к типу СПИСОК с последующим применением для определения его правильности Д-метода.

Таким образом, можно сделать следующий вывод : разработана система контроля знаний студентов, обеспечивающая более полные возможности представления и анализа ответов и включающая:

– средства поддержки удаленного доступа для тестирования в рамках единой информационно-образовательной среды Университета на базе корпоративной информационно-технологической платформы;

– базы знаний, управляющие формированием теста на основе набора контрольных заданий и проведением тестирования по различным методикам;

– методы сравнения множеств и списков.

Система компьютерного контроля позволяет реализовать более эффективную технологию контроля знаний по всему пройденному материалу, которая дает возможность экономить время на проверку, использовать методы и средства контроля знаний, обеспечивающие более полные возможности представления и анализа ответов студентов.

На основе исследований, разработанных методик и алгоритмов и осуществленной программной реализации алгоритмов создана эффективная система контроля знаний, расположенная на базе корпоративной информационно-технологической платформы Университета, которая в настоящее время активно используется в учебном процессе.