Сравнительный анализ программных комплексов TestMaker и Indigo

На сегодняшний день в России, как и во всем мире, стремительно развиваются информационные технологии, в том числе в сфере контроля знаний. На фоне информатизации системы образования, системы компьютерного тестирования знаний получили широкое распространение, поэтому актуальной является задача разработки автоматизированных информационных систем, которые могут объективно и эффективно оценивать знания и навыки обучаемых.В мире существует множество программных продуктов, обеспечивающихвозможность проверки способностей обучаемых. Они имеют общую функцию – обеспечение контроля обучения студентов как локально, так и дистанционно.

Из-за разнообразия систем компьютерного тестирования знаний на рынке, большинству пользователей сложно остановить свой выбор на конкретном продукте без предварительного тестирования возможностей системы, это также говорит об актуальности данной проблемы.

Представление функциональных возможностей систем TestMakerи Indigo

TestMaker – это программный комплекс системы компьютерного тестирования знаний, предназначенный для создания и редактирования тестов, включаемых в учебные курсы. TestMaker предлагает все необходимое для быстрого создания набора проверочных заданий на освоенный материал, для обучения и контроля знаний обучаемых, позволяет также сохранять и открывать ранее созданные тесты и вносить изменения в них, сохранять результаты тестирования в текстовом/зашифрованном формате. [1-4].

Indigo – профессиональный инструмент для автоматизации процесса тестирования и обработки результатов, который предназначен для решения различного спектра задач: тестирование и контроль знаний, определение профессионального уровня сотрудников, проведение психологического тестирования, проведения опросов, организация олимпиад и конкурсов. Имеется демонстрационный вариант системы, который можно скачать на официальном сайте, а также приобрести лицензионную копию [5].

Редактор тестов Indigo имеет:

• Типы теста:

o контроль знаний;

o обучение;

o опрос.

• •    Неограниченное количество вопросов.

• •    Организация вопросов теста в многоуровневой иерархии произвольной структуры.

• •    Типы вопросов:

o выбор одного варианта ответа;

o выбор нескольких вариантов ответа;

o ввод ответа с клавиатуры;

o установка соответствия;

o расстановка в нужном порядке.

• •    Подтипы вопросов «ввод ответа с клавиатуры»:

o числовой ввод – сравнение с эталоном или определение принадлежности числа заданному диапазону;

o текстовый ввод – сравнение с эталоном или проверка соответствия Perl-совместимому регулярному выражению;

o произвольный ввод.

• •    Настройка навигации:

o запрет пропуска вопросов;

o запрет возврата к пройденным вопросам;

o запрет завершения тестирования до ответа на все вопросы.

• •    Ограничение тестирования по времени.

• •    Настройки перемешивания и случайной выборки задаются для каждой группы вопросов, что обеспечивает широкие возможности автоматической генерации вариантов тестов при каждом запуске тестирования.

• •    Перемешивание вариантов ответов в случайном порядке для всех или некоторых вопросов.

• •    Импорт вопросов всех типов из текстовых файлов (TXT).

• •    Объекты «Сообщения» с произвольным наполнением.

• •    Объекты «Пояснения», которые могут выводиться в зависимости от заданных настроек:

• o    при нажатии на кнопку «Пояснение»;

• o    при неправильном ответе;

o при просмотре результатов после завершения тестирования.

• •    Задание для одного теста неограниченного числа шкал оценивания.

• •    Произвольный ввод формулы расчета баллов для каждой шкалы, с возможностями подстановки в формулу баллов за вопросы и группы вопросов, и использованием арифметических операций, математических функций и условного оператора.

• •    Произвольный ввод делений для каждой шкалы.

• •    Произвольное задание шаблона результатов, который выводится пользователю после завершения тестирования.

• •    Возможность подстановки в шаблон результатов любых данных, полученных в результате вычисления шкал оценивания.

• •    Одновременная работа в редакторе с несколькими тестами.

• •    Копирование вопросов и групп вопросов из одного теста в другой.

Типы вопросов TestMaker:

• 1.    Выбор одного правильного ответа

• 2.    Выбор нескольких правильных ответов

• 3.    Поиск соответствия

• 4.    Открытый вопрос (запрос ввода пропущенного текста)

• 5.    Расширенный открытый вопрос.

Типа вопросов Indigo:

• 1.    Выбор одного правильного ответа

• 2.    Выбор нескольких правильных ответов

• 3.    Поиск соответствия

• 4.    Открытый вопрос (запрос ввода пропущенного текста)

• 5.    Установка соответствия

Сравнение типов вопросов

• • Выбор одного правильного ответа.

TestMaker: вопрос представляет собой выбор одного правильного ответа из нескольких, остальные либо неточны, либо неправильны. Можно указать количество вариантов ответа сколько поместится на экране.

Какой блок организует всю работу7 системы. А так же является основным блоком по пересылке информации и ее переработке. В нем хранится вся промежуточная информация. Он выполняет роль интерфейса между интеллектуальной системой и ЭВМ.

Рис. 1. Выбор одного правильного ответа в среде TestMaker

Indigo: данный вид вопроса аналогичен системе TestMaker, но предоставляется возможности выбора количества баллов за правильный ответ и добавить примечание к вопросу. Вариантов ответа можно указать сколько угодно (количество неограниченно экраном).

Тип вопроса "Выбор одного варианта ответа". Пример:

Основоположник античной диалектики, автор слов "В одну реку нельзя войти дважды"?

I Пояснение -

К вопросам может добавляться "Пояснение" с произвольным содержимым. Пояснения могут выводиться в разных случаях в зависимости от заданных настроек:

• 1.    При нажатии на кнопку "Пояснение".

• 2.    При неправильном ответе.

• 3.    При просмотре ошибок в ответах после завершения тестирования.

Платон

Й Протагор

Фалес

О Гераклит

Рис. 2. Выбор одного правильного ответа в среде Indigo

• •    Выбор нескольких правильных ответов.

TestMaker: данный тип вопроса аналогичен закрытому однозначному вопросу, но имеется возможность выбора нескольких (или ни одного) ответов.

Для решения задач в определенной предметной области необходимо в начале

Выберите ответ:

Г Собрать информацию о предметной области

Г Создать концептуальную модель этой области

Г Создать теорию данной научного представления

Г" Решить основную проблему предметной области

Рис. 3. Выбор нескольких правильных ответов в среде TestMaker

Indigo: имеется возможность выбрать несколько ответов из заданного списка возможных вариантов.

Тип вопроса "Выбор нескольких вариантов ответа". Пример:

Укажите философские категории:

Пояснение ''

U революция

U бытие

0 материя

0 интеграция

Q власть

0 сознание

Рис. 4. Выбор нескольких вариантов ответа в среде Indigo

• •    Поиск соответствия.

TestMaker: представляет собой три списка. Нужно найти соответствие между элементами левого и правого списка (щелкнуть левой кнопкой мыши сначала на элемент в левом списке, а затем на элемент в правом). Ответавтоматическиотобразится в верхний список.

Сопоставьте определения игр:

Топологические игры

Компьютерные игры

Стохастические игры

игры в которых необходимо учитывать не только дерево игры, задаваемое возможными последовательностями кодов противников, но и структурой самой позиции, как целого в процессе игры возникают вероянотностые шаги игры с жесткой схемой, в которых "интеллекта" практически нет

Рис. 5. Поиск соответствия в среде TestMaker

Indigo: вопрос представлен как таблица с двумя столбцами. В правом столбце необходимо из всплывающего списка выбрать ответ, соответствующий фразе или слову из левого столбца.

Тип вопроса "Установка соответствия". Пример:

Соотнесите слово с его переводом:

Слово	Перевод
wall	выберите ответ
window	выберите ответ
bath	выберите ответ
door	выберите ответ

Рис. 6. Поиск соответствия в среде Indigo

• •    Открытый вопрос (запрос ввода пропущенного текста).

TestMaker: открытый вопрос представляет собой поле, в которое нужно написать правильный ответ с клавиатуры. Введенная последовательность символов будет считываться и сравниваться с эталоном, указанным при редактировании вопроса.

Рис. 7. Открытый вопрос в среде TestMaker

Indigo: отличие системы в том, что в редакторе вопроса можно указать тип ответа (числовой ввод, произвольный ввод или проверка соответствия Perl-совместимому регулярному выражению).

Тип вопроса "Ввод ответа с клавиатуры". Пример:

Введите число Пи с точностью до сотых:

Рис. 8. Открытый вопрос в среде Indigo

• •    Расширенный открытый вопрос.

TestMaker: представлен как отдельный тип, который является модифицированным вариантов типа «Открытого вопроса» и отличается полем «Ответ», которое представляет структуру с собственным алфавитом, грамматическими конструкциями.

Рис. 9. Расширенный открытый вопрос в среде TestMaker

• •    Установка соответствия.

Indigo: вопрос представляет собой окно, в котором посредством мыши нужно перетаскивать элементы вверх или вниз.

Тип вопроса "Расстановка в нужном порядке". Пример:

Расположите в хронологическом порядке имена правителей Руси: (перемещайте варианты ответов указателем мыши вверх или вниз)

• 1.

• 2.

• 3.

• 4.

• 5.

t Пётр I Великий

t Екатерина II Великая

t Иван IV Грозный

t Владимир Мономах

t Александр Невский

Рис. 10. Установка соответствия в среде Indigo

Достоинства и недостатки систем.

Основные достоинства системы Indigo:

• 1.    Данная система хранит информацию о пользователях системы и может предоставить информацию о пройденных тестах пользователем, а также оформить отчет по данной информации.

• 2.    Имеется русскоязычный форум, где можно задать интересующие вопросы разработчикам, а также попросить помощи в решении проблем с работой системы.

• 3.    Программа обладает интуитивно понятным и современным интерфейсом.

• 4.    Можно подразделять пользователей на группы и отправлять им e-mail рассылки. А также импортировать и экспортировать списки пользователей для быстрого переноса информации на другую машину.

• 5.    Возможен импорт вопросов из файла.

• 6.    Разбиение вопросов на группы и подгруппы, что позволяет установить индивидуальные настройки для каждой группы.

Недостатки системы Indigo:

• 1.    Платность программы.

• 2.    Размер программы достигает 125 Мб (без учета тестов).

Достоинства системы TestMaker:

• 1.    Система TestMaker имеет локальный характер, то есть для переноса всех данных достаточно сделать копию на носитель и перенести на другую машину.

• 2.    Не требуется регистрация пользователей, что ускоряет работу с данной системой.

• 3.    Является свободно распространяемым программным продуктом, который можно загрузить с сервера.

К недостаткам системы можно отнести:

• 1.    Устаревший интерфейс.

• 2.    Нерегулярное обновление программного продукта.

Заключение

Оба комплекса являются хорошими программными продуктами, в которых остро нуждаются образовательные учреждения. Программный комплекс Indigo поддерживается любой операционной системой. Регулярно обновляется разработчиками, что расширяет функционал данной системы и делает его более привлекательным на рынке тестирующих систем.

Таким образом, на сегодняшний день имеется широкий выбор программных комплексов для реализации тестирования. Выбор конкретного продукта зависит от цели тестирования. В итоге сделанного сравнительного анализа можно сказать, что Indigo является наиболее лучшим вариантом для пользователей.

Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева И.Х.