Обзор возможностей программных комплексов TestMaker и VeralTestEditor

В настоящее время стремительно развивается область контроля знаний. Из-за растущего уровня информатизации образовательных систем, системы компьютерного тестирования знаний получают все большее распространение. Вследствие этого актуальной становится задача разработки автоматизированных информационных систем, качественно оценивающих знания обучаемых. На данный момент количество программ, проверяющих способности обучающихся, значительно. Для них характерна общая функция – обеспечить высокий уровень контроля качества обучения учеников локально и дистанционно.

Из-за разнообразия систем компьютерного тестирования знаний перед пользователем стоит сложная задача выбора необходимого продукта без возможности протестировать систему заранее, что подчеркивает актуальность данной проблемы.

Представление функциональных возможностей систем TestMaker и VeralTestEditor

TestMaker – это компьютерная система тестирования знаний, целью которого является создание тестов, использующихся в учебных курсах, а также их редактирование. TestMaker предоставляет возможности проектирования заданий для проверки усваиваемости материала, для оценки знаний учащихся.[1-4].

VeralTestEditor - пакет программ, обеспечивающий проведение тестирования обучаемых или аттестацию работников предприятия. Главное достоинство – простота и удобство интерфейса. Используется для создания автономных .exe тестов, которые можно запустить на любом персональном компьютере на платформе Windows без установки дополнительного программного обеспечения. Этот редактор тестов позволяет создавать вопросы разных типов, проводить тестирование по различным схемам и настраивать шкалу оценок. Также есть возможность создавать «бумажные тесты» для проведения тестирования без компьютера. [5].

В редакторе тестов VeralTestEditor поддерживаются следующие типы вопросов: единичный выбор ответа, множественный выбор ответа, ввод текстового ответа, ввод числового ответа, сопоставление. Единичный выбор ответа предполагает выбор одного варианта ответа из нескольких. В вопросах с множественным выбором тестируемому предлагается выбрать один или несколько вариантов ответов из предложенных. Ввод текстового ответа предполагает введение текстовой строки в качестве ответа. Ввод числового ответа подразумевает ввод числа в качестве ответа. Вопрос с сопоставлением удобно применять в случаях, когда требуется упорядочить элементы или сгруппировать какие-либо элементы по определенным признакам.

В редакторе тестов вопрос каждого типа может быть записан в двух различных форматах: "Стандартном" и "Свободном". Формат записи вопроса определяет способ расположения текста вопроса и вариантов ответов. При стандартном формате текст вопроса и варианты ответа располагаются отдельно друг от друга, и их расположением управляет система тестирования. При свободном формате поля для ввода ответов располагаются прямо в тексте вопроса, в местах, указанных явно при составлении вопроса.

В VeralTestEditor имеется функция "Импорт вопросов", которая позволяет импортировать в редактор тестов вопросы, созданные в других редакторах. Импорт возможен из текстовых файлов (*.txt) и из файлов Rich Text Format (*.rtf). Таким образом, можно импортировать файлы, созданные как в простых текстовых редакторах, таких как "Блокнот", так и в мощных текстовых процессорах, таких как Microsoft Word и OpenOffice.org Writer.

При создании теста имеется возможность выбрать режим вывода вопросов: последовательный или случайным образом.

В данном редакторе тестов вопросам можно присвоить уровень сложности, а именно:

• -    любой уровень (вопросы выводятся всегда вне зависимости от установленного уровня сложности);

• -    легкий уровень (вопросы минимального уровня сложности);

• -    средний уровень (вопросы среднего уровня сложности);

• -    сложный уровень (вопросы максимального уровня сложности).

В редакторе тестов для каждого вопроса может быть выбран один из двух режимов обработки ответа: "Баллы за вопрос" и "Баллы за ответ". В режиме обработки ответа "Баллы за вопрос" тестируемый получает заданное кол-во баллов (указывается при составлении вопроса) только в случае правильного и полного ответа. Во всех остальных случаях, например, если дан неполный ответ на вопрос, тестируемый получит 0 баллов. В режиме обработки ответа "Баллы за ответ" для каждого варианта ответа задается свой "вес" в баллах. Итоговое количество баллов за вопрос равно сумме баллов выбранных вариантов ответа.

При создании теста имеется возможность выбрать режим вывода ответов: последовательный или случайным образом.

Тест в VeralTestEditor может выполняться в трех режимах: пошаговый режим, пошаговый с сообщениями, список.

Пошаговый режим. В этом режиме вопросы выводятся на экран по одному. Пользователь должен дать ответ на вопрос и нажать кнопку "Ответить", чтобы перейти к следующему вопросу. Пользователь может так же нажать кнопку "Пропустить", чтобы отложить ответ на текущий вопрос и перейти к следующему (можно пропускать вопросы только в пределах текущей секции, переход к следующей секции произойдет, только после ответа на все вопросы текущей секции).

Пошаговый с сообщениями. Тоже, что и пошаговый, но по мере выполнения теста будут появляться сообщения, если они определены в тесте.

Список. В этом режиме выводятся на экран одновременно все вопросы единым списком. Тестируемый должен дать ответы на все вопросы и нажать кнопку "Ответить" в конце списка. В режиме "Список" сообщения не выводятся.

При выполнении теста тестируемому предоставляется информация о ходе выполнения:

• •    общее количество вопросов;

• •    количество пройденных вопросов;

• •    общее количество секций;

• •    количество пройденных секций;

• •    максимально возможное количество баллов за тест;

• •    текущее количество баллов за тест.

По завершении теста предоставляется информация о количестве выполненных вопросов и секций и о набранном количестве баллов.

Отличительной чертой этого редактора теста является разделение на секции. Секции предназначены для группировки вопросов по тематике и по уровню сложности.

Группировка вопросов по тематике осуществляется следующим образом. Если тест охватывает несколько тем (разделов) того или иного предмета, то при помощи секций можно сгруппировать вопросы по темам, указать режим вывода вопросов в каждой теме (последовательно, случайным образом), а также указать количество предлагаемых тестируемому вопросов для каждой темы. Наряду с группировкой вопросов по темам, при помощи секций можно дополнительно сгруппировать вопросы по уровню сложности, сформировав таким образом тест подходящий для пользователей с различной подготовкой и уровнем знаний. Перед началом тестирования можно указать необходимый уровень сложности, при этом в ходе выполнения теста будут выводиться вопросы, соответствующие указанному уровню сложности.

Если в тесте существуют секции, в которых вопросы сгруппированы по уровню сложности, то тест можно запускать в Адаптивном режиме, указав перед началом тестирования уровень сложности "Авто".[6]. В адаптивном режиме уровень сложности теста автоматически подстраивается под возможности тестирования, при этом уровень сложности в первой секции устанавливается максимальным, а во всех остальных секциях уровень сложности выбирается исходя из набранного количества баллов в предыдущей секции, как показано в таблице 1.

Таблица 1.

Набранное кол-во баллов в предыдущей секции	Уровень сложности новой секции
Максимально возможное	Максимальный
Больше 0, но меньше максимально возможного	Средний
0	Минимальный

Сообщения в VeralTestEditor предназначены для выдачи информации пользователю в процессе выполнения теста

В системе тестирования есть два типа сообщений:

• -    для вопросов (сообщение выдается после ответа на вопрос);

• -    для секций (сообщение выдается после выполнения секции).

Для каждого типа можно указать конкретные номера секций или вопросов, для которых предназначено сообщение, а также результат (минимальный, средний, максимальный), по достижению которого будет показано сообщение.

Данный редактор тестов позволяет просмотреть отчет о выполненном тесте, который выводит на экран список вопросов, заданных в ходе тестирования, с указанными ответами тестируемого.

Сравнение типов вопросов

• ❖    Единичный выбор ответа.

В TestMaker данный тип вопроса подразумевает выбор одного правильного ответа из нескольких, остальные не являются верными. Максимального ограничения на количество вариантов ответа нет. На рис.1 и рис.2 представлены примеры в TestMaker и VeralTestEditor.

Редактор закрытого однозначного вопроса                         X

Лево |25 Ширина [565 Заголовок

Верх |б5 [%] Высота |340 ^ [

Ответ

С Менеджер по знаниям

f* Инженер по знаниям

Г" Главный по знаниям

С Директор знаний

Варианы

Менеджер по знаниям

Инженер по знаниям Г лавный по знаниям

Директор знаний

Удалить | Добавить | |                                ОК | Отмена

Рис. 2. Выбор одного правильного ответа в среде VeralTestEditor

Рис. 1. Редактор выбора одного правильного ответа в среде TestMaker

В VeralTestEditor вопрос с выбором одного правильного ответа аналогичен вопросу системы TestMaker, но имеет дополнительные функции: вывод вариантов ответа в случайном порядке и выставление количества баллов за правильный ответ. Ограничение на количество ответов - 6.

• ❖    Множественный выбор ответа.

В TestMaker данный тип вопроса схож по интерфейсу с закрытым однозначным вопросом, но возможен выбор нескольких (или ни одного) ответов. На рис.3 и рис.4 представлены примеры в TestMaker и VeralTestEditor.

Редактор закрытого многозначного вопроса                      X

Лево |15 0 Ширина |б00 Заголовок _____________

Верх |ВВ [%j Высота 1350 ^ Г

• 15 Я зыки для искусственного интеллекта

• [5 Автоматический синтез программы

• 15 Инструментальные системы

• 15 Системы когнитивной графики

""Варианты

Я зыки для искусственного интеллекта

Автоматический синтез программы

Инструментальные системы

Системы когнитивной графики

Удалить | Добавить ] |                                 ОК | Отмена

Рис. 3. Редактор выбора нескольких правильных ответов в среде TestMaker

Рис. 4. Выбор нескольких вариантов ответа в среде VeralTestEditor

В VeralTestEditor, в отличие от TestMaker, можно задавать определенное количество баллов за каждый правильный вариант ответа.

• ❖    Поиск соответствия.

В TestMaker редактор вопроса представляет собой три поля. Необходимо сопоставить между собой элементы левого и правого полей. Верное соответствие появится в верхнем поле. На рис.5 и рис.6 представлены примеры в TestMaker и VeralTestEditor.

Рис. 5. Поиск соответствия в среде

TestMaker

Рис. 6. Поиск соответствия в среде VeralTestEditor

В VeralTestEditor редактор представляет собой три столбца, в первом указывается количество баллов за каждое верное соответствие, а во втором и третьем столбцах – элементы соответствия. При прохождении теста элементы третьего столбца статичны, а элементы второго столбца представляют собой выпадающий список с вариантами ответов.

• ❖    Ввод текстового ответа.

В TestMaker открытый вопрос представляет собой поле для ввода правильного ответа. Введенный ответ сопоставляется с указанным при редактировании вопроса ответом. На рис.7 представлен пример в TestMaker.

Редактор открытого вопр.., X

Лево [30 ^| Ширина |530 XI

Верх |№Ё |Х1 Высота 23 X

Значение

Ответ | Когнитивна я графика

[✓ Допускать опечатку

ОК | Отмена |

Рис. 7. Открытый вопрос в среде TestMaker

В VeralTestEditor такой тип вопроса не предусмотрен.

• ❖    Расширенный открытый вопрос.

В TestMaker данный тип вопроса является модификацией простого открытого вопроса. Отличием является то, что в редакторе вопроса поле ответа представляет собой структуру с собственным алфавитом и грамматическими конструкциями, тем самым можно учесть все вариации ответов. Для описания шаблона правильного ответа используется специальный синтаксис. Каждая конструкция заключается в фигурные скобки. Конструкции можно вкладывать друг в друга. Синтаксис расширенного открытого вопроса поддерживает такие структуры, как - любой идентификатор, - любое слово, - любое целое число. Для того, чтобы указать в качестве ответа число, необходимо воспользоваться конструкцией

. Есть возможность в одной конструкции комбинировать как числовые ответы, так и текстовые. С помощью оператора «|» (или) можно представить множество всех возможных конструкций. На рис.9 и рис.10 представлены примеры в TestMaker и VeralTestEditor.

Рис. 9. Расширенный открытый вопрос в среде TestMaker

Рис. 10 Открытый вопрос в среде VeralTestEditor

В VeralTestEditor редактор вопроса представляет собой окно, имеющее два поля, поле вопроса и несколько полей для перебора всех возможных вариантов ответа, так же имеются свои грамматические правила, представленные в таблице 2.

Таблица 2.

Символ	Назначение
\?	На этом месте е ответе пользователя должен быть один любой символ
У	На этом месте в ответе пользователя может быть любая последовательность символов
	На этом месте в ответе пользователя должен быть символ Т

❖ Установка числового значения.

В TestMaker отсутствует отдельный тип вопроса для числового ответа, но он реализуется с помощью такого типа вопроса как «Расширенный открытый вопрос», который рассмотрен выше. На рис.11 представлен пример VeralTestEditor.

В VeralTestEditor для этого используется тип вопроса «Ввод числового ответа». Для создания такого вопроса в типе вопроса указывается «Ввод числового ответа», а в

ответа задаются числовые значения.

@ Вопрос №4                                                            —   □ X

Файл Правка Вид Формат Ответы Переход

L, j Сохранить и закрыть ^Х, Удалить » Следующий вопрос ■* Предыдущий вопрос

Тип вопроса:

Ввод числового ответа стандартный

Случайным обратом

Баллы за ответ                       у Кол-во баллов: О

Формат вопроса:

Выводить ответы:

Обработка ответа:

й ® ш и Щя в а и я я j,. а Times New Roman - 3       • Д'

R вставить ответ р< Удалить ответ - ^^- Из скольких элементов состоит ядро любой интеллектуальной системы ⁷|

Рис. 11. Вопрос с вводом числового ответа в среде VeralTestEditor

Достоинства и недостатки рассматриваемых систем

Основные достоинства системы VeralTestEditor:

• 1.    Наличие технической поддержки по вопросам, связанным с системой тестирования

• 2.    Есть вариант «бумажного» теста

• 3.    Программа обладает интуитивно понятным и современным интерфейсом.

• 4.    Возможность вставлять картинки и изменять их размер без помощи сторонних программ.

• 5.    Возможен импорт вопросов из файла.

• 6.    Разбиение вопросов на группы и подгруппы, которое позволяет установить индивидуальные настройки для каждой группы.

• 7.    Программа хорошо задокументирована. Документация доступна из программы в пункте меню «Справка - Содержание».

Недостатки системы VeralTestEditor:

• 1.    Отсутствие бесплатной версии.

• 2.    Отсутствие портативной версии программы

Основные достоинства системы TestMaker:

• 1.    Система TestMaker является портативной системой, т.е. обладает возможностью простого переноса с одной машины на другую с помощью носителя.

• 2.    Отсутствует предварительная регистрация пользователей, тем самым ускоряя работу в этой системе. Регистрация возможна после прохождения теста, но она не обязательна.

• 3.    Является свободно распространяемым программным продуктом (бесплатным).

• 4.    Интуитивно-понятный интерфейс.

Недостатки системы TestMaker:

• 1.    Нет возможности создания «бумажного» теста.

• 2.    Отсутствие обновления системы тестирования.

• 3.    Нет возможности создать .exe версию теста для тестирования без установки дополнительного программного обеспечения.

Заключение

Обе тестирующие системы соответствуют главным требованиям, которые им предъявляют современные образовательные учреждения. Каждая из систем обладает достаточным функционалом для качественной оценки знаний посредством тестирования обучающихся. Рассмотренные системы удобны как для разработки тестов, так и для их прохождения.

Таким образом, в настоящее время представлен широкий выбор тестирующих систем. Они различаются функционалом и интерфейсом, благодаря чему каждое образовательное учреждение может выбрать то, что максимально удовлетворяет его требованиям. В ходе проведенного сравнительного анализа сделан вывод, что VeralTestEditor является максимально удобной системой тестирования в силу своей документированности, которая является справочником для разработчика тестов, а также благодаря гибкому инструментарию, который позволяет создавать тесты, разнообразные по стилю и своим характеристикам.

Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева И.Х.