Анализ программных средств разработки тестов промежуточного, итогового контроля и организации самостоятельной работы курсантов

Перед российским обществом поставлена задача развития экономики нового технологического поколения — цифровой экономики. В программе «Цифровая экономика Российской Федерации», утвержденной Правительством РФ, одно из базовых направлений — «Кадры и образование» напрямую связано с образованием всех уровней и сфер деятельности, в том числе и высшего военного образования.

В интервью издательству «Аргументы и факты» статс-секретарь — заместитель Министра обороны РФ Н. А. Панков сказал, что, во-первых, во всех военно-учебных заведениях перевели подготовку слушателей и курсантов «на обучение по электронным образовательным ресурсам, которые содержат интерактивные 3D-модели и видеоматериалы, имеют возможность проводить самоконтроль и оценивать знания обучающихся» [1]. Во-вторых, для использования в образовательном процессе электронных учебников и учебных пособий все слушатели и более 30 % курсантов военно-учебных заведений обеспечены служебными персональными ноутбуками и планшетами. Дополнительно всем курсантам выданы персональные съемные флеш-накопители, куда загружены электронные учебные издания по изучаемым дисциплинам. В ближайшие три года планируется обеспечить ноутбуками все 100 % курсантов во всех учебных заведениях Министерства обороны. В-третьих, как отметил Н. А. Панков, «основным направлением в цифровизации образовательной деятельности в военно-учебных заведениях является развитие информационно-образовательной среды в защищенных сетях передачи военного ведомства» [1; 2].

Отметим, что технологии виртуальной реальности и искусственного интеллекта развиваются быстро, а методические разработки учебных занятий с их использованием совершенствуются медленно. Следовательно, необходимо понимать, что цифровая трансформация образования — это не только неограниченные возможности доступа к цифровым материалам и сервисам, оснащение учебных аудиторий интерактивными досками и компьютерами, под- ключенными к высокоскоростному интернету, но и разработка новых методических решений для использования новых педагогических возможностей. Прежде всего они должны опираться на самостоятельную работу обучаемых и контроль за усвоением знаний, что ведет к изменению роли преподавателя, формированию у обучаемых соответствующих способностей, выделению как места, так и пространства для такой работы в структуре образовательного процесса.

При этом всегда остается один самый важный вопрос из оставшихся главных: какие программные средства использовать? Проведем анализ программных средств для разработки тестов промежуточного, итогового контроля и организации самостоятельной работы курсантов.

Материалы и методы исследования

Исследование в статье проводилось с помощью теоретических методов, посредством которых определена проблема и оценены материалы, выбранные для исследования, включая научные и учебные издания по педагогике, публикации в научных журналах, материалы из интернет-источников, официальные сайты исследуемых программных продуктов для создания тестов.

Результаты исследования и их обсуждение

В предыдущих научных статьях [3; 4] нами отмечено, что тесты можно применять и как средство проверки знаний, и как средство организации самостоятельной работы курсантов в процессе освоения естественно-научных дисциплин. В настоящее время доступны программы, с помощью которых можно создавать различного типа тестовые вопросы, формируя из них тесты либо для контроля знаний, либо для самостоятельной работы.

Использование цифровых программных средств для разработки тестов обладает огромным преимуществом. В недалеком прошлом приходилось печатать тесты на бумаге, собирать бланки с ответами, вручную проверять, разгадывая ответы из-за почерков, а затем еще и анализировать результаты, что отнимало огромное количество времени. Сейчас в нашем распоряжении достаточно большое количество программ, которые экономят время и ресурсы, так как мы получаем новые возможности дистанционного сбора ответов, автоматическую оценку результатов и, что очень важно, быстрое редактирование тестовых материалов. Сравним несколько наиболее популярных программ проектирования и разработки электронных тестов. Каждая из них обладает определенным набором функций для создания и проведения тестов и опросов. При сравнении будем использовать приведенные в таблице ниже следующие критерии: операционные системы, типы вопросов, визуализация, случайный выбор вопросов, наличие возможности перемешивания вопросов, наличие возможности перемешивания ответов, наличие в едином реестре российских программ, поддержка мобильной версии.

Первая система тестирования, которую мы рассмотрим, называется INDIGO и является профессиональным инструментом автоматизации процесса тестирования и обработки результатов. Данная программа решает задачи, характерные для образовательных организаций: тестирование, контроль знаний учеников и студентов, подготовка к сдаче экзаменов, зачетов и аттестаций, психологическое тестирование, организация и проведение олимпиад, конкурсов. Пользователи в ней работают через любые веб-браузеры, например, Google Chrome, Mozilla Firefox, Opera, Safari, Internet Explorer, Microsoft Edge и др. Программа поддерживает веб-браузеры на мобильных устройствах (адаптивный интерфейс). Функции пользователя включают регистрацию и авторизацию, выбор теста, прохождение тестирования, просмотр результатов и ошибок. Программа тестирования INDIGO включена в Единый реестр российских программ для ЭВМ и баз данных (приказ Минкомсвязи № 347 от 05.07.2018). Это означает, что данная тестовая система является российским программным обеспечением и рекомендована для закупок государственными и муниципальными учреждениями в качестве платформы для проведения тестирования. Остальные важные характеристики программы представлены в таблице, где приводится сравнение с другими программными продуктами [5].

Следующая электронная система тестирования, заслуживающая внимания, — ADTester. С помощью данного пакета тестирования можно организовать проведение тестирования в любых образовательных учреждениях, в том числе и высших образовательных организациях. Пакет программ включает конструктор тестов (для разработки тестовых вопросов и тестов в целом), тестер (для проведения самого тести- рования) и панель администратора (для манипуляции с пользователями и группами пользователей, анализа результатов тестирования).

Тестирование проводится как с целью выявления знаний обучающихся, так и для обучающих целей. В режиме обучения при неправильном ответе можно использовать подсказку по данному вопросу, при этом результаты тестирования не должны учитываться. В режиме контроля ведется статистика (количество вопросов в тесте, номер текущего вопроса, индикаторы правильности ответа на каждый вопрос, оставшееся время) прохождения теста, которую пользователь может видеть во время тестирования. В настройках можно разрешать или запрещать показ результатов тестирования для пользователя, ограничивать время тестирования.

При разработке тестовых вопросов используются различные формулы, схемы, таблицы, HTML-документы и любые OLE-объекты. Тексту вопроса или ответа можно задать определенный формат, используя различные шрифты, абзацы, списки и т. д.

Пакет очень просто установить на компьютер. Он является бесплатным, но не имеет регистрации в едином реестре российских программ, что осложняет его использование в образовательных организациях. По желанию разработчика редактирование теста защищается паролем (зашифрованным методом стойкой криптографии).

UniTest System — мощный, но простой в использовании продукт для автоматизации процесса проведения тестирований. Он состоит из пяти основных модулей: Editor, Test, Report, Settings и Monitor (сервер и монитор для тестирования по сети). Используя UniTest System, можно быстро создавать тесты, применяя текстовый или графический редактор, а также специализированные программы (например, AutoCAD).

В процессе разработки тестовых вопросов и проведения тестирования существует возможность использовать любые OLE-объекты (презентации, видео, физические процессы и т. д.). Функциональный аппарат программы позволяет накапливать базу вопросов, распределять их по разделам и произвольно выбирать необходимое количество вопросов из нее при каждом тестировании. Все разработанные тесты и результаты тестирования шифруются мировым стандартом шифрования BlowFish (криптографическим алгоритмом, реализующим блочное симметричное шифрование с переменной длиной ключа) и сжимаются по стандарту LZH в 6–7 раз.

SunRav TestOfficePro — комплексный пакет программ, который предназначен для создания тестов, тестирования пользователей, подготовки и анализа результатов тестирования. Пакет состоит из трех программ: tMaker (программа для создания тестов), tTester (программа для проведения тестирования), tAdmin (программа для управления пользователями и обработки результатов компьютерного тестировани) [6].

Вопросы в данной программе можно создавать как вручную, так и импортом вопросов теста, созданных в текстовом процессоре или электронных таблицах. Каждый вопрос и ответ теста может сопровождаться изображением, анимацией, аудио- и видеороликами, формулами, схема- ми, таблицами, HTML-документами и любыми OLE-документами. Порядок следования вопросов может быть не только линейным, но и зависеть от ответов пользователя. Оценивать знания можно как по каждой теме в отдельности, так и по тесту в целом. Если разрабатывается тест для использования на самостоятельной работе, то вопросы могут сопровождаться комментарием с инструкцией по тестированию, подсказкой, информацией о правильном ответе и т. п. [6]

Каждый вопрос и вариант ответа может иметь свой «вес». Это позволяет начислять пользователю больше баллов за правильные ответы на сложные вопросы и меньше баллов — за ответы на легкие вопросы.

Таблица 1

Сравнительная характеристика программ для создания тестов и проведения тестирования

Критерии	Программы
	INDIGO (контроль знаний, обучение, опрос)	ADTester (контроль и обучение)	UniTest System (автоматизация проведения тестирования)	SunRav TestOfficePro (контроль и проверка знаний)
Операционные системы	ОС    Windows, Linux, macOS	ОС Windows (2000, XP, ME*, 98 SE*)	ОС    Windows (Vista, XP)	ОС    Windows, Linux, macOS
Типы вопросов	Одиночный выбор, множественный выбор, ввод ответа с клавиатуры, на соответствие, порядок	Одиночный выбор, множественный выбор, ввод ответа с клавиатуры, на соответствие, порядок	Одиночный выбор, множественный выбор, ввод ответа с клавиатуры, на соответствие, порядок	Одиночный выбор, множественный выбор, ввод ответа с клавиатуры, на соответствие, порядок
Визуализация	Да	Да	Да	Да
Случайный выбор вопросов	Да	Неизвестно	Да	Да
Перемешивание вопросов	Да	Да	Неизвестно	Да
Перемешивание ответов	Да	Да	Неизвестно	Да
Наличие в реестре	Да	Нет	Нет	Да
Поддержка мобильной версии	Да	Нет	Нет	Нет

Приведем примеры реализации разных типов вопросов в тестовой системе SunRav TestOfficePro ХТ.

Для контроля знаний можно использовать все типы вопросов:

• –    тестовые задания с выбором одного правильного ответа (рис. 1);

• –    тестовые задания с выбором нескольких правильных ответов (рис. 2);

• –    тестовые задания с кратким свободным ответом (рис. 3);

• –    тестовые задания для подбора готовых ответов в пары или последовательный ряд (рис. 4),

но в этом случае комментарии к вопросам не предусмотрены [3; 4].

Для организации самостоятельной работы курсантов можно использовать те же типы вопросов, указав комментарии к ответам или подсказки — ссылки на теоретический материал (рис. 5).

Заключение

На основе анализа программ для создания тестов и тестирования в соответствии с критериями, приведенными в таблице 1, можно видеть, что существуют различия и сходства в функциональных возможностях популярных программных продуктов.

Рис. 1. Тестовое задание с выбором одного правильного ответа

Рис. 2. Тестовое задание с выбором нескольких правильных ответов

Рис. 3. Тестовое задание с кратким свободным ответом

Рис. 4. Тестовое задание для подбора готовых ответов в последовательный ряд

Рис. 5. Использование подсказки в тесте для самостоятельной работы

• 1.    Для начала отметим, что все программы заслуживают внимания, каждая из них по своей сути уникальна, но не для всех программ имеется полная и исчерпывающая документация.

• 2.    Мы видим полное сходство по критерию «типы вопросов», во всех программах существует возможность разработки пяти типов: одиночный выбор, множественный выбор, ввод ответа с клавиатуры, на соответствие, порядок. Таким образом, все проанализированные программные продукты могут быть использованы для разработки тестов контроля и тестов для сопровождения самостоятельной работы.

• 3.    Важными в процессе тестирования являются критерии «случайный выбор вопроса»,

• 4.    Критерий «операционная система» также в настоящее время является актуальным, поскольку в Российской Федерации происходит переход на операционную систему Linux. Два программных продукта (INDIGO, SunRav TestOfficePro) из проанализированных имеют возможность установки на данную операционную систему.

• 5.    Еще одним немаловажным критерием является «регистрация в реестре российских программ». На персональные компьютеры образовательных учреждений, в частности военных учебных заведений, рекомендовано уста-

• навливать программы, прошедшие регистрацию в реестре программного обеспечения в целях безопасности информации. Программы разработки тестов и тестирования INDIGO, SunRav TestOfficePro удовлетворяют этому критерию.

«перемешивание вопросов», «перемешивание ответов», снижающие процент угадывания и подсказывания правильных ответов. В программах INDIGO, SunRav TestOfficePro такие возможности настройки тестирования присутствуют. В программах ADTester, UniTest System некоторые из этих критериев являются недоступными.