Исследование эффективности парадигмы факторной оценки знаний на примере тестирования студентов по теории автоматического управления

Разработаны актуальный алгоритм построения тестовых материалов и методика оценивания результатов тестирования, позволяющие сочетать высокую оценочную способность и объективность тестов. Тестовую систему в таком случае можно рассматривать как аппарат оценивания уровня знаний при изучении соответствующих модулей. Для систематизации знаний производится декомпозиция знаний на множество разделов. При этом каждому разделу сопоставляется множество подразделов, которое, в свою очередь, состоит из подмножества вопросов, ответы на которые раскрывают уровень знаний каждого раздела. Задание теста формулируется таким образом, что при ответе на него должен быть дан набор ответов, раскрывающих уровень знания определенного подраздела. Поскольку процесс разработки тестового вопроса рассматривается как построение многофакторной зависимости, то предлагается к его построению подойти с позиции планирования многофакторных экспериментов. В этом случае множество ответов представляется как набор факторов, принимающих определенные значения. При их варьировании на двух уровнях, задача сводится к построению эксперимента, реализующего все возможные сочетания факторов, т.е. к полному факторному эксперименту. Предложена методика применения технологии планирования двухуровневых многофакторных экспериментов, позволяющих формализовать оценку частично неполных знаний и реализацию формирования многофакторных тестов различной сложности. Для иллюстрации данной методики рассмотрены примеры построения тестов для дисциплины «Теория автоматического управления», оценивающих степень сформированности уровня знаний. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия к этим знаниям.