Методики использования результатов компьютерного тестирования в системах поддержки принятия решений

Состояние и перспективы развития системы образования составляют важнейший фактор конкурентоспособности всего государства. Поэтому развитию научно-методического обеспечения управления образованием во всем мире в последние годы уделяется повышенное внимание и на первый план выходят задачи мониторинга, прогнозирования и анализа развития образования, а также внедрения прогрессивных методов управления качеством образования.

Основным направлением развития современной системы образования в России является его модернизация в соответствии с принципами Болонского процесса. Согласно положениям Болонского процесса основную ответственность за качество образования должны нести поставщики образовательных услуг. В связи с этим для большинства вузов актуальны разработка, внедрение и совершенствование системы менеджмента качества образования [2].

Всякая система управления качеством в образовании должна быть основана на объективных показателях качества, адекватно характеризующих процесс обучения. В системе высшего образования такими формальными, легко измеряемыми и контролируемыми показателями являются квалификационный состав преподавателей, площадь учебных аудиторий, обеспеченность учебными пособиями и т. д. Однако на качество самого обучения эти характеристики влияют опосредованно. Более объективную и достоверную его оценку можно получить с помощью технологий тестирования [1].

Технологии тестирования широко используются сегодня в международных сравнительных исследованиях качества школьного образования, наиболее известные среди которых: сравнительное исследование качества общего образования TIMSS (Trends in Mathematics and Science Study); международная программа по оценке образовательных достижений учащихся PISA (Programme for International Student Assessment); международный проект «Изучение качества чтения и понимания текста» PIRLS (Progress in International Reading Literacy Study) [4]. Эти исследования позволяют не только получить объективную информацию о качестве образования, но и выявить факторы, влияющие на него, сравнить содержание образовательных стандартов, разрабатываемых в России, с требованиями, предъявляемыми к общеобразовательной подготовке учащихся в разных странах.

Следует отметить, что для вузов общепризнанных международных исследований, позволяющих сравнивать уровень качества образования, практически нет.

В России технологии тестирования становятся основным методом итоговой оценки при контроле качества образования и применяются как в школе, в форме ЕГЭ, так и в вузах, в виде Федерального Интернет-экзамена в сфере профессионального образования (ФЭПО) [5]. Ре-

зультаты ФЭПО все шире используются в вузах в качестве критерия соответствия знаний студентов требованиям и стандартам образования. При этом результаты тестирования не всегда позволяют выявить причины, обусловившие невысокий уровень подготовки студентов. Такими причинами могут быть плохое качество учебной литературы, недостаточное изучение каких-либо разделов учебной программы, низкий уровень преподавания, низкий начальный уровень знаний студентов, нерационально составленный рабочий учебный план и т. д.

Для выявления скрытых факторов, влияющих на качество обучения, и принятия эффективных управленческих решений в рамках внутривузовской системы менеджмента качества необходимы системное использование тестирования и анализ его результатов на всех этапах образовательного процесса. Решение этой задачи предполагает, что результаты тестирования интегрируются, сохраняются и используются в анализе на протяжении всего процесса обучения. В настоящее время полноценных систем, позволяющих перейти от контроля качества к реальному управлению качеством образования, в вузах не существует.

Общая концепция использования технологии компьютерного тестирования во внутривузовской системе менеджмента качества определена нами ранее [3]. В данной статье рассматривается один из вариантов анализа результатов тестирования и принятия на его основе решений с целью улучшения образовательного процесса.

Для повышения информативности данных ФЭПО предлагается исследовать динамику результатов тестирования и сопоставить их с результатами анкетирования студентов, а также с длительностью изучения различных дидактических единиц. Для выявления факторов, влияющих на результат тестирования, было проведено исследование в двух группах студентов. Его суть заключалась в том, чтобы протестировать их до начала изучения предмета (информати ки) и после, сравнить полученные результаты и выполнить анализ факторов, влияющих на качество обучения. Для входного тестирования использовались тестовые задания предыдущих этапов ФЭПО. По окончании изучения курса в этих же группах было осуществлено повторное (итоговое) тестирование в рамках текущего этапа ФЭПО.

Перед проведением входного тестирования испытуемым была предложена к заполнению анкета. Она содержала вопросы, направленные на уточнение уровня начальной подготовки и степени мотивации студента.

Полученные результаты были обработаны по каждой группе в отдельности. Были рассчитаны средние значения результатов, коэффициенты корреляции, дисперсия, коэффициенты асимметрии полученных распределений. На рис. 1 представлены приросты результатов тестирования для каждого студента первой группы, отсортированные в порядке возрастания результатов входного тестирования.

Р и с. 1. Результаты входного и итогового тестирования первой группы.

Нижний и верхний края столбика диаграммы соответствуют результатам входного и итогового тестирования студента. Кривые 1, 2 — средние результаты входного и итогового тестирования соответственно; кривые 3, 4 — линии тренда результатов входного и итогового тестирования

Как видно из рисунка, для первой группы характерен ощутимый прирост знаний: средний процент выполненных заданий увеличился с 30 до 53. Причем студенты с низким начальным уровнем знаний в среднем показали более высо- тестирования в первой группе. Диспер- кие значения прироста результатов.

Следует отметить, что хотя результаты входного контроля второй группы были лучше, после изучения предмета средний показатель здесь увеличился на величину, значительно меньшую, чем в первой группе (на 11 %), и составил 64 %.

На рис. 2 отражено частотное распределение результатов тестирования по сия результатов итогового тестирования повысилась по сравнению с входным (с 93 до 223), а само распределение стало асимметричным (коэффициент асимметрии вырос по модулю с 0,2 до 1,6). По- явление «тяжелого» хвоста у частотного распределения результатов тестирования по мере обучения свидетельствует о присутствии в группе студентов, плохо воспринимающих новые знания по данной интервалам для входного и итогового дисциплине.

Результат тестирования, %

□ Входной

□ Итоговый

Р и с. 2. Сравнение частотных распределений результатов входного и итогового тестирования первой группы

Дисперсия распределения результатов итогового тестирования во второй группе также возросла (с 291 до 485). Общее увеличение дисперсии результатов тестирования говорит о стратификации студентов в процессе обучения на отдельные группы, определяемые способностями и мотивацией студента.

Из сопоставления данных анкетирования и результатов входного тестирования студентов получено следующее. В первой группе студентов, которая показала заметно более низкий результат по сравнению со второй, обнаружена явная связь (коэффициент корреляции равен 0,43) между количеством часов, которые уделялись этому предмету в школе, и результатами входного тестирования. Во второй группе такая связь почти отсутствует (коэффициент корреляции близок к нулю), но при этом отмечается связь между результатами тестирования и чтением студентами дополнительной компьютерной литературы (коэффициент корреляции равен 0,98).

Из анализа данных анкетирования и их сопоставления с результатами тестирования можно сделать вывод, что вторая группа готова к изучению дисциплины в режиме самостоятельной работы в большей степени по сравнению с первой, которая требует более жесткого контроля со стороны преподавателя за выполнением заданий. Хотя прирост результатов тестирования в обеих группах после изучения предмета различается незначительно, но за счет более высокого уровня начальной подготовки и мотивации средний результат во второй группе оказался выше соответствующего показателя первой.

Предложенные гипотезы о взаимосвязи исследованных факторов требуют дополнительной проверки, так как выборка, на которой они проверялись, была невелика.

Рассмотренные методики могут значительно увеличить информативность результатов Федерального Интернет-эк-замена, повысить обоснованность принимаемых решений в рамках внутривузов-ской системы менеджмента качества.

СПИСОК

ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

• 1.    Васильев, В. И. Оценка качества деятельности образовательного учреждения / В. И. Василь

  ев, В. В. Красильников, С. И. Плаксий, Т. Н. Тягунова. — М. : Изд-во ИКАР, 2005. — 320 с.

• 2.    Гуськова, Н. Д. Обеспечение качества высшего образования в системе приоритетов Болонского процесса / Н. Д. Гуськова, Т. А. Салимова // Интеграция образования. — 2007. — № 3/4. — С. 60—66.

• 3.    Гусятников, В. Н. Технологии компьютерного тестирования как элемент системы поддержки принятия решений в образовательной деятельности / В. Н. Гусятников, Т. Н. Соколова // Интеграция образования. — 2008. — № 4. — С. 114— 117.

• 4.    Международные исследования качества образования [Электронный ресурс] / Центр оценки качества образования РАО. — Режим доступа: http://centeroko.ru/Proekti.htm , свободный.

• 5.    Наводнов, В. Г. Интернет-экзамен в сфере профессионального образования / В. Г. Наводнов, А. С. Масленников // Высш. образование в России. — 2006. — № 4. — С. 15—19.

Поступила 23.08.09.

ДИАГНОСТИЧЕСКАЯ ФУНКЦИЯ В СТРУКТУРЕ ДЕЯТЕЛЬНОСТИ МАСТЕРА ПРОФЕССИОНАЛЬНОГО УЧИЛИЩА ПО ФОРМИРОВАНИЮ У УЧАЩИХСЯ ПРАВОВОЙ КУЛЬТУРЫ

И. В. Корчагин ( Пензенская государственная технологическая академия)