OLAP-технология как средство мониторинга образовательного процесса

Мониторинг является средством оценки качества образования и повышения эффективности учебного процесса. Обобщая различные определения, под педагогическим мониторингом в данной статье будем понимать отслеживание результатов обучения путем организации системы контроля, сбора и обработки данных об учебном процессе, необходимых для анализа и прогноза ситуации. Введение мониторинга в учебный процесс позволяет получать актуальную информацию о его протекании, своевременно принимать меры в случае отклонений от планируемой траектории и предпринимать шаги по сохранению численности студентов.

Анализ публикаций [1–3] позволил выделить несколько основных способов мониторингового исследования образовательного процесса:

• –    опросные способы (экспертное оценивание, анкетирование с помощью специально подобранных вопросов);

• –    анализ результатов учебной деятельности, в том числе и статистический анализ;

• – способы, основанные на тестировании.

Чем качественнее проводится мониторинг, тем большее количество данных накапливается в результате, а значит, тем труднее обходиться без автоматизированной системы. Компьютерный мониторинг позволяет значительно сократить время на обработку и анализ результатов наблюдений за учебной деятельностью. При этом удается избавиться от так называемых невыборочных ошибок, возникающих при традиционных методах получения информации вследствие неполучения ответа, получения ложного ответа или неверной регистрации ответов респондента. При условии корректного построения системы мониторинга и ее интеграции в учебный процесс удается избежать одной из основных проблем измерения – воздействия способа измерения на испытуемого.

Однако далеко не все автоматизированные решения способны полностью интегрироваться в сложившийся технологический процесс обучения. Их недостатком является и то, что большинство систем мониторинга и под- держки учебного процесса предлагают жестко ограниченный набор отчетов, а при необходимости получить новую аналитическую информацию приходится привлекать разработчиков.

Средством получения универсальных отчетов может стать технология оперативной обработки данных на основе многомерной модели OLAP (On-Line Analytical Processing). В настоящее время OLAP с успехом используется для анализа данных в сфере бизнеса и финансов. В [4] предложена идея использования оперативного анализа данных в web-обучении. Обобщая сказанное, можно отметить, что в педагогической сфере многомерный анализ применяется еще довольно редко. Однако характер педагогических данных, обладающих нетривиальными зависимостями и сравнительно большими объемами, наталкивает на мысль о возможности более широкого использования мощного аналитического инструментария OLAP на массивах педагогических данных. Целью данного исследования стала проверка гипотезы целесообразности использования OLAP в задаче мониторинга и анализа учебного процесса.

Методология OLAP. По мнению Э. Кодда [5], реляционная модель не позволяет объединять, просматривать и анализировать данные с точки зрения множественности измерений, т. е. самым понятным для анализа способом. Наиболее адекватно работа с многопараметровыми данными описывается многомерной моделью.

Данные в OLAP-системах организованы в виде гиперкуба с помощью агрегатных функций, за счет чего становится возможным в короткие сроки извлекать информацию из больших объемов данных. Основное предназначение таких систем состоит в комплексном анализе динамики и установлении тенденций в данных. В отношении педагогического мониторинга гиперкуб дает преподавателю возможность делать срезы в различных измерениях для получения интересующей его информации, например для выявления наиболее трудных для понимания тем дисциплины, критических точек учебного периода, недостатков в динамике проверки.

OLAP-анализ на примере дисциплины «Программирование на языке высокого уровня». В Сибирском государственном технологическом университете был проведен эксперимент по реализации и внедрению в учебный процесс системы мониторинга «Электронная лаборато- рия» [6], которая позволяет проводить обучение, осуществлять контроль за деятельностью студентов и накапливать данные об обучении для последующего анализа. На основе сведений, полученных системой для дисциплины «Программирование на языке высокого уровня», с помощью средства IBExpert построен гиперкуб и сгенерированы отчеты, представленные на рис. 1–7. Каждый отчет отражает тот или иной срез гиперкуба.

Срез по измерениям «Тема / оценка» показывает соотношение зачтенных и отправленных на доработку заданий по каждой теме в процентах от требуемого количества (рис. 1). Темы на шкале расположены в хронологическом порядке.

Следует отметить, что процент выполнения заданий падает от первой темы к последней. Причиной этого может служить внедрение в учебный процесс модульнорейтинговой системы, которая допускает выставление студенту набранной им в течение семестра накопительной оценки без сдачи всех заданий. Спады по темам «Целые числа» и «Численные методы» объясняются, вероятно, относительной сложностью этих тем для понимания.

Рис. 1. Соотношение принятых и возвращенных с замечаниями заданий, % от требуемого количества, сгруппированных по темам

С помощью системы мониторинга «Электронная лаборатория» можно также показать распределение замечаний по темам (рис. 2). Каждая доля полученной диаграммы представляет собой отношение количества откло-

Матричная алгебра

Рис. 2. Распределение отклоненных отчетов по темам

ненных задач к общему количеству сданных задач по данной теме. Изменение интенсивности отклонения отчетов имеет волнообразный характер с пиками в темах «Процедуры и функции», «Целые числа», «Численные методы» и «Графика». Таким образом, данный срез позволяет оценить относительную трудность для обучаемых каждой из тем курса.

Срез по измерениям «Оценка / дата проверки» дает возможность наблюдать динамику работы преподавателя. Интенсивность проверки взята из расчета количества проверенных заданий в день (рис. 3). Интенсивность отклонения отчетов рассчитана как отношение количества отклоненных к количеству проверенных заданий в день (рис . 4).

Рис. 3. Зависимость интенсивности проверки от даты проверки

Рис. 4. Зависимость интенсивности отклонения отчетов от даты проверки

На первой диаграмме (см. рис. 3) заметны пики, соответствующие датам 1.03, 3.04 и 24.05. Эти даты предшествуют контрольным неделям и сессии и традиционно характеризуются повышенной активностью студентов, в связи с чем увеличиваются и трудозатраты преподавателя. В отношении интенсивности отклонения заданий можно отметить ее волнообразный характер (см. рис. 4). Характерна следующая тенденция: к концу семестра принимается все большая доля предоставленных на проверку заданий.

Срез по измерениям «Фамилия / дата сдачи» (рис. 5) представляет собой набор индивидуальных траекторий студентов группы. Диаграмма дает возможность проследить динамику сдачи каждого студента. На ней четко видны характерные всплески активности в конце семестра.

Срез по измерениям «Дата сдачи / контрольный срок сдачи» (рис. 6) позволяет сделать выводы о том, какие студенты какие задачи сдают раньше или позже срока.

Срез по измерениям «Фактическая дата сдачи / дата проверки» (рис. 7) информирует о динамике проверки задач преподавателем. Идеальный вариант представляет собой прямую, расположенную на главной диагонали. На диаграмме заметны два существенных отклонения от этой линии вниз, что говорит о некотором запаздывании преподавателя в проверке отчетов.

Рис. 5. Динамика сдачи по фамилиям студентов

Рис. 6. Динамика сдачи по контрольным срокам: под главной диагональю – сдачи ранее контрольного срока, на диагонали – в срок, над диагональю – после срока

Рис. 7. Динамика проверки задач

Одним из существенных недостатков такого традиционного способа педагогического мониторинга в вузах, как контрольные недели, является вносимое ими возмущающее воздействие на измеряемый результат. Автома- тизированная система мониторинга позволяет нейтрализовать это воздействие. На массиве данных, накапливаемых системой, становится целесообразным проведение OLAP-анализа, дающего наглядную оперативную информацию в рамках педагогического мониторинга как в процессе очного обучения, так и при обучении дистанционными методами.