Инструменты интеграции систем управления качеством в образовательный процесс

Сегодня перед всеми вузами стоит проблема коренной модернизации образовательного процесса и внедрения современных систем управления качеством образования. Основополагающие принципы построения систем управления качеством хорошо известны и закреплены в стандартах серии ISO 9000—2001. Предметом и результатом образовательного процесса являются люди, поэтому применение указанных стандартов к образовательному процессу имеет определенную специфику и требует переосмысления содержащихся в них положений.

Согласно ГОСТ Р ИСО 9001—2001 для успешного функционирования организация должна осуществлять менеджмент многочисленных взаимосвязанных видов деятельности, рассматриваемых как процессы. Одним из важнейших требований упомянутого стандарта является необходимость мониторинга, измерения и анализа процессов, определенных организацией, позволяющих принимать управленческие решения на основе объективной информации.

В настоящее время существует множество подходов к формированию самого понятия качественного образования. Параметры процесса обучения трудно формализуются и поддаются измерению [1]. Объективная оценка результатов обучения возможна только на выходе процесса (работодателем, государственной аттестационной комиссией). Промежуточные оценки знаний студентов (например, результаты сессий) субъективны по своей природе. Все это затрудня ет внедрение в вузе систем управления качеством, соответствующих ГОСТ Р ИСО 9001—2001.

Для эффективного управления качеством учебного процесса нужны инструменты, которые позволяют не только констатировать уровень образовательных достижений по завершению этапов обучения, но и своевременно измерять динамические характеристики в ходе образовательного процесса. Иными словами, необходим инструментарий для оперативного анализа динамики успеваемости студентов и управления учебным процессом на уровне отдельного преподавателя, кафедры, деканата факультета конкретного вуза.

На процесс обучения влияет достаточно большое число факторов, главные из которых — способности и уровень начальной подготовки обучаемых, состояние образовательной среды вуза, уровень мотивации, влияние внешней среды и т. д. Все они находят отражение в оценке уровня знаний на различных этапах обучения. При этом оценка служит интегральной характеристикой, которая в той или иной степени зависит от перечисленных факторов. Здесь прослеживается аналогия с формированием цены акций на рынке ценных бумаг в результате сложного взаимодействия случайных и закономерных факторов.

Для анализа динамики цен на рынке ценных бумаг широко применяются методы технического анализа. Одними из популярных методов являются методы интервальных графиков, и в частности

метод японских свечей. Он позволяет наглядно представить динамику того или иного показателя с учетом взаимосвязей «внутри» изменяющегося параметра.

Воспользуемся данным методом для наглядного представления динамики результатов тестирования знаний студентов. Как и в биржевых диаграммах, разница между результатами базового и текущего тестов определяет размер свечи. Каждая свеча на графике состоит из черного либо белого тела и верхней/ниж-ней тени, или фитиля (тонкой линии выше и ниже тела свечи). Границы тела отображают базовое и текущее значения. Если тело светлое, то текущее значение выше базового и динамика положительная, если темное — текущий результат ниже базового и динамика отрицательная. Таким образом, по цвету и высоте тела можно дать качественную и количественную характеристику соотношения текущего и базового результатов тестирования. Верхняя и нижняя грани цы тени отображают максимальное и минимальное значения результатов за выбранный период наблюдения. В течение указанного периода может пройти любое количество сессий тестирования; по всем учитываемым результатам определяются максимальное и минимальное значения, которые и фиксируются на диаграмме.

Применяя данный метод, мы можем отразить разброс результатов тестирования для каждого студента и увидеть различия результатов для всей группы. Большой фитиль на индивидуальной диаграмме свидетельствует о неустойчивости результатов у данного студента. Фитиль сверху говорит о том, что студент способен на лучшие результаты, а фитиль снизу свидетельствует о провалах на предыдущих тестах.

На рис. 1 приведены примеры свечей, которые можно сопоставить с различными типами студентов с точки зрения успешности обучения.

Р и с. 1. Виды свечей

Очень короткие фитили или их отсутствие при светлом теле свечи говорят о том, что текущий результат близок (свеча 1) или равен (свеча 3) индивидуальному максимуму. Индивидуальный минимум соответствует результату ЕГЭ, у студента есть потенциал и, самое главное, стремление к учебе.

Темное тело свечи в аналогичной ситуации (свечи 2 и 4) — признак того, что индивидуальный максимум соответству ет базовому результату. Текущий результат — самый худший из всех наблюдений. Высота верхнего фитиля — оценка потенциальных возможностей студента. Поскольку в качестве базового мы рассматриваем результат ЕГЭ, можно предположить, что реальный базовый уровень знаний студента ниже зафиксированного на едином государственном экзамене.

Наличие заметных верхних и нижних фитилей говорит о нестабильности зна- ний, возможны «взлеты» (верхний фитиль) и падения, «провалы» в знаниях (нижний фитиль). Чем больше общая высота свечи и высота фитилей, тем более нестабильные результаты показывает студент (свечи 5—8).

Следует обратить внимание и на положение тела на свече (соотношение длин верхнего и нижнего фитилей). Светлое, смещенное вверх (нижний фитиль больше верхнего) тело — признак положительной тенденции: несмотря на срывы, текущий уровень знаний постепенно растет (свеча 7). В противном случае (темное, смещенное вниз тело) тенденция негативная: наличие высокого верхнего фитиля отражает потенциальные возможности студента, но отсутствие мотивации, пропуски занятий или иные причины приводят к снижению результатов учебы (свеча 8).

Если тело свечи темное и при этом верхняя граница тела и верхний фитиль невысокие (свеча 9), можно говорить о неспособности студента воспринимать (осваивать) программу высшей школы. Если базовый результат (верхняя граница тела свечи) достаточно высокий, но верхний фитиль небольшой (свеча 10) — у студента отсутствует мотивация к учебе и он стабильно снижает результат.

Рассмотрим пример применения метода японских свечей для исследования результатов тестирования студентов Саратовского государственного социальноэкономического университета по дисциплине «Математика». Исследование проводилось в двух группах первокурсников финансово-кредитного факультета, обучающихся по направлению «Экономика и управление». В качестве материалов для анализа послужили результаты ЕГЭ 2009 г., входного тестирования в начале сентября 2009 г., а также итогового контроля по окончании первого, второго и третьего модулей в 2009/10 учебном году в форме компьютерного тестирования. Последнее проводилось с помощью вузовской системы тестирования [1; 2] по методикам, сходным с методикой Федерального интернет-экзамена [3]. Для входного тестирования использовались тесты, разработанные преподавателями кафедры прикладной математики и информатики, соответствующие программе средней школы. Тесты для итогового контроля были составлены по дидактическим единицам, изучение которых предусмотрено в соответствующих модулях рабочим учебным планом. Результатом тестирования считалась доля правильно выполненных тестовых заданий, измеренная в процентах. Использование в качестве исходных данных результатов тестирования по математике вполне оправданно, так как содержание дисциплины в достаточной степени стандартизовано, а методика преподавания хорошо отработана.

На рис. 2 приведены результаты тестирования по математике студентов двух групп. На графике учтены результаты ЕГЭ, входного тестирования и трех итоговых тестов по окончании первых трех модулей. Для наглядности списки студентов отсортированы в порядке возрастания результатов ЕГЭ, являющегося начальным тестом. Чтобы сделать результаты учитываемых тестов сопоставимыми, среднее значение и стандартное отклонение каждого теста с помощью линейной нормировки устанавливались равными соответствующим характеристикам начального теста.

Как видно из рисунка, положение с математикой в группах существенно различается. Во второй группе (ФК-5) большинство слабых и средних студентов (получивших низкий и средний балл по ЕГЭ) в течение первого года повысили свои результаты, а сильные студенты ухудшили. В первой группе (ФК-4) ухудшились результаты у «середнячков». Причина тому — различия систем ценностей, сложившихся в группах. Если в первой группе каждый учится, как может, и «натасканные» на сдачу ЕГЭ «середнячки» постепенно теряют свои позиции, то во второй — слабые студенты стремятся догнать сильных, а сильные, почувствовав свои преимущества на фоне слабых, не прикладывают необходимых усилий для успешного овладения знаниями.

Р и с. 2. Динамика успеваемости студентов I курса по дисциплине «Математика»

Предложенный инструментарий дает возможность наглядно представить результаты нескольких последовательных этапов тестирования, содержательно отобразить динамику успеваемости как отдельных студентов, так и учебных групп, увидеть соотношение успехов студентов в группе и связать результаты с внешними и внутренними влияющими на них факторами. Применение этого инструментария в системах управления качеством, на наш взгляд, позволит принимать оперативные решения по управлению учебным процессом на основе объективных данных.