К вопросу об использовании статистического инструментария для оценки качества образования

Образование сегодня определяется как единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовно-нравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образова тельных потребно стей и интересов¹.

В системе образования качество, согласно образовательным стандартам, рассматривается как соответствие полученного результата целям, сформулированным на начальном этапе процесса обучения. Степень выполнения этого соответствия устанавливается на основании выполнения заданных целевых критериев и показателей. Следовательно, «цели (результаты) должны быть операциональны и спрогнозированы в зоне потенциального развития обучающегося» [1, с. 33].

«Операциональность» означает, что цели устанавливаются таким образом, чтобы в любой момент времени можно было произвести контрольное сопоставление фактически полученного результата образовательного процесса с желаемым. «Спрогнозированность в зоне потенциального развития обучающегося» – важнейшее требование, выполнение которого позволяет перейти к реализации образовательного процесса с позиций менеджмента вообще и менеджмента качества в частности, обеспечивая возможность непрерывного совершенствования как результатов обучения, так и самого процесса обучения через процедуру мониторинга. Для этого цели образовательного процесса должны быть не просто оптимальными, они должны определять максимально возможное развитие обучающегося.

К каждой цели разрабатывается совокупность показателей, которая позволяет измерить, насколько достигнута цель в процессе обучения. Все показатели с точки зрения качества могут быть разделены на три основных группы.

Первая группа показателей связана с организацией образовательного процесса. Они отражают следующие организационные моменты:

• •    доступность и дифференциация процесса обучения;

• •    стандартизированность и вариативность образовательных программ;

• •    использование традиционных и инновационных технологий обучения и контроля;

• •    внедрение инновационных методов обучения;

• •    использование современных средств и методов мониторинга;

• •    способность к модификации форм и методов управления процессом.

Вторая группа показателей отражает условия ведения образовательной деятельности. К ней относится информация о финансировании образования, его кадровом, информационном, материально-техническом, методическом и другом обеспечении.

Третья группа показателей характеризует результаты обучения и ожидаемые позитивные изменения в процессе управления качеством обучения.

Оценка значений по показателям может носить как нормативный характер (основанный на сравнении с некоторым предустановленным критическим значением или шкалой), так и сравнительно-сопоставительный характер (основанный на сравнении объектов оценивания или состояния одного объекта в разные моменты времени с использованием, например, статистических инструментов качества).

Одним из инструментов оценки является контрольная карта Шухарта, которая предоставляет возможность осуществить оценку реализации процесса и/или его результатов и принять решение о необходимости проведения корректирующих мероприятий. По сути, это графический метод визуализации степени стабильности и изменчивости образовательного процесса.

В теории контрольных карт Шухарта можно выделить два вида изменчивости.

Первый вид – это случайная изменчивость, обусловленная общими или случайными факторами-причинами. При этом выявление и глубокий анализ факторов-причин в данный момент может быть затруднителен, однако они присутствуют внутри системы, и их суммарный эффект присутствия определяет изменчивость процесса. Выявленная изменчивость может свидетельствовать о необходимости пересмотра внутренней организации системы.

Второй вид изменчивости обуславливается случайными вмешательствами в процесс извне, то есть наличием таких факторов-причин, которые не свойственны и не принадлежат системе, но их можно выявить и устранить, пусть даже теоретически. Такие факторы-причины называют «специальными» или «особыми» причинами вариабельности.

Целью построения и исследования контрольных карт является оценка стабильности процесса в статистически рассчитанных границах. Если в процессе присутствуют только общие причины вариабельности, то он находится в статистически управляемом состоянии. Наличие особых причин вариабельности свидетельствует о нестабильности и неуправляемости процесса. Важно иметь в виду, что границы контрольных карт Шухарта рассчитываются по данным о самом процессе, не имеют отношения к допускам и не являются линиями каких-либо вероятностей.

Контрольные карты позволяют проследить изменения состояния объекта оценки по конкретному показателю во времени (или в отдельных независимых выборках) и дают возможность установить «когда», «почему» и «как часто» происходят изменения. Такая отсылка к причинам обеспечивает потенциальную эффективность управления. К примеру, единичный случай выхода показателя за контрольные границы не может быть принят за сигнал к немедленным действиям. В случае ассиметричного смещения контролируемого показателя относительно средней линии в течение длительного временного интервала процесс требует вмешательства и разработки корректирующих мероприятий.

В контрольных картах на оси ординат откладывают значения оцениваемого параметра, а на оси абсцисс – время или номер выборки. Результаты измерений отдельного показателя процесса или суммарные значения группы показателей (например, среднее значение по группе измерений, среднее значение отклонений, процент дефектов, среднее число дефектов на единицу и т.п.), зафиксированных в конкретный момент времени, наносятся на карту в виде точек.

Кроме результатов измерений, на контрольной карте обычно отображаются три линии:

• •    центральная линия представляет (ЦЛ) – это «эталонное» значение показателя, которым обычно выступает арифметическое значение ( x^– );

• •    верхняя контрольная граница (ВКГ), которая находится над ЦЛ;

• •    нижняя контрольная граница (НКГ), которая находится под ЦЛ.

Контрольные границы представляют собой предел ожидаемых изменений процесса в типичных для него условиях. Контрольные границы рассчитываются как три стандартных отклонения случайной величины от линии средних значений (3σ от центральной линии, где σ – внутригрупповое стандартное отклонение (используемой статистики). Для нормально распределенной случайной величины или при условии, что процесс находится в статистически управляемом состоянии, около 99,7% значений характеристик подгрупп попадет в границы x–±3σ. Другими словами, есть риск, равный 0,3% того, что нанесенная точка окажется вне контрольных границ. В такой ситуации может быть принято неверное решение о том, что процесс вышел из состояния статистической управляемости, и предпринята попытка выявления несуществующей проблемы. В этом случае говорят об ошибке первого рода. Контрольные границы иногда называют «границами действий». Попадание значения какого-либо показателя за пределы границ считается сигналом к действию.

Удобно также использовать верхние и нижние предупреждающие границы (ВПГ и НПГ), рассчитываемые на расстоянии x^– ±2 σ . Попадание значения показателя за пределы этих границ служит предостережением о потенциальной опасности выхода процесса из состояния статистической управляемости.

При построении карт Шухарта следует также учитывать нормативно заданные границы исследуемого показателя, а не только статистически заданные границы варьирования ( x^– ±2 σ или x^– ±3 σ ).

При сравнительно-сопоставительном анализе двух и более карт Шухарта для одного и того же процесса за разные периоды наблюдений особое внимание должно быть уделено смещению средней линии.

Рассмотрим построение карты Шухарта на примере.

Имеются данные по качественной успеваемости 7 групп (таблица 1).

Таблица 1

Table 1

Данные по качественной успеваемости The data on quality of progress in studies

Группа	1гр.	2 гр.		6 гр.	7 гр.
Качественная успеваемость,%	54	74		81	46

Необходимо проанализировать представленные в таблице данные с точки зрения качества организации процесса обучения.

После нанесения результатов расчетов был получен следующий вариант карты Шухарта (рис. 1).

Карта Шухарта по качественной успеваемости групп

-----Средняя линия

— — Верхняя контрольная граница

--Нижняя контрольная граница

--Верхняя предупреждающая граница

--Нижняя предупреждающая граница

• Качественная успеваемость, %

Рис. 1. Качественная успеваемость в группах Fig. 1 The quality progress in groups

ЦЛ: 69,9%

ВПГ: 91,5%

НПГ: 48,2%

ВКГ: 102,3% (строго говоря, ВКГ находится на уровне 100%)

НКГ: 37,4%

Как видно, процесс стабилен, находится в рамках контрольных границ. Однако качественная успеваемость в седьмой группе находится ниже НПГ, но не пересекает НКГ. Эта ситуация хоть и не критична, однако может вызывать некоторую озабоченность, а ее причины могут интересовать преподавателей кафедры. Более глубокое исследование сложившейся ситуации можно провести на основе других инструментов качества, например, диаграммы Парето.

Разработаны и успешно применяются различные контрольные карты, например, средних значений, медиан, средних квадратических отклонений, размахов, числа дефектных единиц продукции, доли дефектных единиц продукции, числа дефектов, числа дефектов на единицу продукции и другие. Их выбор зависит от целей управления и уровня, на котором замерены данные (качественный или количественный). Для оценки фактических значений контролируемых параметров используется контроль по количественным признакам, а для установления соответствия этого параметра установленным требованиям производится контроль по альтернативному (качественному) признаку. Исходя из этих условий, выбираются соответствующие контрольные карты. Более глубоко вопросы использования данного инструмента качества можно изучить в ГОСТ 50779.42–99, в котором изложен подход к статистическому управлению.