Научно-методические подходы к оценке качества образовательных услуг на основе принципов TQM

GT) настоящее время формальное представление требований национальной системы оценки качества образования выражается в виде модели государственной аккредитации, включающей в себя три составляющие:

• —    перечень показателей деятельности ОУ;

• —    формы, методы и процедуры оценки показателей деятельности (в отношении вуза в целом и реализуемых им образовательных программ) внешними экспертами, включая требования к самим экспертам;

• —    формы, методы и процедуры самообследования вуза.

Процедуры внешней оценки регламентируются нормативными документами Минобрнауки России и проводятся Рособрнадзором и Рос-аккредагентством. Самообследование вуза в рамках комплексной оценки является специфичным для каждого вуза, и характер его определяется аналитической культурой вуза и стилем управления. Поэтому формализация и «клонирование» подходов к самообследованию в отношении раз- ных по отраслевой специфике вузов считается нецелесообразным. С другой стороны, проблемы, связанные с точностью и надежностью результатов, полученных в ходе обследования деятельности вузов, остаются актуальными.

Поскольку процедуры самообследования устанавливаются каждым вузом самостоятельно, определяющим началом в выборе методов, процедур, показателей, критериев, объектов и объема оценки, форм сбора данных, их анализа и дальнейшего использования становится поставленная цель и желаемые результаты. Эти методы и формат самообследования, — единые рамки, в которые вписываются обследуемые образовательные программы вуза, — составляют собственно внутривузовскую модель оценки качества образовательной программы (ОП).

К примеру, если самообследование проводится один раз в пять лет и исключительно в целях благополучного прохождения государственной аккредитации, то по-сути, результатом является некая формализованная оценка соответствия деятельности вуза и его образовательных программ, которая вписывается в установленный формат (модуль комплексной оценки). О самообследовании и его результатах вспоминают лишь тогда, когда заканчиваются сроки лицензии и аккредитации. Некоторые вузы, пережившие такое самообследование, могут даже на время утратить эффективность управления, поскольку проблемы, сопровождающие самообследование, у них возникают и множатся как снежный ком. На практике, такой подход в большинстве вузов уже не используется. Показатели государственной аккредитации — предмет мониторинга в течение последующих пяти лет и к этой процедуре вуз готовится заранее. Задача мониторинга — не только формирование базы данных показателей государственной аккредитации и их анализ, но и выявление негативных тенденций и причин, их вызывающих. Именно поэтому перед вузом встает вопрос о формировании модели оценки качества образовательной программы и ее составляющих, как элемента системы качества вуза (СК ОУ).

Вполне очевидно, что СК ОУ в плане результативности этой модели дает гораздо более широкие возможности, нежели комплексная оценка. Более того, в контексте СК ОУ процедура самообследования является важным элементом типовой модели СК ОУ и обозначена в перечне типовых процессов и видов деятельности в качестве инвариантного ядра, т. е. элемента СК ОУ, подлежащего обязательной оценке экспер тами-аудиторами в процессе комплексной оценки. Это приводит к необходимости реализации процессного и системного подходов в вид деятельности, под названием «самообследование образовательной программы». Этот вид деятельности, формализуемый в виде модели и управляемый как процедура СК ОУ, является лучшей демонстрацией вузом заявленного качества конкретной ОП.

К числу других элементов СК ОУ относятся внутренние процессы ОУ, процедуры, их описывающие, результаты процессов и требования к этим результатам. Поэтому в вузе, реализующем инновационную политику, оценочные критерии СК ОУ не ограничиваются показателями государственной аккредитации. Они базируются на показателях системы внутренних процессов СК ОУ и их критериальных (целевых) значениях, выявленных в процессе разработки стратегии инновационного развития вуза. Именно наличие взаимосвязи между системой процессов и стратегическими программами позволяет судить о результативности и степени зрелости СК ОУ в целом и ее элементов, включая рассматриваемый элемент под названием «самообследование образовательной программы».

В процессе самообследования в Кубанском государственном аграрном университете был развит новый подход к самообследованию ОП, существенно дополняющий и расширяющий области и глубину комплексной оценки и непосредственно связанный с базовыми принципами менеджмента качества. Подход представляет собой модель оценки качества ОП, состоящую из трех блоков (рис. 1).

Концептуальное сходство с моделью совершенства EFQM заключается в формировании результатов ОП (следствий) посредством возможностей ОП (причин результатов). Это означает, что результаты ОП достигаются за счет процессов (блок «реализация ОП») и менеджмента (блок «менеджмент ОП»), которые в данной модели выделены в отдельные блоки. Присутствие первого блока «менеджмент ОП» отличает эту модель от модели совершенства EFQM и отражает важность организационных подходов в реализации ОП и их динамичность.

Эффективность, действенность и гибкость менеджмента и процессов ОП в достижении целей ОП зависят от широкого круга факторов, образующих элементы модели (содержание блоков модели). Эти элементы формируют четкую структуру модели, понятную для пользователей. Все три блока модели взаимосвязаны, реализуют системный подход, но имеют разный вес, по аналогии с моделью совершенства EFQM (рис. 2).

Проведение самообследования ОП означает оценку ОП по определенным критериям модели. Проводя оценку данных правой части модели (блок «результаты ОП»), легче распознать в оцениваемых результатах причины (блоки «менеджмент ОП» и «реализация ОП»), оказывающие критическое воздействие на эти результаты. Это знание, во-первых, помогает избавиться от характерных эмоциональных симптомов, а во-вторых, пригодится далее при оценке причин в левой части модели и установления причинно-следственных связей. Степень различия между причинами и следствиями, — базовый подход, на основе которого строятся выводы относительно достижения целей ОП и вычисляются экспертные оценки.

Такой подход способствует улучшениям ОП и внедрению аналитической культуры.

Результатом самообследования ОП, как правило, является отчет о самообследовании по стандартной форме, разработанной самим вузом. Однако, как это ни огорчительно, объемный отчет часто впечатляет, но редко просвещает тех, от кого зависит принятие решения, поэтому при чтении отчета эксперты в основном обращают внимание на выводы и рекомендации. Если эти выводы объективны, обоснованы и актуальны, вряд ли эксперты станут их игнорировать. Значимость таких выводов может быть выше значимости даже самого превосходного отчета. Поэтому в модели оценки представляется важным установление формализованных выводов, помещаемых в отчет по самообследованию ОП.

Менеджмент ОП

Реализация ОП

• •    Маркетинг ОП

• •    Присуждаемые степени

• •    Формы обучения

• •    Прием студентов

• •    Организация учебного процесса

• •    Организация периодической оценки уровня достижения целей программы

• •    Уровень преподавательского состава

• •    Воспитательная и внеучебная работа со студентами

• •    Востребованность выпускников

• •    Внешняя оценка образовательной программы

• •    Учебный план

• •    Программы учебных дисциплин

• •    Методическое и информационное обеспечение

• •    Образовательные технологии

• •    Курсовые проекты и работы

• •    Практическая подготовка

• •    Научно-исследовательская работа студентов

• •    Образовательная среда и инфраструктура

  	Результаты ОП
  	▼
  	•    Результаты межсеместровой аттестации студентов •    Творческая активность студентов •    Итоговая аттестация •    Выпуск специалистов

  
  

Рис. 1. Структура модели оценки качества ОП

50 %

Причины (возможности)

Следствия (результаты)

Менеджмент ОП

---►

Реализация ОП

---►

Результаты ОП

50 %

Рис. 2. Весомость структурных элементов модели

Но отчетом самообследование не заканчивается. На заключительном этапе осуществляются измерения — анализ сильных сторон и областей для улучшений по каждому блоку модели и экспертная оценка по 100-балльной шкале. Таким образом, все три блока модели представляют собой области для измерения, несущие необходимую информацию через конкретные показатели, выступающие в данном случае в качестве измерительных приборов. На рис. 3 модель оценки представлена в виде панели управления ОП с набором инструментов для наблюдения за результатами, процессами и менеджментом ОП.

Концепция этой панели управления подчеркивает то, что все характеристики ОП, которые вуз хочет выявить и улучшить, должны быть измерены, несмотря на трудность или кажущуюся невозможность. Однако показатели первых двух блоков не всегда легко измерить простыми методами. В этом плане в распоряжении службы качества имеются аналитические инструменты, позволяющие провести качественную оценку. Эти инструменты имеют важное значение также для формирования аналитической культуры и управления информацией вуза в целом. Направленность анализа на основе измерений в случае оценки ОП показывает рис. 4.

На первый взгляд этот анализ кажется достаточно формальным, поскольку основывается на измерении неких показателей, пусть даже

Рис. 3. Панель управления ОП

Вид оценки	Менеджмент ОП	Реализация ОП	Результаты ОП	Характер оценки
к Z 0) О. 0) со	Оценка подходов к управлению ОП и деятельности руководства на уровне ОУ, факультета, кафедры	Образовательный аудит ОП	Несоответствия критериальным значениям аккредитационных показателей	к Z 0) 0) со Z 0)
		Аудит процессов СК ОУ	Несоответствия целям ОП
		Аудит СК ОУ в целом	Несоответствия целевым показателям процессов СК ОУ Несоответствия целей СК ОУ в целом
Анализ	Тенденции улучшений/ухудшений			Сравнения
	Расхождения причин и следствий			Диагностика
	Проблемы в менеджменте	Проблемы в реализации	Низкие результаты

Рис. 4. Анализ и измерения ОП имеющих качественный характер. В то же время наблюдения экспертов в ходе экспертных процедур говорят о том, что слишком часто при са-мообследовании ОП результаты неправильно интерпретируются. Неправильная экстраполяция выводов на результатах без учета причин, их вызывающих, не только малопродуктивна, но и может принести вред при прохождении государственной аккредитации, результаты которой для вуза становятся жизненно важными.

В случае данной модели речь идет о методике RADAR ® , — оценочном инструменте, используемом при оценке менеджмента организаций, участвовавших в конкурсе на Европейскую премию по качеству по модели EFQM, с помощью которой можно провести оценку образовательной программы и услуги не только на качественном уровне (сильные стороны и области для улучшений), но и получить конечный результат оценивания в виде итоговой количественной оценки. Логика методики основана на том, что эксперту необходимо выявить и определить возможности оцениваемой образовательной программы, сопоставить ее цели, внутренние процедуры (процессы) и используемые ресурсы с полученными результатами, периодически по ходу оценки сравнивая эти результаты с достижениями и лучшими практиками ведущих вузов в отношении реализуемого профиля образовательной программы.

В основе элементов методики RADAR ® лежит цикл PDCA, выдвинутый Демингом. Эти элементы, как и цикл PDCA, опираются на инновации и обучение как одну из основополагающих концепций TQM и модели совершенства EFQM и определяют структуру для оценки процесса, проекта или подхода и определения сильных сторон и проблемных областей. Использование, например, элементов RADAR ® в модели совершенства EFQM показывает очень ясную картину того, как возможности и результаты находятся во взаимосвязи. Более того, пользователи получают возможность обоснованного количественного сравнения своей деятельности с любыми организациями разных профилей, чего лишены многие другие методики.

Задача этого подхода в предлагаемой модели оценки качества образовательной программы и услуги заключается в возможности проведения сравнительных измерений менеджмента, реализации и результатов образовательной программы на основе сопоставимости результатов оценки, что является его неоспоримым преимуществом. Логика RADAR® выражена в виде матрицы, показывающей структуру элементов и признаков оценки в табличном формате, используемом при подсчете баллов. Технология оценки представляет собой рассмотрение каждого элемента матрицы по признакам, применительно к каждому подразделу отчета о са-мообследовании. Используются два вида матриц отдельно для групп критериев «Возможности» и «Результаты» (так же, как и при оценке отчета о самооценке, представленного на конкурс по качеству).

В качестве элементов оценки используются критерии модели оценки качества образовательной программы и услуги, в соответствии с которыми составляется отчет о самообследова-нии образовательной программы. Деятельность по каждому критерию описывается в определенном формате, что упрощает подготовку отчета и снижает трудозатраты. Разработка формата са-мообследования — задача достаточно трудоемкая, и к этому необходимо подготовиться заблаговременно.

Оценка отчета о самообследовании образовательной программы проводится в направлении от блока «Результатов» (следствий) к блоку «Возможностей» (причинам), т. е. справа налево вдоль организационного профиля модели, в отличие, например от оценки в премиальных конкурсах. Проводя такие измерения, в оцениваемых результатах легче познается менеджмент образовательной программы и его подходы, оказывающие критическое воздействие на результаты реализации образовательной программы.

Оценка описываемой деятельности по блоку критериев «Результаты» осуществляется в процентных баллах и проводится по шкале матрицы RADAR ® , приведенной в табл. 1. Эта матрица включает в себя следующие элементы:

• —    результаты;

• —    полноту охвата.

Количественная оценка описываемой деятельности по критерию сначала выводится по каждому элементу матрицы, а затем в целом по критерию модели путем определения среднего значения по шкале (строка «итого»). Оценка элемента осуществляется по признакам, описания которых соответствуют значениям шкалы баллов. Например, элемент «результаты» применительно в описываемой деятельности имеет четыре признака:

• —    тенденции;

• —    цели;

• —    сравнения;

• —    причины.

Матрица оценки RADAR ® по критериям «Результаты» модели EFQM

Элемент	Признаки	0 %	25 %	50 %	75 %	100 %
	Тенденции	Нет результатов или	Позитивные тенденции	Позитивные тенденции	Позитивные тенденции	Позитивные тенденции
	Позитивные тенденции и/или устойчиво хорошие показатели	случайная информация	и/или удовлетворительные показатели по V» результатов в течение минимум трех лет	и/или устойчиво хорошие показатели по % результатов в течение минимум трех лет	и/или устойчиво хорошие показатели по % результатов в течение минимум трех лет	и/или устойчиво хорошие показатели по всем результатам в течение минимум трех лет
	Цели	Нет результатов или	Достигнуты и обосно-	Достигнуты и обосно-	Достигнуты и обосно-	Достигнуты и обосно-
в rt Л со &	Цели достигнуты и обоснованны	случайная информация	ванны для % результатов	ванны для % результатов	ванны для % результатов	ванны для всех результатов
	Сравнения	Нет результатов или	Благоприятные сравне-	Благоприятные сравне-	Благоприятные сравне-	Благоприятные сравне-
	Результаты сравнимы с другими организациями и превосходят их и/или Результаты сравнимы с достижениями на мировом уровне	случайная информация	ния для % результатов	ния для % результатов	ния для % результатов	ния для всех результатов
	Причины	Нет результатов или	Причинно-следственная	Причинно-следственная	Причинно-следственная	Причинно-следственная
	Результаты вызваны применением подхода	случайная информация	связь видна для % результатов	связь видна для % результатов	связь видна для % результатов	связь видна для всех результатов
	Итого	0   5   10	15 20 25 30 35	40 45 50 55 60	65 70 75 80 85	90 95 95 100
	Полнота охвата	Нет результатов или	Результаты охватывают	Результаты охватывают	Результаты охватывают	Результаты охватывают
н < X о	Результаты отражают	случайная информация	% необходимой области	% необходимой области	% необходимой области	все необходимые обла-
	необходимые области Результаты должным образом сегментированы		деятельности	деятельности	деятельности	сти деятельности
	Итого	0   5   10	15 20 25 30 35	40 45 50 55 60	65 70 75 80 85	90 95 100
	Всего по критерию	0   5   10	15 20 25 30 35	40 45 50 55 60	65 70 75 80 85	90 95 100

И. Т. Заика. Оценка качества образовательных услуг на основе принципов TQM

Матрица оценки RADAR ® по критериям «Возможности» модели EFQM

Таблица 2

Элемент	Признаки	0 %	25 %	50 %		75 %			100 %
ч о X ч о С	Обоснованность Подход имеет ясное обоснование Подход имеет определенные процессы Подход ориентирован на интересы стейкхолдеров Интегрированность Подход поддерживает политику и стратегию Подход связан с другими подходами	Нет свидетельств или случайные свидетельства Нет свидетельств или случайные свидетельства	Некоторые свидетельства Некоторые свидетельства	Есть свидетельства Есть свидетельства		Очевидные свидетельства Очевидные свидетельства			Исчерпывающие свидетельства Исчерпывающие свидетельства
	Итого	0   5   10	15 20 25 30 35	40 45 50 55	60	65 70 75	80	85	90 95 100
S и ч и н и со ч ^	Внедрение Подход внедрен Системность Подход структурирован и развернут с использованием специальных методов в соответствии с планом и четко реализуется	Нет свидетельств или случайные свидетельства Нет свидетельств или случайные свидетельства	Некоторые свидетельства Некоторые свидетельства	Есть свидетельства Есть свидетельства		Очевидные свидетельства Очевидные свидетельства			Исчерпывающие свидетельства Исчерпывающие свидетельства
	Итого	0   5   10	15 20 25 30 35	40 45 50 55	60	65 70 75	80	85	90 95 100
о. о л в S ч и ч О	Измеримость Выполняются регулярные измерения результативности подхода и развертывания Изучение Изучается лучшая практика и возможности улучшения Улучшения Результаты измерений и изучения анализируются для определения, оценки приоритетов, планирования и внедрения улучшений	Нет свидетельств или случайные свидетельства Нет свидетельств или случайные свидетельства Нет свидетельств или случайные свидетельства	Некоторые свидетельства Некоторые свидетельства Некоторые свидетельства	Есть свидетельства Есть свидетельства Есть свидетельства		Очевидные свидетельства Очевидные свидетельства Очевидные свидетельства			Исчерпывающие свидетельства Исчерпывающие свидетельства Исчерпывающие свидетельства
	Итого Всего по критерию	0   5   10 0   5   10	15 20 25 30 35 15 20 25 30 35	40 45 50 55 40 45 50 55	60 60	65 70 75 65 70 75	80 80	85 85	90 95 100 90 95 100

Управление качеством

Качественная оценка результатов применительно к образовательной программе заключается:

• —    в определении слабых сторон на основе анализа выявленных по результатам самообсле-дования несоответствий, обусловленных низкими результатами и их причинами;

• —    в выявлении позитивных тенденций результатов, которые определяются на основе сравнения как со своими прошлыми результатами, так и с лучшими результатами вузов, реализующих профильные образовательные программы или среднестатистическими в рамках УМО.

Аналогичным образом оцениваются разделы отчета по блоку критериев «Возможности» (табл. 2).

При оценке разделов отчета о самообследо-вании по критериям «Возможности», используются три элемента:

• —    обоснованность;

• —    развертывание;

• —    оценка и пересмотр.

Элемент «обоснованность» означает ясное логическое обоснование менеджмента (образовательные уровни, учебный план, траектории получения образования и пр.), которое основывается на анализе существующих и прогнозируемых потребностей потребителей (заказчиков) образовательных услуг по результатам маркетинговых мероприятий, анкетирования работодателей, связан с целями образовательной программы, обеспечен адекватными периодическими оценочными процедурами (включая тестирование студентов), необходимым уровнем преподавательского состава (в соответствии с лицензионными нормативами и пр.) и другими ресурсами, характеризующими научный потенциал и ориентирован на потребности заинтересованных сторон — студентов, работодателей и регулирующих органов (учредителей, Рособрнадзор, Росаккредагентство).

Развертывание означает, что образовательная программа реализуется через четко организованный научно-образовательный и воспитательный процесс в соответствии с ее целями и графиком учебного процесса в наиболее важных областях (методическое и информационное обеспечение, применение инновационных образовательных технологий, практическая подготовка, научно-исследовательская работа и другие формы активности студентов, контроль их знаний, умений и навыков, курсовое и дипломное проектирование и пр.) на всех уровнях менеджмента образовательной программы (деканат, кафедра, учебная группа).

Оценка и пересмотр охватывает деятельность по анализу и усовершенствованию менеджмента образовательной программы (включая ее содержание и ресурсы) и ее развертыванию, базирующуюся на анализе востребованности выпускников и других внутренних и внешних оценках (включая общественно-профессиональную аккредитацию, рейтинги и пр.).

Как правило, эксперты, проведя оценку «Возможностей», возвращаются к «Результатам», — в направлении справа налево вдоль организационного профиля модели для того, чтобы откорректировать оценки и сформировать наиболее реалистичную картину состояния образовательной программы и ее потенциала.

После выполнения всех действий с оценкой критериев рассчитывается итоговая оценка в баллах по 100-балльной шкале и строится оценочный ее профиль.

Для дальнейшего использования модели потребуется большая дополнительная работа, прежде чем она будет полностью интегрирована в СК ОУ и проверена ее эффективность. Предлагаемая модель является гибкой и восприимчива к любым улучшениям и инновациям. Приоритетность и актуальность вопросов оценки качества образовательных услуг неизбежно будет вызывать у пользователей различных моделей потребность в их модификации под специфику каждого конкретного образовательного учреждения, и в этом смысле данная модель не является исключением.

Можно полагать, что это обстоятельство будет стимулировать прогресс при проведении сравнительных исследований конкретных ОП (или укрупненных групп ОП), реализуемых в рамках какого-либо УМО, например, в процессе общественно-профессиональной аккредитации,создавая, таким образом, механизмы гарантий качества в соответствии с рекомендациями стандартов и директив ENQA.

• 1.    Аккредитация: процедура и критерии [Электронный ресурс] : официальный сайт Аккредитационного центра Ассоциации инженерного образования России. URL: www.ac-raee.ru/accreditation.php

• 2.    Васильева Е. Ю., Шестакова М. В. Самообследо-вание кафедр в процедуре внутренней оценки деятельности вуза // Университетское управление: практика и анализ. 2009. № 5. С. 15-22.

• 3.    Дорошенко Ю. И. Контроль качества образования в вузе: системность и противоречия // Университетское управление: практика и анализ. 2008. № 1. С. 3841.

• 4.    Заика И. Т. Размышления на тему общественнопрофессиональной аккредитации или Как оценивать образование, не ухудшая его качество: взгляд эксперта // Университетское управление: практика и анализ. 2009. № 1.С. 70-73.

• 5.    Никитина Н. Ш., Николаева Н. В. Примерная методика мониторинга и оценивания качества подготовки специалистов в вузе // Университетское управление: практика и анализ. 2008. № 6. С. 79-84.

• 6.    Рейтинг делового высшего образования — рейтинг «Деловой России» [Электронный ресурс] : официальный сайт ООО «Деловая Россия». URL: www.deloros.ru/projects/ratingobr/ratingobr.php

• 7.    Рейтингование образовательных ресурсов [Электронный ресурс] : официальный сайт НРА «РейтОР». URL: www.reitor.ru/ru/analitic/reit_resourse

• 8.    Руководство по проведению образовательного аудита высших учебных заведений с целью гарантии качества образования и путей его обеспечения. М.: Агентство по общественному контролю качества образования и развитию карьеры, 2008. 41 с.

• 9.    Стандарты и Директивы для гарантии качества высшего образования в Европейском регионе [Электронный ресурс] : федеральный портал «Качество и образование». URL: www.tqm.spb.ru/smkpage.shtml

• 10.    Становление институтов общественно-профессиональной оценки качества образования: монография / О. А. Ильченко и др. М. : Маркет ДС, 2007. (Академическая серия). 652 с.

• 11.    The EFQM Excellence Model [Электронный ресурс]: официальный сайт Европейского фонда менеджмента качества EFQM. URL: www.efqm.org

  
  
  

Т. А. Салимова, Н. Ш. Ватолкина

ЦЕЛИ И МЕТОДЫ УПРАВЛЕНИЯ ВЗАИМООТНОШЕНИЯМИ С ПОТРЕБИТЕЛЯМИ В ВУЗЕ

•

Т. A. Salimova, N. Sh. Vatolkina