Примерная методика мониторинга и оценивания качества подготовки специалистов в вузе

Общие положения данной статье представлен формат методики мониторинга и оценки качества отдель ных компонентов системы подготовки специалистов в вузе. Будем считать, что речь идет о мониторинге как о внутренней процедуре вуза. При этом возможны два следующих варианта: мониторинг, проводимый специально подготовленными, наделенными полномочиями и ответственностью внутривузовскими аудиторами (экспертами) по заранее разработанной и утвержденной программе; и самооценка как один из распространенных механизмов управления процессами и результатами собственной деятельности.

Мониторинг и оценивание качества услуги или продукции (УП) согласно [9, 10] состоит из следующих этапов: мониторинг удовлетворенности разнообразных категорий потребителей; проверки (аудиты) объектов мониторинга, а именно компонентов образовательного процесса, процессов и подпроцессов, для выявления несоответствий; обработка, представление и анализ результатов мониторинга и проверок, подготовка отчетов, рекомендаций; информирование заинтересованных сторон и принимающих решение специалистов об обнаруженных несоответствиях; разработка программ устранения несоответствий и формирование управляющих воздействий с целью исполнения этих программ, улучшение качества.

Приведем формат инвариантной методики мониторинга, которым можно пользоваться не

зависимо от специфики объекта мониторинга. Формат определяет логику мониторинга и его основную структуру. К формату необходимо относиться творчески, изменяя и развивая его в зависимости от целей, объектов и субъектов мониторинга. Любой участник образовательного процесса, не только эксперт по качеству или аудитор, может воспользоваться данной методикой, модифицировать ее под свои потребности и использовать для самооценки, самоанализа и совершенствования своей деятельности.

В [7, 8] приведена интерпретация основных положений и требований ИСО 9001 : 2001 в области образования. Будем исходить из того, что методика — это установленный способ осуществления некоторой деятельности [6]. Во многих случаях методики документируются, например методики системы качества, методики обучения и др. Когда какая-либо методика документируется, лучше употреблять термин «письменная методика» или «документальная методика». Письменная или документальная методика обычно включает: цели и область деятельности; что должно быть сделано и кем; когда, где и как это должно быть осуществлено; какие материалы, документы и какое оборудование будет использовано; какие методы и инструменты обработки (например, программные системы) должны быть применены; каким образом результаты должны быть проконтролированы и зарегистрированы.

В ГОСТ Р ИСО 9001 : 2001 [3] мониторингу и оцениванию качества посвящены разде- лы 7 — «Процессы жизненного цикла УП» и 8 — «Измерение, анализ и улучшение». Раздел 7 определяет деятельность по мониторингу, оценке и испытаниям УП; определение необходимого мониторинга, измерений, устройств и средств. Раздел 8 определяет регламент мониторинга удовлетворенности потребителей, внутренних аудитов, самооценки, управления несоответствующей УП, анализа данных и улучшениям.

Уровень удовлетворенности измеряют, сопоставляя цели и показатели качества с ожиданиями заинтересованных сторон. Аспектами мониторинга могут быть: содержание основных образовательных программ (ООП), предметов, видов занятий, практики и пр.; методики преподавания; процессы обучения; технологическая и информационная поддержка; материальные ресурсы и их доступность; условия работы и учебы, безопасность; наличие и качество консультаций (о карьере, об индивидуальной траектории и пр.); специальное обеспечение (инвалидов, удаленных обучающихся); управление и др.

Методики должны предусматривать методы сбора и хранения данных, удовлетворяющие заинтересованные стороны. Например, опросы могут осуществляться по почте, e-mail, в аудиториях, по телефону, посредством индивидуальных интервью. Методы сбора данных могут основываться на наблюдениях заинтересованных сторон, анкетировании и пр. Сбор данных должен осуществляться в сроки, допускающие возможность улучшений, устранения выявленных проблем и несоответствий. Данные об удовлетворенности должны быть доступны участникам соответствующих процессов, например преподавателям, педагогическим дизайнерам курсов, администраторам, консультантам, менеджерам, экспертам по качеству и др. В методике должен быть предусмотрен мониторинг систем разработки и доставки УП в соответствии с требованиями потребителей.

Предметом измерений и мониторинга в образовании может быть качество абитуриентов, ООП, персонала, ресурсов, административных систем, материальной базы, успеваемости и пр. Проверяют и измеряют характеристики процессов: их непрерывность, соблюдение графика обучения, производительность (результативность), эффективность и пр. Методы мониторинга процессов специфичны и требуют особого рассмотрения.

Методы измерений и мониторинга также определяются методиками. При этом измерения и мониторинг процессов и УП являются объек том планирования и обеспечиваются ресурсами. Измерения должен проводить квалифицированный персонал. Сотрудники, отвечающие за процессы, должны уметь использовать результаты измерений и мониторинга. Информация по результатам мониторинга должна позволять управлять несоответствиями и совершенствовать процессы. Все мероприятия по измерениям и мониторингу следует документировать, и это также определяется методикой мониторинга.

С точки зрения ГОСТ Р ИСО 9001 : 2001 под несоответствиями понимают отклонение результатов функционирования системы управления качеством, характеристик УП от ожидаемых (запланированных, востребованных). Примеры несоответствий в образовании: несоответствие ООП или рабочей программы ГОСу; ресурсов — лицензионным требованиям; результатов деятельности — аккредитационным и аттестационным нормам; несоответствие требованиям федеральной нормативной базы, например, к состоянию здоровья, мерам безопасности и др. В вузе должны быть методики выявления, анализа и устранения несоответствий.

Методики управления несоответствиями содержат: перечни действий, обеспечивающих исправление несоответствий; списки сотрудников, обладающих компетенцией, ответственностью, полномочиями и ресурсами для разрешения проблем; ответственных за доведение информации о несоответствиях до заинтересованных сторон; доклады руководству о возникших проблемах для анализа.

Методы устранения несоответствий должны определяться типами несоответствий. Например, ООП или рабочая программа перерабатываются, студенты обучаются дополнительно, переводятся на другую программу. Свидетельства наличия несоответствий — претензии потребителей.

Любая организация для совершенствования качества своей деятельности должна собирать и использовать данные об ожиданиях и требованиях; о соответствии продукции/услуги ожиданиям и требованиям; о функционировании процессов, производящих продукцию/услугу. Информация должна собираться систематически с применением специальных методик и использоваться для оценки эффективности СМК сотрудниками организации, отвечающими за процессы, и для корректировки процессов, методик, учебных материалов, а также высшим руководством для планирования и анализа, выявления областей деятельности, требующих совершен- ствования и др. Информация — основа непрерывного совершенствования.

Корректирующие действия (КД) и предупреждающие действия (ПД) — составные части процесса повышения качества. Потребность в КД — основа для недопущения повторного их проявления. ПД связаны с анализом информации для выявления причин и предупреждения потенциально возможных несоответствий. Необходимы специальные методики проведения КД и ПД, устанавливающие распределение полномочий и ответственности, обеспечивающие анализ претензий заинтересованных сторон, несоответствий, выявленных при аудите. Организация (вуз, подразделение) должна определить действия для устранения причин возникновения потенциальных несоответствий и предупреждения их появления.

Процедура ПД определяет требования к установлению потенциальных несоответствий, их причин, оцениванию необходимости действий для предупреждения несоответствий, определению и осуществлению ПД, анализу предпринятых ПД. Примеры ситуаций для введения ПД в образовании: выявление студентов, у которых могут возникнуть затруднения при обучении, которые могут не завершить курс обучения, у которых могут возникнуть проблемы с внесением платы за обучение; выявление потенциально опасных ситуаций и внедрение мер по охране здоровья и труда и др.

Методика мониторинга

Описание методики мониторинга, анализа и оценки качества подготовки специалистов в вузе приведено в виде некоторого формата с последовательностью этапов и их краткой характеристикой (см. ниже).

Примечания к таблице мониторинга. Цели и задачи методики исследования можно разделить на три основные подгруппы: оправдательные, поисковые, описательные [5]. Оправдательные цели и задачи призваны: подтвердить или опровергнуть потребительские требования; сравнить результаты данного исследования с оценками, полученными ранее, если имеет место корректировочный этап методики; на основании полученных результатов исследования сформировать рекомендации по улучшению качества исследуемого объекта, устранению несоответствия.

Поисковые цели и задачи направлены на изучение отношения потенциальных потребите лей к проблеме качества услуги и отдельных этапов ее создания и предоставления; определение потребительских проблем, предпочтений, особенностей и факторов мотивации; изучение степени удовлетворенности целевой группы по отношению к решаемым проблемам.

Описательные цели и задачи должны помочь выяснить отношение целевой группы к проблеме качества процесса и уровень информированности о ней; исследовать мотивацию потенциальных потребителей процесса.

Объекты мониторинга. Объекты мониторинга тесно связаны с задачами, которые предстоит решить для достижения соответствующих конкретных целей. К объектам мониторинга в контексте качества учебного процесса можно отнести условия (ресурсы), процессы и результаты, их отдельные компоненты [И].

Целевые группы в области образования очень многообразны . Приведем лишь некоторые из них: сотрудники; студенты; работодатели; родители [9, 10]. В качестве особенностей целевых групп могут выступать социальные, социально-психологические и профессиональные характеристики, место работы, учебы, образование; половозрастная структура; территориальные особенности; распределение респондентов по сферам деятельности; различия в мировоззренческих взглядах и установках и т. д.

Методы мониторинга. Методы мониторинга очень разнообразны. Они зависят от объектов мониторинга и задач, которые решает мониторинг. Отметим, что в образовании могут найти применение как традиционные методы управления качеством, так и методы прикладного статистического анализа, экспертное оценивание и др.

Одним из наиболее распространенных на данном этапе методов исследования продолжает оставаться опрос респондентов [4, 5, 12]. Опрос представляет собой вопросно-ответный метод сбора данных, при котором источником информации служат письменные или словесные сообщения респондентов. В исследованиях ученых показана эффективность применения других методов, ранее не применяемых при исследовании социальных систем [1, 2].

Выводы

Настоящую методику предполагается использовать в системе повышения квалификации преподавателей и специалистов профессиональных образовательных учреждений разного уровня, а также в учебном процессе подготовки пре-

УТВЕРЖДАЮ                     СОГЛАСОВАНО

Ф.И.О.               Ф.И.О.

(ответственное лицо)                                          (ответственное лицо)

«» 200 г.                   «» 200 г.

МЕТОДИКА МОНИТОРИНГА, АНАЛИЗА И ОЦЕНКИ КАЧЕСТВА

(наименование методики)

Наименование организации_______________________________________________________________

Наименование подразделения____________

Наименование этапа методики	Характеристика этапа методики
Цели: общая цель; конкретная цель (цели)	В данном разделе методики приводится характеристика общей цели, которая может быть глобальной, выраженной в социально значимых категориях. Общая цель может быть удалена во времени. Конкретные цели должны быть связаны с непосредственно выявленным несоответствием. Конкретная цель — это то, что надо сделать в определенный срок, конкретно измерить, вычислить, обработать, исследовать. Для достижения каждой конкретной цели, может быть, придется решить одну или несколько последовательных или одновременно решаемых задач. Конкретные цели рекомендуется нумеровать, например: «цель 1», «цель 2» и т. д.
1. Задачи мониторинга	Для достижения конкретных целей на данном этапе формируются задачи, которые необходимые решить. Задачи связаны с целями и также нумеруются. Например, задачи к цели 1: задача 1.1, задача 1.2 и т. д.; к цели 2: задача 2.1, задача 2.2 и т. д. Задачи следует формулировать четко и определенно, так как на их основе формируется план-программа мониторинга, планируются конкретные мероприятия и необходимые ресурсы
2. Мероприятия	Для решения каждой задачи возможно проведение нескольких мероприятий. Поэтому мероприятия также могут сопровождаться нумерацией и относиться к соответствующим задачам, например: мероприятие 1.1.1, ..., мероприятие 2.1.2, ...
3. Риски	Описываются риски, связанные с факторами внешней среды, которые не являются управляемыми. Такие факторы надо предусматривать и, по возможности, планировать нейтрализацию их негативного влияния
4. Рабочая группа по мониторингу	Руководитель рабочей группы, исполнители. Здесь могут быть сформулированы специальные требования к специалистам рабочей группы; приказом назначаться конкретные исполнители, руководитель; определяться полномочия и ответственность руководителя и членов рабочей группы; выделяться ресурсы и др. Возможно распределение ролей в группе
5. Сроки мониторинга	Дата начала:____; дата окончания:_____
6. Локализация процесса мониторинга	Указывается место проведения мониторинга, условия, ограничения и пр. На этом этапе также возможно определение места проведения мониторинга в зависимости от целей, задач и конкретных мероприятий
7. Статус мониторинга	Первичный (данный вид мониторинга проводится впервые). Коррекционный (данный объект уже подвергался мониторингу и оценке качества, однако на очередном этапе анализа качества повторно выявлено несоответствие, возможно, отличное от предыдущего): этап № 1 (указывается, какой этап коррекционного мониторинга имеет место); этап № 2. Этот раздел методики заполняется при условии, когда мониторинг, анализ качества и улучшение осуществляются в несколько этапов, если достигнутое на предыдущем этапе качество не удовлетворяет требованиям, нормам

Наименование этапа методики Характеристика этапа методики 8. Характеристика предыдущего этапа мониторинга При наличии предыдущего этапа мониторинга в данном разделе приводится его краткая характеристика, имевшие место несоответствия, причины неудовлетворенности 9. Решения, принятые на предыдущем этапе мониторинга Для коррекционного этапа мониторинга приводятся основные результаты предыдущих исследований, принятые корректирующие действия, основные сведения из отчета предыдущего этапа, рекомендации 10. Объект и предмет мониторинга По каждой задаче указываются объект и предмет мониторинга, приводятся их характеристика, особенности. Для коррекционного этапа также сообщаются имеющие место изменения объекта и предмета мониторинга по сравнению с предыдущим этапом 11. Показатели качества (критерии, нормы) Если к моменту проведения мониторинга уже сформированы критерии и нормы качества, то они приводятся в виде описания, правил вычисления или использования, установленных значений норм качества и т. д. 12. Целевые группы Описание особенностей целевых групп — важная часть методики мониторинга, так как является составляющей условий проведения любого эксперимента. При этом указываются конкретные требования к составу, количеству, приводятся профессиональные и социальные и другие ограничения. От правильности исполнения данного раздела методики, равно как и других, зависит чистота эксперимента и адекватность содержательных выводов 13. Методы мониторинга Приводятся конкретные рекомендуемые методы мониторинга, анализа и оценивания качества. Они также могут быть связаны с задачами и мероприятиями: например, по задаче 2.1.1 (или конкретному мероприятию задачи), по задаче 2.1.2 и т. д. 14. Методы сбора, обработки и хранения информации Аналогично п. 12 указываются методы сбора, обработки и хранения информации в целом или по задачам и конкретным мероприятиям. При необходимости задаются требования к базе данных 15. Инструменты мониторинга Инструментами мониторинга могут быть анкеты, опросные листы, специальные таблицы, программные продукты, необходимое оборудование (например, персональный компьютер с указанием технических характеристик, требований к стандартному и/или специализированному программному обеспечению, набору периферийных устройств и пр.). Инструменты могут указываться в целом, по отдельной задаче или конкретному мероприятию 16. Ресурсы мониторинга В разделе должны быть описаны все необходимые ресурсы для достижения поставленных в данной методике целей и решения конкретных задач. Ресурсы также могут относиться к конкретной задаче или мероприятию 17. План-график (календарный план) реализации мониторинга, анализа и оценки качества На основании уже сформированной и заполненной таблицы методики мониторинга составляется план-график реализации процесса мониторинга, анализа и оценки качества с указанием последовательности выполнения задач, мероприятий, установлением временных ограничений. В плане-графике могут быть указаны и необходимые ресурсы. Важно отметить, что все этапы методики мониторинга связаны между собой, и эта связь должна найти отражение в отдельных документах методики. Основные разделы плана-графика: цель (глобальная, частная); задача; мероприятие; сроки исполнения; ресурсы; показатели мониторинга и его результативности, необходимые для демонстрации исполнения и адекватности мониторинга; форматы представления информации; ответственный исполнитель, исполнители; планируемые риски, которые могут помешать исполнению плана-графика; другое 18. Отчет Формируются требования к отчету, его структуре, задается формат и уровень детализации, формы представления информации, рекомендации. Определяется перечень должностных лиц, которым передается информация о результатах мониторинга. В требованиях к отчету должно быть описано, для какой категории персонала подготовлена необходимая информация и какая конкретно 19. Бюджет мониторинга В данном разделе, при необходимости, разрабатывается интегральный бюджет мониторинга, возможно, по отдельным задачам или мероприятиям подавателей по программе «Преподаватель высшей школы». Инвариантность методики делает ее легко адаптируемой под различные потребности образовательных учреждений, подразделений, субъектов, объектов мониторинга. На основе методики мониторинга и оценивания качества планируется разработка программы «Мониторинг и оценивание качества в профессиональном образовании». Обучение по программе позволит специалистам освоить простейшие методы контроля качества, научиться применять их, например, в управлении собственным учебным курсом. Основной ожидаемый результат — вовлечение преподавателей и руководителей разного уровня в процессы управления качеством.