Подход к управлению качеством образовательных программ на основе данных

Опыт обучения студентов в дистанционном и смешанном форматах в период пандемии, формулировка новых подходов и направлений качественной оценки деятельности вузов в рамках программы стратегического академического лидерства «Приоритет 2030», а также недавний выход России из Болонской системы в очередной раз привлекли внимание к проблеме качества высшего образования. Безусловно, для его обеспечения должен функционировать комплекс мероприятий, результатом которого будет являться непрерывный мониторинг и подтверждение образовательных результатов. В ноябре 2021 года был утвержден перечень показателей, определяющих ключевые критерии качества обучения и устанавливающих вектор развития вузов в целом [1]. Несмотря на то, что универсального представления об идеальной модели внутренней оценки и обеспечения качества в сфере высшего образования не существует, каждому вузу сегодня важно разработать и выстроить собственную модель.

Практика российских вузов в контексте управления качеством образования включает в себя реализацию различных подходов. Основные принципы чаще всего декларируются в Политике в области качества или в Положениях о внутренней системе оценки качества. Анализ официальных сайтов ведущих вузов Российской Федерации (далее – РФ) – в частности, , , , https://www. , – выявил, что чаще всего в практике управления качеством образования используются такие мониторинговые индикаторы, как показатели успеваемости и остаточных знаний студентов, процедуры самообследования образовательных программ и отдельных подразделений, оценка кадровых и инфраструктурных ресурсов, опросы по удовлетворенности студентов и преподавателей, международная аккредитация отдельных образовательных программ и внешняя экспертная оценка.

В настоящее время широко распространенной тенденцией становится применение в образовательных организациях подходов независимой оценки качества образования (далее – НОКО) [2]. Данные мероприятия могут быть как внутренними, так и внешними, распространяться как на весь университет в целом, так и на определенный образовательный продукт, иметь качественные и количественные характеристики.

Существенную роль играет также обмен лучшими практиками в области управления качеством образовательного процесса. Второй год успешно реализуется проект Томского государственного университета (ТГУ) «Университетская национальная инициатива качества образования» [3], к которому на данный момент присоединилось уже около 37 ведущих российских вузов. Университет ИТМО, в свою очередь, стал участником данной инициативы в ряду вузов первой волны 2020–2021 года, представив по итогам первого года участия методические рекомендации на тему «Коммуникативное взаимодействие преподавателей, студентов как ресурса повышения качества образования в университете» [4,5]. А также организовал и провел межвузовскую конференцию ITMO. OPEN: Educational Practices [6].

Нередко одной из метрик качества обучения в вузах становится его позиция в том или ином рейтинге (в частности, Times Good University Guide, US News, QS World University Rankings и Shanghay Ranking), однако любые рейтинги имеют ряд ограничений. Во-первых, неоднозначна связь между позицией вуза в международном рейтинге и качеством образования на отдельных образовательных программах. Во-вторых, не всегда корректно оценивать образовательный процесс преимущественно через количественные показатели. В данном случае интерпретация полученных результатов зачастую может потребовать более глубокой аналитики с привлечением обучающихся, преподавателей, сервисных подразделений. В-третьих, сама экспертная оценка является в большей мере субъективным фактором, в связи с этим актуален поиск объективных неинвазивных данных, отражающих качество образования [7].

Кроме того, анализ европейских подходов к оценке качества выявил важность достижения поставленных целей на всех этапах образовательного процесса, в частности: соответствия целей программ институциональной стратегии и наличия строго обозначенных ожидаемых результатов обучения; комплексного развития профессорско-преподавательского состава, прозрачности процедур, регламентирующих образовательный процесс, и процедур оценки качества; а также студентоцентрированности при помощи образовательных, научных, внеучебных возможностей для студентов, активного обучения [8, 9,10].

Подчеркивая особую роль прозрачности процедур оценки качества образования в вузах, можно выделить несколько определяющих компонентов: (1) соответствие образовательного процесса определенным стандартам и требованиям (законы об образовании); (2) удовлетворение запросов и потребностей стейкхолдеров образовательного процесса (социологический подход) [11]; (3) развитие и формирование у обучающихся определенных знаний, умений и навыков, составляющих основу для формирования и развития компетенций, или, в целом, качество образовательных результатов (компетентностный подход). Несмотря на то, что все предлагаемые инструменты оценки хороши, зачастую они применяются вузами разрозненно или односторонне. В то же время эффективное управление качеством образования требует внедрения системы менеджмента как всеохватывающего комплекса мер и оценки.

Все большую популярность набирает подход к управлению образованием на основе данных. В частности, можно отметить появление новых инструментов и методологий работы с образовательными данными. Рост интереса к такому подходу доказывает увеличение количества различного рода изданий по этой тематике [12]. Существенный прирост доступных для управленцев данных обеспечил дистанционный пандемий-ный период. Однако в то же время вскрылись проблемы, связанные с цифровизацией и автоматизацией образовательного процесса, потребовался пересмотр методических и педагогических подходов. В выпуске из серии «Современная аналитика образования», посвященной образовательной аналитике в управлении образовательными организациями и разработке образовательного контента, утверждается, что обеспечить обновление подходов в образовании и предоставить доказательную базу для принятия решений сможет образовательная аналитика и data driven-подход [13]. Более того, в рамках данной идеологии можно строить и проверять гипотезы, оптимизировать процессы, а впоследствии и автоматизировать принятие решений [14].

Цель данной статьи – разработка системного подхода к управлению качеством образования на основании показателей качества реализации образовательных программ (ОП). В первой части статьи рассматривается системный подход к оценке качества образования в Университете ИТМО. Во второй части статьи предложены разработанные в контексте данной системы показатели качества ОП, разделенные на три укрупненные группы: качество условий, качество процесса и качество результата. В заключительной части описан опыт апробации на образовательных программах магистратуры ИТМО и некоторые направления развития моделей оценки качества в целом.

Системный подход к оценке качества образования в ИТМО

Работа над качеством образования призвана решить многие из проблем, с которыми сталкивается руководство университетов и которые не затрагиваются внешними мероприятиями. Среди них:

• –    распределение финансирования между научно-образовательными подразделениями;

• –    принятие решений об открытии/закрытии образовательных программ;

• –    проверка гипотез о привлекательности программ для абитуриентов, востребованности выпускников и тд.;

• –    сбор данных для актуализации образовательных программ и т. д.

В статье предлагается подход, формирующий данные для решения обозначенных выше проблем.

Внутренняя система оценки качества образования в Университете ИТМО формируется с 2016 года. На уровне университета оно определяется через совокупность следующих составляющих: качества условий, качества процесса и качества результата. Поскольку оценка качества результата обуславливает изменение качества условий и качества процесса, а оценка качества процесса обуславливает развитие качества условий и влияет на качество результатов, следовательно, качество одного компонента закономерно влияет на качество других. Мониторинговые мероприятия на всех этапах данного взаимно обратимого процесса способствуют повышению качества системы образования в вузе.

Стратегической целью Университета ИТМО становится разработка, формирование и внедрение постоянно действующей и динамичной системы не столько оценки качества образования, сколько управления качеством, формирования культуры качества у всех участников образовательного процесса, то есть формирование стандарта качества образования Университета ИТМО. Для реализации данной цели была разработана и внедрена система, представленная на рис. 1.

При разработке системы качества университета ИТМО мы опирались на два принципа – скорость изменений и прозрачность процессов и процедур. Для их внедрения мы используем продуктовый подход, то есть рассматриваем все сущности как образовательные продукты. Преимущества такого подхода – быстрая проверка гипотез и быстрый запуск минимально рабочего

КАЧЕСТВО ОБРАЗОВАНИЯ

• •    СМК - система менеджемента качества

• •    МА - международная аккредитация

• •    ПОА - профессиональнообщественная аккредитация

• •    ГА - государственная аккредитация

Рис. 1. Система качества образования в Университете ИТМО

Fig. 1. Education Quality System at ITMO University продукта, закрытие задач и потребностей целевой аудитории, а также ее сопровождение на всех этапах жизненного цикла продукта.

Система реализуется на нескольких уровнях: университета, факультета, образовательной программы, дисциплины и занятия. В ИТМО под основной единицей качества образования понимается образовательная программа. Важно отметить, что модель оценки качества отражает жизненный цикл ОП (разработка, продвижение, реализация, оценка, модернизация).

Для более объективной оценки качества ОП в ИТМО разработаны и применяются как количественные, так и качественные показатели. Качественные исследования в контексте реализации ОП, модулей, дисциплин, факультативов опираются на контекстный анализ открытых комментариев обучающихся при проведении опросов, обращений обучающихся, интервью в фо-кус-группах, посещения занятий (peer-review), самооценку (self-review), а также описательную статистику ОП (списочные данные по полу, возрасту, предыдущему образованию обучающихся и т.д). Цель качественных исследований – углубленная оценка, интерпретация количественных данных и показателей.

Вместе с тем, все показатели из укрупненных групп распределены по трем уровням относительно типа исходных данных для их расчета, анализа и интерпретации. Показатели 1-го уровня представляют собой ключевые индикаторы качества реализации ОП на основе статистических данных, позволяют сформировать рейтинг и отражают качество менеджмента. Показатели 2-го уровня представляют собой расширенную оценку качества реализации ОП и отражают стратегию развития университета в части образования (например, привлечение молодых ученых и преподавателей). Качественная или описательная статистика ОП отражается в показателях 3-го уровня, которые нацелены на раскрытие и углубленный анализ первых двух уровней.

Далее рассмотрим подробнее сами показатели. Они делятся на три укрупненные группы [15]:

• 1.    «Качество условий» . Показатели позволяют сделать выводы о сформированных условиях для реализации ОП на уровне университета и подразделения-реализатора, дать расширенную оценку эффективности приемной кампании, кадровым и образовательным ресурсам.

• 2.    «Качество процесса» . Показатели позволяют дать расширенную оценку качеству процесса реализации образовательной программы и текущему освоению необходимых компетенций обучающимися, оперативно реагировать на выявленные несоответствия и формулировать для руководителей ОП и факультетов-реализаторов корректирующие действия раньше, чем обучающиеся выпустятся. Показатели ориентированы также и на общеуниверситетские критерии эффективности в рамках стратегической программы Приоритет-2030 [16] – например, на долю иностранных граждан и лиц без гражданства, обучающихся по программам магистратуры, программам подготовки научно-педагогических кадров в аспирантуре, программам ординатуры,

• 3.    «Качество результата» . Показатели позволяют сделать итоговые выводы о качестве реализации образовательного процесса на уровне программы и успешности студентов и выпускников.

программам ассистентуры-стажировки по очной форме обучения.

Показатели качества ОП могут являться не только мониторинговым инструментом реализации программ, но и исходными данными для формирования рейтинга на уровне всего университета. Так, в Университете ИТМО в 2021 году рейтинговая модель оценки качества ОП прошла апробацию на программах магистратуры 2019 и 2020 годов приема. В частности, было рассчитано 29 показателей, а также построен общий рейтинг.

Методика построения рейтинга ОП заключалась в том, что значения каждого показателя были отсортированы по возрастанию (минимальное значение – 1 балл, дальнейшие рассчитывались с шагом в 1 балл). Если программы имели одинаковые значения показателей, им присваивались одни и те же баллы. Затем баллы по каждому показателю были просуммированы, ОП с максимальным количеством баллов заняла первое место, с минимальным – последнее. Таким образом был составлен общий рейтинг ОП. Существенным фактором стало и то, что при подсчете баллов не использовались веса (коэффициенты), все показатели брались как равнозначные. В ближайшей перспективе использование весов является приоритетной задачей, позволяющей сделать ставку на развитие тех ОП, которые отвечают задачам развития университета.

По итогам рейтингования ОП университета проводились встречи с руководителями программ и деканами факультетов для обсуждения разработанной модели. В ходе встреч от участников была собрана обратная связь. Основные предложения представителей образовательных подразделений университета были связаны с укрупнением групп показателей и пересмотром уровней нескольких из них на предмет попадания и непопадания в рейтинг. В итоге модель оценки качества образования в ИТМО на основе показателей ОП была одобрена и сегодня успешно реализуется в мероприятиях мониторинга и управления.

Однако стоит отметить, что наиболее дискуссионным остается вопрос о принципах рейтингования ОП. Существует как минимум два возможных подхода к построению рейтинга: (1) общий – в него входят все образовательные программы, – и (2) рейтинг по признаку: например, международных образовательных программ или программ научного трека. Одним из результатов применения рейтингования ОП по признаку в ИТМО стали рекомендации руководителям о перспективах получения их ОП статуса международной образовательной программы (далее – МОП).

Отдельно взятые показатели оценки качества, итоговый рейтинг – все это используется не только для оценки как таковой, но и для управления на основе данных. Данные для управления образовательной программой требуются на всех этапах ее жизненного цикла. Таким образом, с использованием рассчитанных показателей принимаются решения о продолжении реализации ОП, выявляются лучшие практики управления и реализации, выявляются болевые точки, выстраивается диалог между руководителями и сервисными службами. Подробная схема приведена в табл. 1.

Кроме того, полученные данные можно взять в основу проведения внутренних аудитов образовательных программ и научно-образовательных подразделений, а также использовать как механизм самообследования университета, в котором соотносятся глобальные задачи развития вуза и текущая ситуация с портфелем ОП.

Важно отметить, что для расчета показателей используются не только вторичные данные (к примеру, о кадровом составе),

Управление качеством ОП на основе данных

Таблица 1

Data‑based quality management of educational programs

Table 1

Вид оценки	Качество условий	Качество процесса	Качество результата	Характер оценки
Измерения	Аудит процессов. Фиксация несоответствия целям ОП			Текущие измерения
Анализ	Тенденции улучшений/ухудшений Анализ причин и следствий Проблемы менеджмента Проблемы в реализации Низкие результаты			Сравнение Диагностика

но и первичные – результаты опросов студентов (оценка занятий, преподавания, дисциплин), посещений занятий преподавателей, обращения обучающихся. Первичные данные используются не только на уровне показателей ОП, но и для настройки процессов, связанных с преподавательским составом: выбор лучших преподавателей, персональные рекомендации по развитию компетенций преподавателей, учет в конкурсе ППС.

Анализ подхода к управлению качеством ОП на основе данных в ИТМО показал несколько важных преимуществ:

• 1)    Использование данных из разных источников обеспечивает полноту понимания процессов.

• 2)    Данные на всех уровнях образовательного процесса. В показателях качества ОП агрегируется информация как с уровней ниже (занятия, дисциплины), так и зависимые от факультета и университета факторы (к примеру, кадровый состав и инфраструктура). Как следствие, данные влияют на формирование портфеля мегафакультета и университета в целом.

• 3)    Данные влияют на принятие решений. Помимо приведенных ранее примеров, информация применяется при расчете нагрузки (важную роль играет показатель «Сохранение КЦП»), а также при назначении повышающего коэффициента нагрузки для международных образовательных программ.

• 4)    Данные – для образовательного сопровождения, а не для наказания. В первую очередь, показатели используются для развития того или иного образовательного продукта, а не для его завершения.

Одной из стратегических задач в области качества образования является автоматизация принятия решений – создание протоколов актуализации образовательных продуктов. Выделенные преимущества подхода к управлению качеством ОП на основе данных позволят достичь поставленной задачи с минимальными временными и человеческими трудозатратами.

Заключение

Пилотный расчет показателей, обсуждение их с заинтересованными сторонами, рейтингование ОП доказали жизнеспособность и эффективность многофакторного подхода к оценке качества образовательных программ. Таким образом, можно выделить несколько направлений развития модели управления качеством ОП на основе данных:

• 1.    Цифровизация. Помимо очевидных преимуществ автоматизации расчета показателей,

• 2.    Расширение источников данных. Использование всех показателей затрудняет тот факт, что объективные данные для их расчета получить проблематично. Поэтому организация работы по занесению данных в информационную систему требует отдельного ресурса.

• 3.    Использование рассчитанных показателей для задач учебной аналитики. Для настройки продуктивной работы команды ОП с показателями необходимо применить математический аппарат (исследовать гипотезы), проанализировать значения показателей в совокупности с другими данными учебной аналитики, провести интеллектуальный анализ данных.

• 4.    Открытость. Любая обратная связь работает, если доходит до тех стейкхолдеров, которые могут повлиять на процесс, поэтому важно делать собираемые данные открытыми и понятными для руководителей ОП, преподавателей, сервисных служб, а также предоставить доступ студентам и абитуриентам как основной целевой аудитории ОП.

• 5.    Построение рекомендательной системы, которая будет работать автономно и не зависеть от сотрудников университета. Основной задачей системы будет не сколько описание текущей ситуации, а построение алгоритмов действий для достижения ОП оптимального качества.

таких, как минимизация человеческого фактора и ошибок, а также скорости получения результатов, есть и ряд не таких очевидных. Например, возможность получить значения показателей на любую дату, что позволит иметь больше данных, тестировать больше гипотез и настраивать уровни доступа к результатам оценки ОП для различных заинтересованных сторон.

Качество ОП в целом, как и любого образовательного продукта в частности, – сложное понятие, имеющее множество трактовок. Следовательно, поиск оптимального подхода может занять достаточно времени и ресурсов. К тому же, стоит принять во внимание, что любая модель оценки качества образования требует персональной настройки под особенности образовательной организации. В Университете ИТМО разработана и применяется модель системы качества, согласно которой качество образовательной программы – это совокупность показателей, отражающих качество условий, качество процесса и качество результата.

Мы не останавливаемся на достигнутом: в быстро меняющихся условиях важно сохранять гибкий подход к оценке качества. На конкретный набор показателей влияют как внутренние, так и внешние факторы, поэтому список индикаторов остается открытым, постоянно видоизменяется и дополняется с учетом того, как развивается сам университет.