Модель квалиметрического мониторинга качества подготовки магистрантов по специальной биоинженерной программе в федеральном университете

В последние годы в экономике страны отмечается принципиально новая концепция структурных преобразований в сфере промышленного производства, обусловленная как техническим перевооружением, так и внедрением в практическую деятельность новейших наукоемких инновационных технологий. Все это привело к трансформации производственных отношений и определило неизбежную потребность в целевой подготовке квалифицированных кадров, способных разрабатывать и осваивать востребованную высокотехнологичную продукцию на основе последних достижений науки и техники. В результате, как было сказано в работе Б.Н. Гузанова [3], возникла принципиальная необходимость определенных организационных преобразований в системе высшего инженерного образования за счет создания специально разработанных трансдисциплинарных обучающих программ, способствующих эффективной интеграции прикладных научных исследований в практику профессиональной подготовки студентов. Особая роль в решении подобных задач в соответствии с государственной программой «Развития образования» принадлежит федеральным университетам, в которых подготовка специалистов инженерно-технического профиля является первоочередным приоритетом и предполагает переформатирование или разработку новых образовательных программ, особенно на второй ступени высшего уровневого образования, в частности, в магистратуре. И здесь необходимо учитывать, что профильно-специализированные программы магистратуры требуют особого внимания к качеству образования, так как они должны обеспечивать подготовку выпускников к деятельности в условиях интеграции новых высокотехнологичных производств и технологий с фундаментальными науками в соответствии с вызовами современной индустрии.

Целью данного исследования является разработка модели внутренней системы оценки качества трансдисциплинарной образовательной программы в федеральном университете на основе квалиметрического подхода.

Система мониторинга качества образования на каждом уровне при наличии обратной связи позволяет своевременно корректировать образовательные программы и весь учебный процесс. Мониторинг носит междисциплинарный и системный характер, позволяя оценить показатели эффективности функционирования образовательной си

стемы. Динамика становления и подходы к организации учебно-познавательной деятельности на основе методов контроля педагогической квалиметрии отражены в работах зарубежных исследователей, где рассматривается аксиоматика и принципы оценивания качества различных педагогических объектов, формы и модели данной технологии, а также ее применение в условиях высшей школы. Особое внимание уделяется анализу эффективности педагогической квалиметрии в оценке индивидуальных достижений учащихся с помощью метрик, основанных на данных об успеваемости студентов [14–16].

Проблематика комплексного количественного оценивания качества образования с использованием различных подходов на основе принципов педагогической ква-лиметрии нашла отражение в работах отечественных ученых-педагогов Г.Г. Азгаль-дова, Э.П. Райхмана, Н.А. Селезневой, А.И. Субетто, B.C. Черепанова, Ю.А. Шихова, О.Ф. Шиховой и др. [1; 8; 9; 11; 13]. В своих исследованиях авторы уделяют большое внимание разработке систем мониторинга, созданных на квалиметрической основе, включающих методически корректные инструментарии, позволяющие получать объективную, качественно и количественно сравнимую информацию об уровне подготовки обучающихся. Актуальность применения универсальных методик педагогической ква-лиметрии обусловлена тем, что мониторинговые системы в российском образовании трудно свести к одной универсальной вследствие многообразия целей и задач, стоящих перед ними.

Важнейшими компонентами педагогической квалиметрии являются методы математической статистики, оценочные шкалы, тестирование, метод групповых экспертных оценок [2; 6]. По мнению О.Ф. Шиховой и Ю.А. Шихова, метод групповых экспертных оценок является наиболее перспективным, объективным и стандартизованным, позволяет обрабатывать значительные массивы информации, в том числе слабоформализо-ванной и нечисловой, характерной для педагогических исследований [13].

Концептуальная модель квалиметрического мониторинга, по мнению В.С. Черепанова, Ю.А. Шихова [12], состоит из трех этапов применительно к проведению диагностики знаний и умений обучающихся на разных уровнях обучения. На подготовительном определяются цели педагогического контроля, учет требований нормативной документации, требований к уровню компетенций выпускников. Основной этап предполагает выбор модели уровня обученности, определение контрольно-оценочных материалов. На заключительном этапе проводится экспертиза выбранных контрольных материалов в соответствии с критериями качества, принятие решения об их пригодности.

В нашей работе на основе контент-анализа опубликованных результатов исследований проанализированы возможности применения классических квалиметрических моделей к проведению мониторинга оценки качества всей образовательной программы и на этой основе предложены динамические модели для оценки эффективности учебных программ и разработки стратегий повышения качества обучения с учетом потребностей студентов и требований рынка труда. При этом мониторинг должен удовлетворять требованиям диагностичности, нацеленности на проблему и технологичность, что предполагает наличие критериев и универсальной модели. Сравнение текущего состояния результатов образования с такой моделью позволяет выделить проблемные моменты для последующего их устранения с наименьшими затратами времени и усилий [3].

Педагогическая квалиметрия представляет собой комплексное понятие, включающее многостороннюю деятельность вуза, в результате которой удовлетворяются потребности участников процесса [7]. В связи с этим возникает необходимость вовлечения в процесс мониторинга качества всех субъектов образовательной деятельности, что приводит к рассмотрению квалиметрического оценивания как согласованной деятельности субъектов образования, нацеленной на обеспечение требуемого уровня сформи-рованности знаний, умений и компетенций.

В статье представлена модель, построенная на примере магистерской программы 12.04.04 «Биотехнические системы и технологии», реализуемой на кафедре экспериментальной физики физико-технологического института Уральского федерального университета имени первого Президента России Б.Н. Ельцина. Анализ работ по педагогической квалиметрии выявил, что чаще всего в основу проектирования программ положен итеративный цикл Шухарта–Деминга, получивший название PDCA (Plan-Do-Check-Act). Когда завершается четвертый этап, начинается первый, но уже на более высоком уровне качества [5].

Для разработки модели нами был выбран более усовершенствованный пятиступенчатый вариант этого итерационного цикла – OPDCA (Observe, Plan, Do, Check, Act), в котором отдельное внимание уделяется наблюдению за текущим состоянием, предшествующим планированию изменений, что позволяет получить более полное представление о ситуации. Разработанная программа отражает научно-производственные интересы региона и подразумевает постоянный анализ рынка предприятий заинтересованных заказчиков с учетом исторических особенностей научных школ университета.

На первом этапе цикла «Наблюдение» производится сбор информации о внешних параметрах, обеспечивающих эффективный запуск (новый цикл) образовательной программы. Оцениваются такие условия, как реализация программы на базе крупного федерального вуза страны, который обладает исключительным правом по созданию самостоятельно установленных образовательных стандартов СУОС, профилизация университета с учетом его материально-технической оснащенности и сотрудничества с ключевыми работодателями региона со стороны бизнеса и производства, а также с институтами Российской академии наук. Если образовательная программа уже реализовывалась ранее, то на этапе наблюдения ежегодно проводится анализ ее текущего состояния на уровне университета и запроса внешних заинтересованных сторон: анализ существующих учебных планов, методик преподавания, ресурсов и результатов обучения, выявление проблемных зон и областей для улучшения, корректировка целей и задач реализации программы. Данный этап служит целеполагающим звеном для разработки, а впоследствии для периодического усовершенствования программы.

Второй этап «Планирование» предполагает разработку плана действий для достижения целей и задач, определенных на этапе наблюдения. Определяется, какие кадровые, финансовые и материально-технические ресурсы необходимы для реализации программы. Производится экспертная оценка соответствия программы лучшим отечественным и мировым образовательным практикам, достижениям в области науки, запросам экономики региона, нормативным актам. Разрабатываются требования к абитуриентам, устанавливаются проходные баллы на программу. Наконец, разрабатывается стратегия мониторинга и оценки эффективности программы. Данный этап характеризуется первой группой показателей качества. Данные показатели отражают соблюдение условий, необходимых для реализации программы. Ответственность за их выполнение несет вуз.

На этапе «Действие» происходит непосредственно реализация образовательной программы, начиная с конкурсного отбора абитуриентов и до выпуска студентов. Продолжается контроль за достаточной нормативной, кадровой, материально-технической и учебно-методической обеспеченностью образовательного процесса уже с точки зрения целевых потребностей текущего набора студентов под реализацию проектных и выпускных квалификационных работ. На первый план с точки зрения мониторинга на данном этапе выходят текущий контроль результатов освоения студентами образовательной программы при проведении промежуточной аттестации. Данный этап переходит в итоговый контроль качества образовательной программы. Он включает оценку освоения студентами образовательной программы по результатам итоговой аттестации и защиты выпускных квалификационных работ, оценку уровня сформированности профес-

• 3.1.    Итоговые результаты освоения программы успеваемости обучающихся (средний балл диплома)*

• 3.2.    Оценка сформированное™ профессиональных компетенціш*

• 3.3.    Оценка сформированности универсальных компетенціш*

• 3.4.    Оценка сформированности общепрофессиональных компетенций*

  --------------------------------------------------------------------------------------------------------с

• 3.5.    Трудоустройство по специальности

• 3.6.    Удовлетворенность работодателей качеством подготовки студентов

• 3.7.    Удовлетворенность студентов качеством обучения при реализации ВКР на базе других организаций

• 3.8.    Внедрение студенческих проектов на реальном производстве

>----------------------------------------------------------------<

>--------------------------------------------------------------------------------------<

5--------------------------------------------------------------------------------------<

Итоги реализации программы 5-7 баллов.

Рис. 1. Показатели качества образовательной программы сиональных компетенций, оценку образовательной программы с позиций эффективности и результативности.

Этап «Улучшение» предусматривает обратную связь «изнутри» (со стороны реализующей программу кафедры), по итогам которой может осуществляться пересмотр дисциплин, практик и заданий курсовых проектов образовательной программы, согласно запросам магистрантов текущего набора, пересмотр требований к поступающим на программу и обновление банка вопросов вступительных испытаний. Применительно к вопросам оценки качества подготовки студентов рассматривается таксономическая иерархия, при которой в соответствие каждому уровню развитости компонентов ставится балльная шкала с учетом качества усвоения каждого компонента [10]. Каждый следующий уровень включает компоненты предыдущего уровня и новые знания, умения, при этом прослеживается нарастание развитости профессиональной компетенции, что отражается в повышении баллов от уровня к уровню.

Показатели качества можно обобщить по трем группам. Первая характеризует выполнение условий для реализации (открытия) программы, которые предъявляет вуз. Данный уровень является пороговым для формальной возможности открытия программы, поэтому показатели на этом уровне оцениваются по двухбалльной шкале, где 0 – показатель не выполнен, программа не может существовать по формальным критериям, 1 – показатель выполнен. Вторая группа показателей отвечает за текущую реализацию образовательной программы, обеспечиваемую на уровне института и кафедры. Критерии, расположенные на этом уровне, не являются формально обязательными, но от успешности их выполнения зависит жизнеспособность образовательной программы в течение более чем одного итерационного цикла. Следующим уровнем иерархии в логике функционирования образовательной программы являются показатели качества подготовки выпускников, на этом уровне также оценивается обратная связь по степени удовлетворенности компетенциями специалистов от внешних заинтересованных сторон: работодателей и институтов РАН. Каждый из показателей второго и третьего уровня можно оценить в классической системе:

• •    не выполнен – «0»;

• •    выполнен удовлетворительно (40–59%) – «3»;

• •    выполнен хорошо (60–79%) – «4»;

• •    выполнен в полном объеме (80% и более) – «5».

Каждой из оценок «3» – «5» ставятся в соответствие баллы с учетом иерархии уровня: для второго уровня 2–4, для третьего 5–7. Отметим, что среди показателей этих двух уровней так же есть пороговые показатели, выполнение которых хотя бы на «удовлетворительном» уровне является обязательным в ходе реализации программы. Эти показатели отмечены на рисунке 1 знаком «*» (рис. 1 на стр. 75).

Система мониторинга в соответствии с представленной моделью позволяет вывести итоговый показатель качества по формуле:

к = 1 Е^пы + щил + ^пзл

N т       4п      7р

N – число уровней (групп показателей качества);

i – номер показателя качества на данном уровне;

• m, n, p – количество показателей качества на данном уровне;

П1.i, П2.i, П3.i – количество баллов, полученных за каждый показатель на соответствующем уровне (оценки 3, 4, 5, выставленные за показатель, переводятся в баллы для этого уровня, либо за него выставляется 0, если показатель не выполнен).

Таким образом, фактическая сумма баллов показателей соответствующего уровня представляет числитель каждой дроби, а максимально возможная сумма баллов – ее знаменатель.

Также для оценки качества образовательных программ могут использоваться и другие показатели, например, конкурентоспособность и востребованность программы, качество образовательного процесса и его результат.

Коэффициент качества жизнеспособной хотя бы в течение одного набора программы лежит в интервале 0,47 ≤ K ≤ 1, где 0,47 включает в себя выполненные по пункту 1 формальные критерии открытия образовательной программы, а также выполнение обязательных критериев по пунктам 2.8, 3.1–3.4, остальные критерии не выполнены. Граница между низким и средним уровнями оценивалась следующим образом: по всем обязательным критериям выставлены оценки «хорошо», по оставшимся – половина из необязательных критериев каждого из уровней не выполнена, другая половина выполнена удовлетворительно. Для перехода между уровнями «хорошо» и «отлично»: по всем обязательным критериям выставлены оценки «отлично», по оставшимся – половина из необязательных критериев каждого из уровней выполнена удовлетворительно, другая половина выполнена хорошо. Показатель качества характеризует образовательную программу следующим образом:

• •    0,47 ≤ K < 0,64 – низкий – образовательная программа соответствует формальным требованиям, не может существовать без изменений более одного цикла;

• •    0,64 ≤ K < 0,85 – средний – образовательная программа частично соответствует требованиям, необходимы корректировки для повышения качества;

• •    К ≥ 0,85 – высокий – образовательная программа соответствует требованиям.

Оценка качества образовательной программы осуществляется по нижеприведенному алгоритму, представленному на рисунке 2 (рис. 2).

Рис. 2. а) лепестковая диаграмма показателей качества образовательной программы; б) алгоритм непрерывного мониторинга

• 1.    Программа оценивается по каждому из критериев модели, рассчитывается комплексный показатель качества программы. Оценивание удобно представить графически в формате лепестковых диаграмм. Отсутствие лепестков на диаграмме означает, что этот критерий на данном уровне либо отсутствует, либо не выполнен и потому оценен 0 баллов. В качестве примера на лепестковой диаграмме рисунка 2а приведены пороговые уровни «низкого», «среднего» и «высокого» качества программы.

• 2.    Подобный вид построения позволяет выделить проблемные места, которые подвергаются дальнейшему анализу. Предлагается использовать для этой цели корреляционный метод как инструмент, позволяющий численно отследить силу и направление корреляционной связи между двумя признаками, в качестве которых могут выступать результаты вступительных испытаний, результаты освоения текущих дисциплин программы, уровни сформированности профессиональных компетенций в рамках траекторий, выбранных студентом.

• 3.    Финальный этап представляет собой обратную связь по результатам анализа качества программы, в ходе которой принимаются меры по корректировке компонентов программы, таких как программы вступительных испытаний, методики преподавания и уровень дисциплин реализуемой программы.

Коэффициент ранговой корреляции Спирмена рассчитывается исходя из разности рангов попарно сравниваемых признаков по формуле:

– ранги баллов i-го студента по сравниваемым признакам.

Важно отметить, что коэффициент не характеризует причинно-следственные связи, но выявленная статистически значимая корреляция между любыми темами и дисциплинами, разнесенными во времени, позволяет выявить более точно возможные причины снижения качества обучения.

Таким образом, педагогическая квалиметрия представляет собой инновационный подход к оценке качества образования, основанный на строго научных методах и статистических анализах. Педагогическая квалиметрия позволяет выявлять сильные и слабые стороны образовательной программы, определять пути ее усовершенствования и повышения качества подготовки магистров по инженерной специальности. Результаты анализа, полученные с помощью педагогической квалиметрии, позволяют принимать обоснованные решения и разрабатывать стратегии развития образовательных программ, направленные на повышение их эффективности и конкурентоспособности на рынке труда.

В результате исследования выявлено, что разработанная модель мониторинга качества образования по новой биоинженерной программе позволяет достаточно точно измерять уровень приобретенных компетенций, а также эффективность используемых для этих целей инновационных учебных форм, методов и средств инженерной подготовки.