Формирование списка контролируемых показателей деятельности кафедры на основе векторных оценок

Концепции модернизации российского образования на период до 2010 г. указывается, что главная задача российской образовательной политики — обеспечение высокого качества образования. Решение поставленной задачи возможно только при соответствии качества работы вузов предъявляемым в Концепции высоким требованиям.

В стране сложилась достаточно устойчивая система оценивания качества деятельности вуза, однако общепринятой системы мониторинга и оценки деятельности внутри вуза с четкими критериями не существует. Можно выделить два крайних подхода к организации внутреннего контроля деятельности:

• —    контролировать как можно большее число показателей деятельности;

• —    контролировать только те показатели, которые носят статус аккредитационных.

Список показателей деятельности факультетов и кафедр, которые могут быть проконтролированы, достаточно велик и включает более 350 единиц, описывающих условия осуществления образовательной деятельности, реализацию процессов и результаты [2, 3]. Поэтому вузы, как правило, осуществляют контроль деятельности подразделений по некоторой усредненной схеме. Вопрос, который решается при ее построении, — сколько и какие показатели будут контролироваться. От ответа на него зависит сложность системы мониторинга, обеспечение адекватности процессов контроля и управления. Выбор должен производиться из полного списка задач, решаемых подразделением.

Рассмотрим решение на примере списка контролируемых параметров деятельности кафедры.

Обобщенная модель деятельности кафедры

Деятельность кафедры — совокупность всех видов работ по реализации образовательного процесса. Условно деятельность кафедры можно разделить на учебную и внеучебную профессиональную. Учебная деятельность кафедры заключается в осуществлении преподавания общих и специальных курсов, организации самостоятельной работы студентов, руководстве курсовыми и выпускными квалификационными работами и практиками. Под внеучебной профессиональной деятельностью кафедры вуза понимается совокупность всех видов деятельности кафедры, обеспечивающих образовательный процесс

Деятельность кафедры (D) в целом будем рассматривать как множество различных видов работ D, выполняемых преподавателями кафедры, г = 1, 2, ..., п: n

D = U D i .

i = 1

При этом каждый вид работы D . определим как совокупность различных решаемых задач d, j = 1, 2, .., т: m

D=и j j=1

Поскольку некоторые задачи могут являться общими для различных видов работ, то деятельность кафедры в целом можно представить как D = U d j — множество решаемых задач мощностью меньше или равно п х т.

К результативному решению R конкретной j-й задачи заданного г-го вида работ приводит некоторая последовательность событий, выполняемых кафедрой или ее сотрудниками:

а_р а₂, ... a_s ^ Rij,

Совокупность событий а₁, а₂, ..., a_s, приводящих к ожидаемому результативному решению, есть прецедент:

P . = А . = {а₁, а₂,

^а s ^,

}.

В зависимости от результатов исхода различных событий могут изменяться условия M., определяющие факт наступления последующего h-го события j-го прецедента. Это приводит к изменению последовательности событий и появлению дополнительных последовательностей прецедента.

Каждому событию можно поставить в соответствие несколько атрибутов, характеризующих время наступления, исполнителя, суть действия (оно может выполняться и в других прецеден тах) и т. п. Все возможные события могут группироваться по признакам: условия решения задач; предшественники и последователи событий; прецеденты; виды деятельности. Для отображения этой модели предпочтительней использовать совокупность семантических сетей, описывающих возможные действия и условия их выполнения.

Столь подробное описание необходимо для контроля качества деятельности на кафедральном уровне. Для организации внутривузовско-го мониторинга деятельности кафедры достаточно остановиться на уровне множества решаемых задач.

Модель оценивания деятельности кафедры

Для оценки деятельности кафедры будем использовать объединение моделей оценки по результатам деятельности и оценки внутрисистемных показателей.

Модель оценки по результатам деятельности представляет собой систему оценки полученных результатов, характеризуемую выбором целеорен-тированных параметров и степенью достижения поставленных целей. Модель оценки внутрисистемных показателей — это система оценки с приоритетным выбором ценностно-ориентированных показателей, которые характеризуют внешнюю по отношению к объекту оценки среду. Объединение этих двух моделей позволяет производить контроль процессов и их результатов.

Процедура оценивания деятельности кафедры основывается на процессуальной цикличной модели, в которой предполагаются субъект-субъектные трехсторонние отношения, прямые и обратные информационные потоки, система оценивания по завершении каждого цикла. Оценка деятельности при подобной процедуре — сравнение аналогичных объектов.

Анализ задач, решаемых кафедрой

Для оптимизации количества контролируемых параметров, входящих в модель оценки качества деятельности, на основе экспертных оценок разбиваем все множество решаемых кафедрой задач на подмножества (контролируемые в обязательном порядке, рекомендуемые для контроля, неконтролируемые). Для этого задачи, решаемые кафедрой, оцениваются по трем показателям (табл. 1):

• —    уровню приоритетности R = 1...5, где 1 балл — ординарная текущая задача, 2 — кафед-

• Таблица 1

Решаемые кафедрой задачи	R	С	н
D Y : методическое обеспечение учебного процесса
D: участие в работе учебно-методической комиссии факультета	4	4	4
D 12 : оснащение дисциплин учебно-методическими комплексами	5	5	1
D 13 : разработка новых для кафедры курсов	3	5	2
D 1 издание учебников, учебных пособий, методических рекомендаций	5	5	1
D : получение грифа УМО -Л	3	2	1
D2 : технологизация учебного процесса D : сертификация занятий на основе современных информационных
технологий и активных технологий обучения	5	5	1
D 22. сертификация системы контроля в учебном курсе	5	4	1
D : сертификация цифровых образовательных ресурсов 2-3	2	3	1
D3 : дополнительное образование
D • проведение курсов повышения квалификации для специалистов	5	2	2
D 32 : реализация дисциплин вузовских комплексов СПО — ВПО,
школа — ВПО, школа — СПО — ВПО	5	4	2
D4 : научно-исследовательские публикации
D 41 : издание монографии	5	5	1
D: издание статей в центральной печати (рецензируемые журналы,
периодические издания ВАК)	3	5	1
D 5 : организация научно-исследовательской работы студен D ' проведение научных семинаров с аспирантами и студентами	тов 3	4	4
D 52: организация работы научных проблемных групп студентов, студенческих
проектных (конструкторских) бюро, лабораторий и т. п.	4	4	5
D 53' : проведение олимпиад (конкурсов) для студентов и школьников	5	5	2
D 6 : проведение научных исследований
D 61 : выполнением программ различного уровня	5	5	2
D 62: выполнение х/д НИОКР	2	4	2
D 6 з реализация исследований по грантам	3	5	2
D ? : научные мероприятия
D : выпуск научного сборника статей (материалов)	2	4	1
D ^ организация работы научного межкафедрального (межвузовского) семинара	3	5	4
D ? з проведение научных мероприятий	5	5	1
D ■ организация работы кафедрального семинара -	2	4	4
Dg : профессиональное воспитание
D 81: организация и проведение студенческих тематических конференций, спартакиад	4	4	2
D S2' : организация работы творческих объединений по предмету
профессиональной направленности (секции, творческие коллективы)	3	5	5
D ^ чтение дополнительных и выбранных студентами спецкурсов, спецсеминаров и т. п., имеющих воспитательную, гуманистическую
и личностно развивающую направленность	4	5	3
Dg : повышение квалификации преподавательского соста1 D • повышение звания, должности, ученой степени сотрудников	з а 5	2	1
D : повышение квалификации, внешние стажировки „-^	3	4	2
D10 : построение системы менеджмента качества
D 10 1 повышение квалификации преподавателей в области качества	5	2	2
D •. разработка документации СМК кафедры	5	2	1
D 10 з выполнение запланированного объема работ	5	4	2

Оценка задач внеучебной профессиональной деятельности кафедры, баллы

ральный приоритет, 3 — приоритет специальности, 4 — факультетский приоритет, 5 — вузовский приоритет;

• —    степени соответствия целям поддержки образовательного и научно-исследовательского процессов С = 1...5, где 5 баллов соответствует самой высокой степени влияния на результат учебной или научной работы;

• —    частотности возникновения N = 1...5, где 1 балл — один раз при разработке материала, 2 — один раз в год, 3 — один раз в семестр, 4 — один раз в месяц, 5 — более одного раза в месяц.

Оценка показателей производится экспертами. Уровень приоритетности можно корректировать ежегодно, исходя из конкретной ситуации. Для определения значений степени соответствия целям и частотности достаточно произвести разовый опрос, поскольку во всех вузах это устоявшиеся параметры.

Проверка корреляционной связи между уровнем приоритетности R, степенью соответствия цели С и частотностью возникновения задачи N показывает слабую зависимость (табл. 2). Значимость корреляции на уровне 0,05.

Таблица 2

	R	С	N
R	1	-0,052	-0,304
С	-0,052	1	0,171
N	-0,304	0,171	1

Разделение на подмноженства (см. рис.) осуществляется по правилу:

• 1)    R > 3 — очень важные, R = 3 — важные, R < 3 — неважные задачи;

• 2)    С > 3 — сильно влияют, С=3 — влияют, С < 3 — не влияют на результат;

• 3)    N > 3 — регулярные, N = 3 — редкие, N < 3 — разовые задачи.

В рассмотренном перечне задач внеучебной деятельности кафедры можно выделить следующие крупные подмножества, относящиеся к очень важным:

• 1)    сильно влияющие на результат разовые задачи (R > 3, С > 3, N< 3);

• 2)    сильно влияющие на результат регулярные задачи (R > 3, С > 3, N > 3).

Задачи, попавшие в области (R > 3) и (R = 3, С > 3), должны быть включены в число рейтинговых показателей. Задачи, отнесенные в подмножества неважных, слабо влияющих на результат, регулярных и редких работ (R < 3, С < 3), могут быть исключены из списка контролируемых параметров при оценке деятельности кафедры. Выполнение оставшихся задач проверяется по решению контролирующего.

Таким образом, в рассмотренном списке обязательными для контроля являются восемнадцать задач, рекомендуемыми для контроля — восемь, могут быть исключены из списка пять задач.

Разделение задач, решаемых кафедрой, на подмножества

Определение весовых коэффициентов в рейтинге

Наиболее популярной формой представления результатов мониторинга деятельности является балльно-рейтинговая оценка.

Для формирования системы весовых коэффициентов показателей рейтинга используются экспертные оценки, рассмотренные выше. При этом формируется трехмерное пространство оценок: значения показателей <  R., C . , N_t > для каждой i-й задачи рассматриваются как координаты вектора Z. Его длина / определяется по формуле:

ii = RrTCc+Nn? .

Сумма векторов, соответствующих задачам, объединенным видом деятельности, позволяет определить вектор некоторого вида деятельности кафедры Z:

k  kkk

L = Е ИЕ Ri, Е Ci, Е N^ i=1        t i=1       i=1       i=1     J где к — количество задач, входящих в вид деятельности. Таким образом, имеем возможность получить легко упорядочиваемую последовательность длин векторов, характеризующих каждый вид деятельности кафедр.

Ранжируем длины векторов L . по убыванию:

L₁> L₂> ... >  L. > ... >  L_n.

С каждым показателем вида деятельности (или задачей) сопоставляется оценка его значимости. Для определения весов показателей используем шкалу Фишберна [1]:

2( n - i + 1) n ( n + 1)

где р . — коэффициент значимости i-го показателя, i — номер текущего показателя, п — количество показателей (видов деятельности или задач).

Полученная система весов подчиняется условию

n

Е p i = 1

i = 1

Процедура определения весов производится дважды: при определении веса вида деятельности и при определении весового коэффициента решаемой задачи (с поправкой на вес вида деятельности, в который входит задача, что сохраняет выполнение условия (1)).

Выводы

Формирование списка контролируемых параметров деятельности кафедры позволит построить адекватную систему мониторинга. Основой для работы является полный список задач, решаемых кафедрой. Способ отбора показателей основан не на прямом экспертном оценивании задачи, а на преобразовании оценок степени влияния задач на образовательный процесс. Таким образом, происходит дополнительное нивелирование субъективной оценки эксперта.

Векторное пространство, сформированное экспертными оценками задач, используется также для определения весовых коэффициентов, которые, исходя из условия равенства суммы всех весовых коэффициентов единице, можно интерпретировать как размер вклада задачи в деятельность кафедры. Определение весов видов деятельности позволяет также разделить все виды деятельности на основные и вспомогательные и использовать полученную модель для контроля распределения усилий преподавателей кафедры по различным видам деятельности. •