Схема расчета интегральных показателей эффективности региональной системы образования

Начиная с 2009 г. Министерство образования и науки Республики Бурятия реализует масштабный веб-ориентированный проект «Комплексная оценка эффективности региональной системы образования (КОЭРСО)». Данный проект является межведомственным, так как направлен на выявление эффективности и результативности региональной системы образования по экономическим, политическим и социальным направлениям с учетом социокультурной, этнодемографической и экономикогеографической многомерности общероссийского образовательного пространства. Предметом мониторинга развития системы образования выступают состояния и изменения данной системы образования в определенные периоды времени. Важным является не только анализ отдельных количественных и качественных показателей, но и сама динамика этих изменений. Тем самым успешная реализа- ция данного проекта предполагает принятие взвешенных управленческих решений для повышения эффективности системы образования.

В настоящее время в информационной системе КОЭРСО рассчитывается определенный набор интегральных показателей (ИП), отражающих эффективность и результативность региональной системы образования. Основными среди них являются следующие три ИП: ИПАРО — Индекс проектной активности работников образования, УОКР — Индекс образовательной капитализации населения республики, УОИ — Вклад системы образования в развитие экономики.

Однако кроме общих методологически правильных подходов имеется в системе КОЭРСО ряд неразрешенных технологических проблем, одна из которых связана с вычислением вышеназванных ИП. В ходе детального математического анализа существующей системы расчета ИП выявлены следующие недостатки:

• -    в системе расчета не учитывается или учитывается в грубой форме уровень значимости вклада первичных индикаторов по отношению к ИП, что существенно снижает адекватность модели расчета;

• -    не предусмотрена адаптивность (гибкость) системы расчета к различным изменениям в сфере образования.

Для устранения обнаруженных недостатков в данной работе предлагается новая математической модель расчета ИП на основе методов теории принятий решений, в том числе математикостатистических.

Цель исследования — разработать адекватную и гибкую методику расчета ИП эффективности региональной системы образования.

Предлагаемая методика расчета ИП. В результате изучения ряда работ [1‒5] предлагается следующий подход к вычислению ИП, основанный на методах теории принятий решений. Итак, алгоритм расчета формируется из пяти расчетных шагов.

Шаг 1. Формирование экспертной группы. Основная задача первого этапа — это сформировать экспертную группу, которая способна корректно решить поставленные перед ней задачи для проставления оценок первичным показателям. Минимальное количество экспертов согласно [1] можно определить по формуле:

m = 0,5| - + 5 I IР ), где p — возможная ошибка результатов экспертизы. Если достоверность результатов принять равным 95 %, то p будет равен 0,05, и согласно формуле m = 32,5.

Таким образом, для проведения экспертного опроса потребуется не менее 32 экспертов. Что касается состава экспертной группы, то ее можно определить различным образом, например, приблизительно равное количество экспертов из руководителей соответствующих управленческих образовательных структур, учителей (педагогов) и ученых.

Шаг 2. Определение компетентностного «веса» экспертов. На этом этапе проводится анкетирование экспертов для оценки их уровня компетентности в данной области. Анкета должна содержать вопросы, касающиеся профессионального уровня, опыта работы, инновационной деятельности, способности к независимому суждению. После анкетирования эксперты оценивают по 10-балльной шкале уровень компетентности друг друга по анкетам. Результаты анкетирования можно представить в виде несимметричной таблицы парных оценок (табл. 1). В таблице приводятся формулы расчета весовых коэффициентов экспертов.

Таблица 1

Определение весовых коэффициентов компетентности экспертов

Эксперты	Э 1	Э 2	Э 3		Э m	«Вес» эксперта (K j )
Э 1	-	К 12	К 13		К 1m	K 1 Y_k ,, /10( m - 1) i =1       /
Э 2	К 21	-	К 23		К 2m	K 2 = Ё K 2 , /10( m — 1)
Э 3	К 31	К 32	-		К 3m	K 3 = m K 3 i /10( m - 1) i =1       /
				-
Э m	К m1	К m2	К m3		-	K m =1l K mlj \0(m - 1)

Шаг 3. Тестирование и обработка результатов. На данном этапе проводится опрос, в ходе которого эксперты должны проставить баллы от 0 до 10 первичным индикаторам (показателям) в зависимости от степени собственной субъективной оценки важности данного показателя по отношению к сути ИП. Затем проставленные баллы каждого эксперта ранжируются по степени важности согласно общепринятым правилам. Далее ранги умножаются на весовой коэффициент компетентности соответствующего эксперта. При этом для определения суммарной взвешенной оценки r i i -го индикатора следует использовать простое суммирование оценок этого варианта, предварительно умноженные на «веса» экспертов, т. е.

mm r-=T rj0 K   X rj

J=1                j=1 , где rij0 — начальный ранг i-го первичного индикатора от j-го эксперта, Kj — весовой коэффициент j-го эксперта. Суммарная средняя оценка всех сравниваемых вариантов r для стандартизированной ранговой системы, согласно [3], определяется из следующего выражения:

1 v^m    (n +1) m r=-LL rj =  /

.

nt! j - f        2

Шаг 4. Проверка мнений экспертов на согласованность, формирование единого мнения. Для оценки уровня согласованности мнений экспертов рабочей группы используют коэффициент конкор-дации W , т. е. коэффициент ранговой корреляции экспертов этой группы, который обычно рассчитывают по формуле, предложенной Кендаллом. При этом W , согласно [3], определяют как отношение n ₂

фактически полученной величины i    (сумма квадратов отклонений суммарных оценок i=1

каждого из вариантов от суммарной средней оценки всех вариантов) к ее максимальному значению S max для одной и той же группы экспертов и числа сравниваемых вариантов, по формуле:

W = -S

S

max

S

-m² (n ³ - n )- m^T

¹²                   j = 1 ^j

T =    • У"-' ft- где j 12 ^^k=1 ( jk

j) — коэффициент, учитывающий наличие связанных вариантов у j-го экспер- та; Hj — число групп одинаковых рангов вариантов у j-го эксперта; k — номер группы одинаковых рангов вариантов у j-го эксперта; tj — число одинаковых рангов вариантов в k-й группе у j-го эксперта. При отсутствии связанных вариантов у всех экспертов рабочей группы выражение упрощается и принимает следующий вид:

w = _S_ = ¹² • S S max ^{m 2} ( n 3 ^- n ) .

Оценку значимости коэффициента конкордации проводят по критерию X2. Согласно [2] W имеет х — распределение с v = n - 1 степенями свободы. Расчетное значение критерия деляют по следующему выражению: х2 = m (n -1) W• Табличное (критическое) значение X2 определяют обычно при уровне значимости а = 0,05 и числе степеней свободы v = n величина х опре-критерия

– 1 . Если

х < Хт , т. е. расчетное значение больше табличного, то с вероятностью 95 % можно утверждать, что мнения экспертов рабочей группы являются вполне согласованными, иначе — мнения экспертов не являются согласованными.

Для качественной оценки степени согласованности мнений экспертов можно использовать вербально-числовую шкалу [4], предложенную Марголиным (табл. 3).

Таблица 3

Оценка степени согласованности мнений экспертов по шкале Марголина

№	Значение коэффициента конкордации	Степень согласованности мнений экспертов
1	0 <  W <  0,1	Согласованность отсутствует
2	0,1 <  W <  0,3	Согласованность очень слабая
3	0,3 <  W <  0,5	Согласованность слабая
4	0,5 <  W <  0,7	Согласованность умеренная
5	0,7 <  W <  0,9	Согласованность высокая
6	0,9 <  W <  1	Согласованность очень высокая

Если согласованность экспертов не достигнута или она слабая, то согласно методике Делфи [1] необходимо провести обсуждение (конференцию) среди экспертов о степени важности первичных индикаторов по отношению к ИП. Как правило, при обсуждении эксперты начинают заслушивать обоснования тех экспертов, у которых «вес» компетентности относительно выше. В результате обсуждений эксперты должны приблизиться к единому мнению и перейти к Шагу 3.

Шаг 5. Расчет ИП. Перед тем как рассчитать ИП, необходимо перевести все значения первичных индикаторов ( x i ) в единую шкалу. Предлагается перевести все значения в проценты (доли) от максимально возможного значения. Если все значения перевести в доли, то значение ИП также можем получить как долю от максимально возможного, что существенно повышает его информативность. И наконец, формула для вычисления ИП представляет собой взвешенную среднюю от первичных индикаторов:

nn

ИП = 1L rx IL r, где n — количество первичных показателей; m — количество экспертов; x — значение первичного индикатора в долях; r — весовой коэффициент -го первичного индикатора.

Заключение. В разработанной нами схеме расчета ИП применяются только стандартные и общепризнанные методы. Схема ориентирована на повышение информативности, чувствительности и гибкости ИП. Алгоритм расчета состоит из 5 шагов, при котором шаги 3 и 4 могут циклически повторяться в зависимости от уровня согласованности мнений экспертов.

Таким образом, информационная система КОЭРСО может быть модифицирована на основе практического внедрения данного алгоритма. Что касается автоматизации, то процедура экспертного опроса может быть реализована в виде дополнительного специального модуля к системе.