Построение агрегированного рейтинга многокритериальных объектов в целях управления организациями

В настоящее время рейтинговые оценки широко используются в качестве инструментов исследования различных сфер человеческой деятельности. Большие объемы информации требуют колоссальных ресурсов на их обработку, что обуславливает актуальность задачи построения рейтингов многокритериальных альтернатив

This is an open access article distributed under the terms of the Creative Commons Attribution 4.0 International License

(компаний, банков, регионов, финансовых инструментов фондового рынка, образовательных учреждений и т. п.). При подготовке бизнес-решений рейтинги играют важную роль как доступная независимая комплексная оценка риска. Применение рейтинговой оценки позволяет предприятиям определять свое место в отрасли, оценивать эффективность распределения ресурсов и формировать стратегию организации.

В данной работе рассматривается методика, позволяющая агрегировать результаты разных процедур оценки образовательных учреждений [1, 2]. Реализацию данной методики в виде национального агрегированного рейтинга (НАР) можно увидеть на информационном ресурсе При построении НАР учитываются девять рейтингов, удовлетворяющих четырем критериям – публичности (полная информация представлена в открытом доступе), стабильности (существуют не менее трех лет), массовости (оценивают не менее 100 вузов) и периодичности (оценивание происходит ежегодно) [3]; в качестве процедуры агрегирования применяется правило Борда [5, 6]. Однако заметим, что данная процедура является одной из наиболее манипулируемой процедурой коллективного выбора.

В рамках методологии, предложенной в [1, 2], авторы данного исследования предлагают использовать в качестве процедур агрегирования процедуры голосования в малых группах, которые являются состоятельными по Кондорсе [4, 8]. К ним, в частности, относятся процедура Коупленда и процедура Кемени.

Функция выбора, порождаемая соответствующим механизмом выбора, удовлетворяет принципу Кондорсе, если для нее одновременно выполнено прямое и обратное условие Кондорсе [7]. Прямое условие требует, чтобы альтернатива, выбираемая из всех парных предъявлений, содержащих его и остальные рассматриваемые альтернативы, выбиралась и при предъявлении всего множества X рассматриваемых вариантов:

( x e X V y e Xx e C ({ x , y })) ^ x e C ( X ) . (1)

Обратное условие Кондорсе говорит о том, что альтернатива, выбранная из всего множеств X , должна выбираться и при предъявлении любой содержащей его пары из множества рассматриваемых альтернатив:

x e C ( X ) ^ x e C ({ x , y } . (2)

• I.    Математическая модель

Построение агрегированного национального рейтинга высших учебных заведений можно представить, как задачу коллективного выбора. Пусть X = {x } - множество рассматриваемых вузов, i e I, I = {1,2,...,n} . Обозначим P = {P} - множество агрегируемых рейтингов вузов, j = 1,2,..., m. Будем считать, что, в общем случае, каждый механизм P наводит на множестве X рефлексивное, асимметричное, транзитивное и полное бинарное отношение R . Следуя [1], шкалу каждого механизма рейтингования P разобьем наk классов эквивалентности (например, на квартили). Вузы, попавшие в l -ый класс рейтинга P , получают соответствующую оценку Aj, l e {1,2,...,к} . При этом считается, что Aj > Aj >... > Aj . Если вуз не попал 1 i          2i                    ki ни в один класс по рейтингу P , то он получает оценку Aj . Таким образом, каждому x ставится в соответствие m -мерный вектор оценок. Например, при m = 8 и к = 4 вектор оценок, характеризующий конкретную альтернативу x , может иметь   следующий   вид –

(A1,A4,A3,А24,A2,A6,A47,A8) ; то есть эти i ii iiiii оценки показывают, что данный вуз, в частности, попал в первый класс в шестом и в восьмом рейтинге, а в третьем рейтинге этого вуза нет. Вузы, попавшие в один класс рейтинга P , считаются эквивалентными по нему. Итак, на множестве X задано m линейных порядков L = {R,R2,...,Rm}. Требуется построить результирующее (агрегированное) упорядочение R с помощью правила F : Lm ^ R .

Для построения агрегированной оценки можно использовать различные процедуры голосования в малых группах [4,8]. Приведем описание трех процедур, рассматриваемых в данной работе в качестве F .

Процедура Борда. Согласно правилу Борда, в начале для каждого x вычисляется число b ( x .) = Card ( L _y ( x )), где L ( x _z) - нижний срез альтернативы x в бинарном отношении Rj ² , j = 1,2,..., m . В нашем случае

L j ( x i ) = { x s e X | A lj >  A lj , s e I , s ^ i } .

Затем, оценка Борда для x определяется m как сумма по всем j, т. е. b(x.) = ^ by (x). j=1

Итоговое упорядочение R вузов получается ранжированием x e X относительно вычисленных оценок b ( x _z).

Пример 1. Пусть X = { x , x₂ , x ₃, x ₄} , m = 5 , k = 4 и вектора оценок альтернатив следующие:

y 1 ¹ Д² Д³  Д⁴ Д⁵   г — (Д¹ Д²  д³ д⁴ д⁵

• ^Х 1 = ⁽ A^ , A , A 4 , A 4_V , A 4_Y Л ^x 2 = ⁽ A 2₂ , A 3₂ , A 1₂ , A 2₂ , A 3₂ ),

x ₃ = ( A , A ² , A , a ⁴ , A ⁵ ), x ₄ = ( A , a ² , A ₃³, a ⁴ , a⁵ ).

3       ^x 3 g ⁷   2g ⁷   2g ⁷ З3 ⁷ I3 ^{Z 2}   4     ^x 44 ⁷   44 ⁷   34 ⁷ I4 ⁷   24 /

Таким образом, на множестве X наведены пять строгих линейных порядков:

R_x : x_x >  x₂ >  x ₃ >  x ₄, R ₂: x_x >  x ₃ >  x ₂ >  x ₄,

R ₃: x ₂ >  x ₃ >  x ₄ >  x_x , R ₄: x ₄ >  x ₂ >  x ₃ >  x_x, R ₅: x ₃ >  x ₄ >  x ₂ >  x ₁.

Здесь символ “≻” означает “лучше”. Тогда, для альтернативы x_x получаем L ( x_x ) = { x ₂, x ₃, x ₄} , ^L 2 ⁽ x 1 ^Л = ^{ x 2 , ^x 3 , x 4 ^} , ^L 3 ⁽ x 1^Л = ^L 4 ⁽ x 1^Л = ^L 5 ⁽ x 1^Л = ^{ 0 ^} и оценка Борда    b ( x ) = 3 + 3 + 0 + 0 + 0 = 6 .

Для остальных x ₂, x ₃, x ₄ оценки Борда равны соответственно 9, 9, 6. В результате итоговое (агрегированное) ранжирование R имеет следующий вид: ( x₂ x х₃ ) > ( x_x ~ x ₄), где символ “  ” означает “равноценность”.

Как уже указывалось ранее, процедура Борда не удовлетворяет принципу Кондорсе, согласно которому победитель по Кондорсе, если он существует, должен быть выбран и по данному правилу. Однако, как видно из приведенного примера, этот принцип нарушается при использовании правила Борда. Действительно, это следует из рассмотрения, например, подмножества { x ₂, x ₃} и всего предъявления X: x₃ е C ( X ), но x ₃ £ C ({ x ₂, x ₃}) - нарушено обратное условие Кондорсе (2).

Заметим, что на этом профиле предпочтений функция выбора С(X), порождаемая процедурой Борда, нарушает условие наследования:

V X , X ' X ' с X ^ C ( X'^ о C ( X ) n X ' . (3)

Кроме того, итоговое упорядочение R * является неустойчивым по отношению к незначительному изменению исходных оценок рассматриваемых альтернатив.

Пример 2. Пусть теперь вектора оценок у альтернатив x и x не изменились, а вектора оценок x3 и x4 следующие: x = (A1, A2, A3, A4, A5), 3          3g 2g 2g 3g 1g x4 = (A1 , A2, A3, A4, A5), т. е., третья оценка у 4     х 44 У 44 У 34 14 24 '

альтернативы x ухудшилась на одну градацию, а у x улучшилась на одну градацию. Соответствующее бинарное отношение R принимает вид x ₂ >  x ₄ >  x ₃ >  x 1 . В этом случае оценки Борда для рассматриваемых альтернатив равны

b ( x ) = 6, b ( x ₂) = 9 , b ( x ₃) = 8, b ( x ₄) = 7 . В результате получаем итоговое ранжирование R в виде строгого линейного порядка: x ≻ x ≻ x ≻ x .

Отметим, что в данном случае функция выбора C(X) удовлетворяет одновременно условию наследования и условию согласия: V X ' , X" X = X ' u X " ^ C ( X ) о C ( X ') n C ( X ”).   (4)

Приведем еще один пример, демонстрирующий неустойчивость решения, получаемого на основе применения процедуры Борда.

Пример 3. Пусть теперь по сравнению с исходными данными из Примера 1 изменились вектора оценок у альтернатив x и x : x = (A1, A2, A3 , A34, A4), x3 = (A1, Al2, A3, A41, A5 )■ 1            11 7 11 7 41 7 31 7 41 7 7 3       V 3g 7 2g 7 2g 7 4g 7 1g 7 - то есть,  четвертая оценка у x улучшилась на одну градацию, а у x3 ухудшилась. Тогда имеем b(x) = 7 , b(x2) = 9 , b (x3) = 8, b(x4) = 5 . Итоговое упорядочение R*: x2 > x3 > xx > x4.

В данном случае функция выбора, порождаемая процедурой Борда, также не нарушает условия (3) и (4).

Процедура Коупленда. Различают первое, второе и третье правила Коупленда [6]. Согласно данным правилам, в начале на рассматриваемом множестве X строится мажоритарное отношение ц :

Pj xs цxp ^card({Pj е P | xs^xp})>

P j

• > card ({ P j е P | x_p У x s })

Pj где s, p еI, s ^ p и символ “ > ” означает “лучше в рейтинге P ”. Далее, для каждого xz е X вычисляется оценка z(xt). В первом правиле Коупленда эта оценка определяется как разность мощностей нижнего и верхнего срезов альтернативы x в мажоритарном отношении ц : z (x) = Card (L (x)) - Card (D(x )).

Во втором правиле оценка z ( x _z) определяется мощностью нижнего среза альтернативы x в мажоритарном отношении ц , т. е. z ( x ) = Card ( L ( x )). В третьем правиле z ( x _z.) определяется мощностью верхнего среза альтернативы x_z в мажоритарном отношении ц , т. е. z ( x ) = Card ( D ( x )). Итоговое упорядочение R * получается ранжированием x е X относительно вычисленных оценок z ( x _z).

Если применяется первое или второе правило, то чем больше значение z ( x_t ), тем выше позиция альтернативы x в итоговом ранжировании. При использовании третьего правила Коупленда чем меньше значение z ( x_t ), тем выше позиция альтернативы x в итоговом ранжировании.

Пример 4. Возьмем исходные данные из Примера 1. Построим матрицу соответствующего мажоритарного отношения (Таблица 1). Применяя первое правило Коупленда, получим следующие оценки   z (xt): z (x ) = 0 - 3 = -3, z (x2) = 3 - 0 = 3,  z (x 3) = 2 -1 = 1, z (x4) = 1 - 2 = -1.

Заметим, что Card ( l ( x )) = £ ц , Card ( d ( x )) У ц , p = 1                               p = 1

i е {1,2,3,4}, ц e {0,1} - элементы матрицы мажоритарного отношения ц .

Таблица 1.

Матрица мажоритарного отношения

Table1.

Majority ratio matrix

ц	x 1	x	x	x 4
x 1	0	0	0	0
x 2	1	0	1	1
x 3	1	0	0	1
x 4	1	0	0	0

Итоговое упорядочение имеет вид: R : x ≻ x ≻ x ≻ x .Отметим, что в условиях данного примера применение второго и третьего правил Коупленда приводят к аналогичному итоговому ранжированию альтернатив.

Рассмотрим результат применения процедуры Коупленда в условиях Примера 2 и Примера 3.

Пример 5. Пусть исходные данные такие, как и в Примере 2. Тогда на множестве рассматриваемых альтернатив наведены пять линейных порядков:

R_x : x >  x₂ > x₃ > x ₄, R ₂: x > x₃ > x₂ > x ₄,

R₃ : x₂ >  x₄ > x₃ > x , R : x₄ > x₂ > x₃ > x ,

R : x > x₄ > x₂ > x .

Соответствующая матрица мажоритарного отношения ц будет такой же, как и в Примере 4 (Таблица 1). Следовательно, итоговое упорядочение альтернатив R не изменится по сравнению с предыдущим примером.

Пример 6. Пусть исходные данные такие же, как в Примере 3. Тогда, по сравнению с предыдущим примером, бинарные отношения R1, R2, R3 и R5 не изменятся, а R4 примет следующий вид: x ≻ x ≻ x ≻ x . В результате применения процедуры Коупленда итоговое упорядочение R альтернатив будет таким же, как и в Примере 4 и Примере 5.

Процедура Кемени. Согласно правилу Кемени, в качестве агрегированного упорядочения R альтернатив x е X выступает медиана Кемени, вычисление которой сводится к решению задачи дискретной оптимизации m

R * = arg(min( ^ d ( R , R j ))) , ^R   j = 1

где d ( R , R _;) - расстояние Кемени между двумя ранжировками [9]. В [11] приведен алгоритм поиска медианы Кемени. В [10, 12] описаны примеры вычисления аналога медианы Кемени. Рассмотрим примеры, в котором в качестве приближенной оценки медианы Кемени используется эмпирическое среднее (аналог медианы Кемени).

Пример 6. Пусть исходные данные такие же, как и в Примере 1. Построим матрицу M = ( d ( R ,, R, )) попарных расстояний между индуцированными на множестве X ранжировками R , R ₂, R ₃, R ₄, R ₅:

Таблица 2.

Матрица попарных расстояний

Table2.

Pairwise distances matrix

M	R 1	R 2	R 3	R 4	R 5
R 1	0	2	6	10	10
R 2	2	0	8	12	8
R 3	6	8	0	4	4
R 4	10	12	4	0	4
R 5	10	8	4	4	0

В матрице M элемент d ( R ,, R, ) равен количеству несовпадающих элементов в матрицах, которые соответствуют бинарным отношениям R _; и Ri . Например, d ( R ₂, R ₄) = 12 . Ниже приведены матрицы бинарных отношений R и R :

Таблица 3.

Матрица бинарного отношения R

Table3.

Binary relation R matrix

R 2	x 1	x 2	x 3	x 4
x 1	0	1	1	1
x 2	0	0	0	1
x 3	0	1	0	1
x 4	0	0	0	0

Table 4.

Binary relation R matrix

R 4	x 1	x	x 3	x 4
x 1	0	1	1	1
x	0	0	0	1
x	0	1	0	1
x 4	0	0	0	0

Чекудаев К.В. и др. Вестник ВГУИТ, 2021, Т. 83, №. 2, С. 251-258

Таблица 4.

Матрица бинарного отношения R ₄

Как видно, число несовпадающих элементов у данных матриц равно 12.

Далее для каждого R вычисляется вели-m чина D(Ri) = £d(Ri,Rj), i = 1,2,3,4,5 :

j = 1

D ( R ) = 2 + 6 + 10 + 10 = 28,

D ( R ) = 2 + 8 + 12 + 8 = 30,

D ( R ) = 6 + 8 + 4 + 4 = 22,

D ( R ) = 10 + 12 + 4 + 4 = 30,

D ( R ) = 10 + 8 + 4 + 4 = 26.

Величина D ( R ) принимает наименьшее значение при R . Следовательно, итоговое упорядочение примет вид: R = R : x₂ x₃ x₄ x_x .

Рассмотрим результат применения данной процедуры поиска R в условиях Примера 3.

Пример 7. Пусть исходные данные соответствуют условиям Примера 3. Напомним, что в этом случае по сравнению с предыдущим на одну градацию меняются значения четвертых компонент векторов оценок у альтернатив x и x . В Таблице 5 приведены полученная для этого случая матрица M попарных расстояний и вычисленные значения D ( R ) (крайний правый столбец). Как видно, и в этом случае минимальное значение D ( R ) достигается при R , т. е.

R ₃ = arg(min( ^ d ( R i , R j ))). Следовательно, R i     j = 1

итоговое упорядочение R альтернатив не изменилось по сравнению с предыдущим примером.

Таблица 5.

Матрица попарных расстояний

Table5.

Pairwise distances matrix

M	R 1	R 2	R 3	R 4	R 5	D ( R i )
R 1	0	2	8	10	10	30
R 2	2	0	10	12	8	32
R 3	8	10	0	2	6	26
R 4	10	12	2	0	4	28
R 5	10	8	6	4	0	28

Рассмотренные выше процедуры голосования в малых группах были применены для построения агрегированного ранжирования на выборке высших учебных заведений одного из регионов Российской Федерации. В качестве источника исходных данных использовался информационный ресурс [3]. На основе девяти рейтингов P , P …, P , P были сформированы вектора оценок для пятнадцати образовательных организаций. Ниже приведены оценки для восьми вузов рассматриваемого региона [15] ( Un - вуз ).

Таблица 6.

Вектора оценок вузов

Table6.

University assessments vectors

	P 1	P 2	P 3	P 4	P 5	P 6	P 7	P 8	P 9
Un1	A 5 11	A 2 21	3 A 3 1	4 A 1 1	5 A 1 1	A 2 61	A 5 71	8 A 3 1	9 A 1 1
Un2	A 11 2	A 32 2	A 3 22	4 A 1 2	A 5 22	A 26 2	A 27 2	8 A 3 2	9 A 3 2
Un3	1 A 2 3	2 A 3 3	3 A 4 3	4 A 1 3	5 A 2 3	6 A 2 3	7 A 4 3	8 A 4 3	9 A 1 3
Un4	A 1 34	A 2 34	A 53 4	A 4 14	A 25 4	A 6 24	A 7 44	A 8 34	A 9 14
Un5	1 A 3 5	2 A 4 5	A 5 35	A 1 45	A 2 55	6 A 1 5	7 A 4 5	8 A 4 5	9 A 1 5
Un6	A 31 6	2 A 3 6	A 3 56	A 24 6	A 25 6	6 A 1 6	7 A 4 6	8 A 3 6	9 A 3 6
Un7	A 51 1	2 A 5 7	3 A 5 7	4 A 1 7	A 5 27	A 6 27	7 A 5 7	8 A 4 7	A 9 27
Un8	A 41 1	2 A 4 8	A 3 58	A 4 28	A 5 28	A 6 18	7 A 4 7	8 A 4 8	A 9 38

Девять бинарных отношений, соответствующих приведенным в Таблице 6 оценкам, выглядят следующим образом:

R : вуз 2 вуз 3  ( вуз 4 вуз 5 вуз 6) вуз 8  ( вуз 1 вуз 7)

R : вуз 1  ( вуз 2 вуз 3 вуз 4 вуз 6)  ( вуз 5 вуз 8)   вуз 7

R : вуз 2   вуз 1   вуз 3  ( вуз 4   вуз 5   вуз 6   вуз 7   вуз 8)

R :( вуз 1   вуз 2   вуз 3   вуз 4   вуз 5   вуз 7)  ( вуз 6   вуз 8)

R : вуз 1  ( вуз 2 вуз 3   вуз 4   вуз 5   вуз 6   вуз 7   вуз 8)

R :( вуз 6   вуз 8)  ( вуз 1 вуз 2 вуз 3   вуз 4   вуз 5   вуз 7)

R : вуз 2  ( вуз 3 вуз 5 вуз 6   вуз 8)  ( вуз 1 вуз 4 вуз 7)

R :( вуз 1   вуз 2 вуз 4   вуз 6)  ( вуз 3   вуз 5   вуз 7 вуз 8)

R :( вуз 1   вуз 3 вуз 4 вуз 5)   вуз 7  ( вуз 2   вуз 6   вуз 8).

Агрегированное упорядочение рассматриваемых восьми вузов, построенное на основе процедуры Борда, выглядит так:

R :( вуз 1 вуз 2) вуз 3 вуз 6 вуз 4 вуз 5 вуз 8 вуз 7

Применение процедуры Коупленда дает результат в виде кластеризованной ранжировки:

R :( вуз 1 вуз 2) вуз 3 вуз 4  ( вуз 5 вуз 6)  ( вуз 7 вуз 8)

Nikitin B.E. et al.Proceedings of VSUET, 2021, vol. 83, no. 2, pp. 251-258

В качестве приближенной оценки медианы

Кемени на множестве { R , R , R , R , R , R , R , R , R }

выступает кластеризованная ранжировка R . Соответствующая матрица попарных расстояний Кемени приведена в Таблице 7:

Таблица 7.

Матрица попарных расстояний

Pairwise distances matrix

Table7.

M	R 1	R 2	R 3	R 4	R 5	R 6	R 7	R 8	R 9
R 1	0	21	18	24	31	28	11	25	29
R 2	21	0	15	23	14	27	26	14	22
R 3	18	15	0	18	13	30	19	13	25
R 4	24	23	18	0	15	24	27	15	11
R 5	31	14	13	15	0	19	26	12	18
R 6	28	27	30	24	19	0	19	27	31
R 7	11	26	19	27	26	19	0	24	34
R 8	25	14	13	15	12	27	24	0	22
R 9	29	22	25	11	18	31	34	22	0

Сравнительный анализ найденных трех агрегированных ранжировок показывает, в частности, что применение процедуры Коупленда и использование аналога медианы Кемени в качестве R улучшает позиции двух

Заключение

В работе задача построения рейтингов высших учебных заведений была рассмотрена с позиции теории коллективного выбора. В качестве процедур агрегирования результатов различных рейтингов, используемых в системе высшего образования для оценки эффективности вузов, предлагается использовать процедуры голосования, удовлетворяющие принципу Кондорсе. На примерах, приведенных в работе, было продемонстрирована их устойчивость получаемого итогового ранжирования альтернатив к незначительным изменениям в исходном профиле предпочтений (сведений о позициях вузов в рассматриваемых девяти рейтингах). Использование результатов агрегированного рейтинга позволит руководителям вузов выстраивать эффективную управленческую стратегию развития на краткосрочный и среднесрочный период.