Расчет и анализ рейтинга научных периодических изданий

При построении рейтингов научных журналов может использоваться система библиомет-рических показателей. В частности, в научной электронной библиотеке еLIВRАRY.RU для оценки качества журналов применяется более двадцати таких показателей, например: число цитирований журнала за год без самоцитирования, двухлетний импакт-фактор РИНЦ без самоци-тирования, двухлетний импакт-фактор РИНЦ с учетом переводной версии, пятилетний им-пакт-фактор РИНЦ с учетом переводной версии без самоцитирования, индекс Херфиндаля по

организациям авторов, среднее число ссылок у статьи в журнале, индекс Хирша за 10 лет и др. С учетом того, что библиометрические показатели учитывают различные аспекты журналов, упорядочения (ранжирования) журналов по этим показателям существенно будут отличаться друг от друга. В данной работе при построении агрегированных рейтингов научных журналов по пищевой промышленности предлагается использовать подход, основанный на методах теории коллективного выбора [1], при этом исследуется массив из семнадцати журналов по четырем библиометрическим показателям – SCIENCE INDEX, пятилетний импакт-фактор

Постановка задачи. При оценке качества научных журналов возникает многокритериальная задача принятия решений, которую можно сформулировать следующим образом. Задано множество альтернатив A = { x_L, x₂, • , x_n } , n — количество альтернатив. Имеется набор K показателей, по которым оценивается качество альтернатив, K = { k 1 ,k 2 , • , k m } , m – количество показателей. Требуется провести оценку альтернатив на основании всего набора K .

Классическим методом решения задач подобного типа является определение взвешенной суммы Q значений k^ˆ для каждой i-ой

m альтернативы (например, в виде Qo6 = ^^k,) j=i с последующим ранжированием альтернатив относительно Q . Однако применение такого метода должно иметь предварительное теоретическое обоснование возможности суммирования значений показателей из рассматриваемого набора K (см., например, [1]), что не всегда может выполняться при решении практических задач. Исходя из этого, в рамках данной работы при построении рейтингов научных журналов по пищевой промышленности предлагается использовать подход, в основе которого лежат методы и модели теории коллективного выбора.

Сформулируем задачу коллективного выбора следующим образом. Будем рассматривать коллективный выбор как работу некоторой процедуры коллективного выбора (некоторого оператора F ), на вход которого поступает набор индивидуальных функций выбора экспертов, j e J, J = { 1,2, - ,m } , где m - количество экспертов, m >  2 (функциональный профиль { C . ( A ) } ). а на выходе порождается функция C * ( A ) , т. е. F( { C i ( A ) } = C * ( A ) [2]. По известному функциональному профилю { C ( A ) } требуется сформировать функцию коллективного выбора C * ( A ) на множестве A , A = 2^A\ { 0 } , A – заданное множество альтернатив.

Применительно к нашей задаче, под A будем понимать множество рассматриваемых журналов, под K – набор библиометрических показателей. Оценка kˆ библиометрического показателя k для журнала i рассматривается как мнение j-го эксперта. В этом случае набор упорядочений журналов по каждому библио-метрическому показателю можно интерпретировать как заданный функциональный профиль {C (A)} на множестве A.

Тогда, при построении рейтингов (агрегированных оценок качества) журналов можно использовать результат работы некоторого правила коллективного выбора на рассматриваемом множестве A по заданному профилю { Cj ( A ) } . В работе рассматривается позиционное правило коллективного выбора Борда, правило, использующее вспомогательную числовую шкалу – правило Коупленда и эвристическая процедура построения медианы Кемени [3, 4].

Правила коллективного выбора. Согласно позиционному правилу Борда, каждому варианту x e A ставится в соответствие число r ( x ) , равное мощности нижнего среза Lj ( x ) альтернативы x в бинарном отношении R , которое наводится на рассматриваемом множестве A системой предпочтений j-го эксперта, т. е. Г ( x ) = card ( L ( x ) ) . Оценкой Борда для варианта x называется сумма этих чисел по всем j; при этом выбирается вариант с максимальной оценкой Борда [3].

Построение агрегированных рейтингов на основе правила Борда рассмотрим на следующем примере. Пусть множество A состоит из следующих научных журналов: «Все о мясе», «Сахар», «Пиво и напитки», «Кондитерские изделия», «Вестник ВГУИТ».

В таблице 1 приведены ранжирования этих журналов по четырем библиометрическим показателям – SCIENCEINDEX, пятилетний им-пакт-фактор РИНЦ с учетом переводной версии без самоцитирования, индекс Хирша за 10 лет и индекс Херфиндаля. Наименования рассматриваемых журналов «Все о мясе», «Сахар», «Пиво и напитки», «Кондитерские изделия», «Вестник ВГУИТ» обозначены номерами 9, 12, 5, 11, 16 соответственно. Например, по показателю пятилетний импакт-фактор РИНЦ с учетом переводной версии без самоцитирования на первом месте – журнал «Пиво и напитки», далее, в порядке убывания значений по этому показателю, идут журналы «Все о мясе», «Сахар», «Кондитерские изделия», «Вестник ВГУИТ».

Заметим, что этими же номерами обозначены приведенные в примере журналы и в массиве журналов по пищевой промышленности, исследуемого в данной работе.

В таблице 2 для каждого журнала приведены значения мощностей нижних срезов четырех бинарных отношений, построенных по четырем библиометрическим показателям. Например, для журнала «Кондитерские изделия» (номер 11) г (11) = 2, r2(11) =1, Гз(11)= 0 и г(11)= 3 .

Таблица 1.

Упорядочения журналов по библиометрическим показателям

Table 1.

The ordering of journals by bibliometric indicators

Показатель | Indicator Журнал | Magazine	A	B	C	D
1	5	5	5	5
2	9	9	12	11
3	11	12	9	12
4	12	11	16	16
5	16	16	11	9

Примечание (здесь и далее): 1– журнал “Пиво и напитки”, 2 – журнал “Все о мясе”, 3 – журнал “Сахар”, 4 – журнал “Кондитерские изделия”, 5 – журнал “Вестник ВГУИТ”; A – показатель ScienceIndex, B – импакт-фактор РИНЦ, C – индекс Хирша за 10 лет,D – индекс Херфиндаля

Note (here and further): 1– “Beer and drinks” magazine, 2 – “All about meat” magazine, 3 – “Sugar” magazine, 4 - “Confectionery products” magazine, 5 – “Proceedings VSUET” magazine;A – Science Index value, B – RSCI impact factor, C – H-index over 10 years, D – Herfindahl index

Таблица 2.

Мощности нижних срезов Lj ( i ) , i g { 5,9,11,12,16 } .

Power lower sections Lj ( i ) , i g { 5,9,11,12,16 } .

Table 2.

Показатель | Indicator Журнал | Magazine	A	B	C	D
1	4	4	4	4
2	3	3	2	0
3	2	1	0	3
4	1	2	3	2
5	0	0	1	1

Далее для рассматриваемых журналов определяется оценки Борда:

r ( 5 ) = 4 + 4 + 4 + 4 = 16 ,

r (9) = 3 + 3 + 2 + 0 = 8, r (11) = 2 +1 + 0 + 3 = 6, r (12) = 1 + 2 + 3 + 2 = 8, r (16) = 0 + 0 +1 +1 = 2.

Итоговое упорядочение относительно оценок Борда рассматриваемых пяти журналов выглядит следующим образом. На первом месте – журнал «Пиво и напитки»; далее идут два журнала, получившие одинаковые оценки Борда – «Все о мясе» и «Сахар»; следующим идет журнал «Кондитерские изделия» и, наконец, последним в рассматриваемом массиве из пяти журналов располагается «Вестник ВГУИТ».

Следующим этапом работы было построение рейтинга журналов при помощи правила Коупленда. Согласно этому правилу, чем больше количество альтернатив, которые хуже при попарном сравнении, чем данная альтернатива x, тем лучше альтернатива x в целом. В работе применялось второе правило Коупленда. Схема применения этого правила коллективного выбора имеет следующий вид [3]. На первом этапе на рассматриваемом множестве альтернатив A по заданному функциональному профилю {C (A)} строится мажоритарное отношение μ :

x >_g y ^ card({j g K|x >j y}) >  card({j g K|y >- x}). (1)

Далее для каждой альтернативы подсчитывается значение количественной функции u ( x ) , которая характеризует мощность нижнего среза в построенном мажоритарном отношении μ ; при этом лучшей признается альтернатива с наибольшим значением u ( x ) .

Опишем процесс построения агрегированных рейтингов научных журналов на основе правила Коупленда, используя исходные данные предыдущего примера (таблица 1) . На рассматриваемом множестве журналов получим мажоритарное бинарное отношение μ ; матрица M , соответствующая данному мажоритарному отношению, приведена в таблице 3.

Таблица 3.

Матрица мажоритарного отношения

Table 3.

The matrix of majority relations

Журнал Magazine	1	2	3	4	5
1	0	1	1	1	1
2	0	0	1	0	1
3	0	0	0	0	1
4	0	0	0	0	1
5	0	0	0	0	0

Построение матрицы M поясним на примере пары журналов «Все о мясе» (9) и «Кондитерские изделия» (11): исходя из того факта, что журнал «Все о мясе» лучше журнала «Кондитерские изделия» по трем библиометриче-ским показателям из четырех, то, согласно (1), альтернатива 9 мажорирует альтернативу 11 (элемент M [ 2,3 ] = 1, а элементM [ 3,2 ] = 0).

В построенном мажоритарном отношении μ определяется мощность нижнего среза для каждого журнала при помощи следующей формулы (2):

card ( L ( i ) ) = ^ M ( k,l ) , k,l = 1,2, ^ ,5 i = i                                     , ⁽²⁾

i ^ { 5,9,11,12,16 }

Для рассматриваемого примера:

card (L (5)) = 0 +1 +1 +1 +1 = 4, card (L (9)) = 0 + 0 +1 + 0 +1 = 2, card (L (11)) = 0 + 0 + 0 + 0 +1 = 1 card (L (12)) = 0 + 0 + 0 + 0 +1 = 1 card (L (16)) = 0 + 0 + 0 + 0 + 0 = 0.

Упорядочив относительно оценок Коупленда журналы, получаем результирующее ранжирование: 1-е место – журнал «Пиво и напитки» (5), 2-е – журнал «Все о мясе» (9), на третьем месте – имеющие одинаковые оценки журналы «Сахар» (12) и «Кондитерские изделия» (11) и на последнем месте находится журнал «Вестник ВГУИТ» (16).

Далее рассмотрим третий способ получения агрегированных оценок рейтинга журналов – путем построения медианы Кемени. Следует отметить тот факт, что при исследовании массива журналов в данной работе был применен упрощенный алгоритм построения медианы Ке-мени [4], поэтому будем считать, что в качестве итогового ранжирования журналов выступает оценка медианы Кемени.

Согласно алгоритму Кемени, сначала, на основе заданного функционального профиля (таблица 1) для каждого журнала формируется вектор предпочтений v = ( v 1 ,v₂ , v₃, v₄ ) , где компонента v, (j = 1,2,3,4) представляет собой мощность верхнего среза бинарного отношения R , которое получено на рассматриваемом множестве A путем ранжирования журналов по j -му библиометрическому показателю. Таким образом, расчетная формула для v имеет следующий вид:

• ^VJ = card ( D j ⁽ i ) ) = m - ^Lj ^{( i )- 1}      _Пх

,      (3), i e{5,9,11,12,16} где – количество журналов, , – соответственно нижний и верхний срезы бинарного отношения для -го журнала.

Для рассматриваемого случая вектора предпочтений приведены в таблице 4.

Таблица 4.

Вектора предпочтений

Table 4.

Vector preferences

Вектора v i Vectors v i / Журнал Magazine	v 1	v 2	v 3	v 4
1	0	0	0	0
2	1	1	2	4
3	2	3	4	1
4	2	3	4	1
5	4	4	3	3

Далее, согласно упрощенному алгоритму поиска оценки медианы Кемени, для каждого журнала определяется сумма компонент соответствующего    вектора    предпочтений

• ^v i = ( 4, ^v 2 , ^v 3 , ^v 4 ) :

s ^{( i} ) = Й ^{( i} ) .             ⁽⁴⁾

j = 1

Для рассматриваемого списка журналов имеем:

s ( 5 ) = 0 + 0 + 0 + 0 = 0,

s (9) = 1 +1 + 2 + 4 = 8,

s (11) = 2 + 3 + 4 +1 = 10,

s (12) = 2 + 3 + 4 + 1 = 10,

s (16) = 4 + 4 + 3 + 3 = 14.

Упорядочим журналы относительно полу-       на основе трех правил (Борда, Коупленда и Кемени), ченных оценок s ( i ) с учетом того факта, что чем       полностью совпадают. Однако следует иметь ввиду, что в общем случае такая ситуация мо-меньше оценка s ( i ) , тем выше рейтинг соответ-       жет наблюдаться не всегда; для подтверждают ствующего журнала. В результате получим следу-       этого факта были проведены исследования ющий рейтинг журналов: на первом месте – журнал       на массиве научных журналов по пищевой «Пиво и напитки», на втором – журнал «Все       промышленности. о мясе», на третьем месте находятся два журнала –                Результаты и обсуждение «Сахар» и «Кондитерские изделия», на последнем            В таблице 5 представлен исследуемый месте находится журнал «Вестник ВГУИТ».           в данной работе массив 17 научных журналов Таким образом, для рассматриваемого      по пищевой промышленности. примера итоговые упорядочения, построенные Таблица 5. Рейтинги журналов по пищевой промышленности Table 5. Ratings of journals for the food industry
Показатель / Indicator/ Журнал / Magazine	A	B	C	D	E	F	G
Пищевая промышленность	1	1	1	1	1	1	1
Птица и птицепродукты	2	2	4	3	2	2	2
Молочная промышленность	3	7	3	1	3	3	5
Комбикорма	4	10	4	2	6	6	3
Пиво и напитки	5	5	2	5	4	4	6
Хлебопечение России	6	3	5	7	5	5	8
Масложировая промышленность	7	8	4	6	8	8	4
Виноделие и виноградство	8	4	3	10	7	7	9
Все о мясе	9	6	4	14	9	9	7
Известия высших учебных заведений. Пищевая технология	10	11	4	11	10	10	10
Кондитерское производство	11	13	6	9	12	12	12
Сахар	12	12	3	12	11	11	13
Производство спирта и ликероводочных изделий	13	9	4	16	14	14	11
Хлебопродукты	14	15	4	8	13	13	14
Сыроделие и маслоделие	15	15	6	15	16	16	16
Вестник ВГУИТ	16	14	5	13	15	15	15
Научный журнал НИУ ИТМО. Серия: Процессы и аппараты пищевых производств	17	17	7	17	17	17	17

Примечание: E- рейтинг на основе процедуры Борда; F- рейтинг на основе процедуры Кемени; G- рейтинг на основе процедуры Коупленда

Note:E – Board procedures rating; F – Kemeny procedures rating; G – Copeland procedures rating

В ходе работы были определены количественные оценки степени близости указанных ранжировок (таблица 6). В качестве коэффициента ранговой корреляции использовался коэффициент Спирмена тс. Например, для пары упорядочений журналов по пятилетнему импакт-фактору РИНЦ и индексу Хирша значение т = 0,66; если же сравнивать эти два упорядочения с ранжированием журналов по интегральному показателю SCIENCEINDEX, то пятилетний импакт-фактор более согласован с интегральным показателем, чем индекс Хирша (значения коэффициента Спирмена в этих случаях равны 0,86 и 0,67 соответственно). Агрегированные рейтинги журналов, построенные на основе процедуры Борда и на основе медианы Кемени, полностью совпали. Наибольшая оценка Борда – у журнала «Пищевая промышленность» (r(x) = 48). Вторая и третья позиции в рейтинге по оценке Борда, соответственно, у журналов «Птица и птице-продукты» и «Молочная промышленность». Для журнала «Вестник Воронежского государственного университета инженерных технологий» оценка r(x) = 8 (15 позиция). Первые две позиции в агрегированном рейтинге на основе правила Коупленда совпадают с рейтингами на основе правил Борда и Кемени. Значение коэффициента ранговой корреляции Спирмена на паре ранжирований журналов, построенных на основе процедуры Борда и процедуры Коупленда, равно 0,92. Наиболее близок к интегрированному рейтингу SCIENCEINDEX рейтинг по медиане Кемени (значение коэффициента Спирмена равно 0,98). Медиана Кемени также хорошо согласуется с рейтингами по пятилетнему импакт-фактору РИНЦ (т = 0,88), по индексу Хирша (^ = 0,72) и по индексу Херфиндаля (т = 0,86).

Таблица 6.

Значения коэффициента Спирмена

Coefficient values coefficient

Table 6.

	A	B	C	D	E	F	G
A	1	0,86	0,67	0,87	0,98	0,98	0,96
B		1	0,66	0,56	0,88	0,88	0,79
C			1	0,54	0,72	0,72	0,67
D				1	0,86	0,86	0,87
E					1	1	0,92
F						1	0,92
G							1

Заключение