Рейтинговая система оценки публикационной активности авторов

Качество образования существенно влияет на развитие науки. Для достижения высокого качества образования, необходимо, чтобы сотрудники высших учебных заведений активно участвовали в научных исследованиях. Для того чтобы оценить публикации по научным исследованиям система РИНЦ ввела целый ряд показателей для оценки авторов. [1-3] Но каждый показатель в отдельности недостаточно информативен и не дает исчерпывающую оценку публикационной активности авторов. Поэтому возникает необходимость в разработке такой системы определения рейтинга, которая смогла бы на основе выбранных показателей системы РИНЦ выстраивать рейтинг авторов согласно их достижениям в сфере научных публикаций.

Для того, чтобы спроектировать и реализовать рейтинговую систему публикационной активности авторов, необходимо последовательно выполнить каждый из следующих шагов:

• 1)    Анализ всех имеющихся показателей авторов в системе РИНЦ и выявление среди них ключевых показателей для оценки публикационной активности авторов;

• 2)    Нормирование выбранных ключевых показателей для получения безразмерных величин для сведения к единой системе сравнения;

• 3)    Введение возможности выставления независимой оценки экспертом для каждого из ключевых показателей;

• 4)    Вычисление итогового суммарного значения рейтинга из полученных на предыдущих шагах взвешенных нормированных показателей для каждого автора, сортировка авторов по убыванию этих значений.

Анализ показателей РИНЦ и выявление ключевых показателей.

По результатам анализа предложенного системой РИНЦ ряда показателей, были выявлены ключевые показатели публикационной активности авторов для разрабатываемой рейтинговой системы авторов.[4,5] Они представлены в таблице 1 с кратким теоретическим обоснованием важности каждого выбранного показателя.

Ключевые показатели публикационной активности авторов

Таблица 1

№ п/п	Выбранный показатель	Теоретическое  обоснование  выбранного показателя
1	Индекс Хирша по ядру РИНЦ	Показатель, отражающий наиболее строгую оценку (тяжело достижим)
2	Индекс Хирша без учета самоцитирований	Показатель, отражающий независимую оценку работ автора
3	Индекс   Хирша   по публикациям в РИНЦ	Показатель,  отражающий  публикационную активность в РИНЦ
4	Число     публикаций, входящих в ядро РИНЦ	Показатель выделяет наиболее значимые с научной точки зрения статьи автора
5	Число  публикаций  в РИНЦ	Показатель отражает количественную характеристику публикационной активности автора по РИНЦ
6	Число самоцитирований	Показатель, отражающий количественную характеристику объективной оценки работ автора. Если выше 40 процентов, то рассматривается как отрицательная характеристика
7	Число     публикаций, процитировавших работ	Показатель отражает количественную характеристику заинтересованности в публикациях автора

8	Средневзвешенный      Численный    показатель    авторитетности импакт-фактор           журналов  за  период,  в  которых  были журналов,  в  которых  опубликованы статьи были    опубликованы статьи
9	Число цитирований из Показатель, отражающий качество журналов, журналов с ненулевых уровень цитируемости в авторитетных импакт-фактором журналах

Нормирование показателей для получения безразмерных величин показателей.

Под нормированием выбранных на предыдущем этапе показателей публикационной активности авторов понимается приведение каждого из показателей к единому безразмерному виду. В качестве метода нормирования в разрабатываемой системе рейтинга авторов применяется один из наиболее употребляемых и понятных способов приведения критериев к безразмерному виду – метод линейной трансформации.

Суть метода заключается в следующем. Если для некоторого ключевого показателя f 1 предпочтительно максимальное значение, то формула перехода от ненормированного значения показателя х 1 к нормируемому х 1^н имеет вид [6]:

где f 1 ^min и f 1 ^{ma x} – соответственно минимальное и максимальное значение по каждому ключевому показателю на множестве допустимых альтернатив.

Таким образом, каждый показатель после линейной трансформации избавляется от своих единиц измерений и становится безразмерной величиной, а значит теперь между показателями можно проводить различные арифметические операции для получения единого значения рейтинга.

Выставление независимой оценки экспертом каждому показателю.

Для того, чтобы увеличить гибкость разрабатываемой рейтинговой системы оценки публикационной активности, в систему введена возможность выставления независимой оценки экспертом каждому из показателей.

Экспертный метод оценки показателей основывается на использовании опыта и интуитивных знаниях эксперта-специалиста. Экспертный метод используется в тех случаях, когда применение таких методов объективного определения значений, как инструментальная, эмпирическая или расчетная оценка, является затруднительным.

При экспертном методе оценки показатели определяют в безразмерных величинах. В случае, если результат оценки (экспертного измерения) эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем [7]:

• •    Все объекты оценки (показатели) произвольно нумеруются.

• •    Эксперт вводит в систему свою субъективную оценку каждому параметру

• •    Рейтинг авторов упорядочиваются по убыванию.

Анализируя полученные экспертным методом оценки показателей, можно не только указать, какой показатель весомее и значительнее, чем другие, но и во сколько.

Вычисление значений рейтинга и сортировка авторов.

Расчет итоговых значений рейтинга происходит по следующему алгоритму. На первом шаге все показатели нормируются методом линейной трансформации, на втором шаге полученные нормированные показатели умножаются на соответствующий вес, введенный пользователем. Затем полученные произведения суммируются, и результат этой суммы является итоговым значением рейтинга. Чем больше итоговое значение, тем выше занимает место автор в рейтинге публикационной активности. Единственным исключением является показатель числа самоцитирований. Он может или вычитаться из суммарного значения рейтинга, или не влиять на него в зависимости от своего значения. Если параметр числа самоцитирований меньше или равен 40%, то он не учитывается в суммировании показателей для определения рейтинга, а если больше 40%, то он нормируется, умножается на вес экспертной оценки и вычитается из суммарного значения рейтинга. Такое различие обусловлено тем, что этот показатель имеет две стороны. С одной стороны, его значение указывает на то, что автор продолжительное время работает в одной предметной области и ссылается на предыдущие статьи за разъяснением, с другой, этот параметр может свидетельствовать о том, что автор пытается увеличить свой рейтинг за счёт фиктивного цитирования собственных работ. Чтобы исключить возможность искусственного увеличения рейтинга автора, предложена формула расчета. Итоговая формула для расчета рейтинга выглядит следующим образом:

Я = xin * bi + X2N *b2 + —+ XMN * bM -T , где: Т= {

0, если X_s < 40%

X_SN*b_s, если X_s >  40% ’

X1n  -  Xmn  — нормированные значений ключевых показателей публикационной активности автора, b1 - bM — веса экспертной оценки для каждого показателя,

X_SN — нормированный показатель числа самоцитирований,

Xs — показатель числа самоцитирований, bs — вес экспертной оценки для показателя числа самоцитирований,

M — количество ключевых показателей публикационной активности авторов, N — тип нормированности значений,

R — рейтинг автора.

Реализация программных средств

Для построения рейтинга публикационной активности авторов предложенным алгоритмом была разработана рейтинговая система, которая на основе информации о публикациях в базе данных вычисляет итоговые взвешенные нормированные оценки текущей публикационной деятельности автора, на основе которых происходит построения рейтинга в порядке убывания этих итоговых значений.

Ввод информации в программу осуществляется в ручном режиме в базу данных сведений о публикационной активности авторов, которая содержит информацию о ФИО авторов и значения по девяти ключевым показателям системы РИНЦ. База данных представлена на рис. 1.

Рис. 1. База данных профессорско-преподавательского состава кафедры АСОИУ КНИТУ-КАИ

Стартовое окно разработанной программы приведено на рис. 2. Данное окно предполагает выбор режима работы. В системе их два: ведение базы данных и непосредственно рейтинговая система. После выбора одного режима работы, кнопка выбора другого режима блокируется.

Рис. 2. Стартовое окно программы

Блок «Ведение базы данных» был разработан для адаптации входной базы данных под нужды пользователя. Для начала работы необходимо убедиться в том, что в базе данных отображаются те авторы, рейтинг которых нужно рассчитать. Для этого необходимо нажать кнопку «Ведение базы данных», в результате чего открывается окно, представленное на рис. 3.

Рис. 3. Ведение базы данных на 11.04.2018

Для того чтобы добавить нового автора в базу данных необходимо заполнить все поля таблицы и нажать кнопку «Сохранить». Если есть необходимость в редактировании уже введенных данных таблицы, необходимо отредактировать нужную строку и нажать кнопку «Изменить запись». Также реализована функция удаления записей таблицы. Для этого нужно выделить строку и нажать кнопку «Удалить». Далее необходимо закрыть окно, а в стартовом окне системы выбрать второй режим нажатием кнопки «Система публикационной активности авторов», которая вызывает открытие окна, представленного на рис. 4. В данном окне отображается список авторов и значения показателей их публикационной активности из базы данных, блок экспертной оценки, вкладки: «Сводные таблицы», «Графики», «Графики (нормированная выборка)», «Публикационная активность», «Публикационная активность (нормированные данные)», «Рейтинг».

Для вычисления оценки автора предлагается задать ряд параметров и весов. По умолчанию все значения параметров равны единице. Сами параметры выбраны после детального анализа всех показателей публикационной активности, представленных системой РИНЦ. Метод линейной трансформации для нормирования показателей запрограммирован в системе и не предполагает никакого ручного ввода данных от пользователей. В отличие от экспертного метода оценки показателей, который требует ручного ввода значений от эксперта для каждого ключевого показателя. Блок экспертного метода оценки показателей приведено на рис. 4.

Рис. 4. Окно системы оценки публикационной активности

Для наглядности в программе используются гистограммы по каждому параметру. На рис. 5 изображен пример гистограммы по индексу Хирша по публикациям РИНЦ. Аналогичные графики строятся в системе для всех параметров. Данное отображение дает возможность наглядной оценки по каждому показателю.

Рис. 5. Гистограмма по индексу Хирша по публикациям РИНЦ

На рис. 6 представлен рейтинг авторов в виде списка. Список отсортирован по убыванию рейтинга, чем выше значение рейтинга, тем выше автор располагается в списке.

Рис. 6. Рейтинг авторов

Для более наглядного представления данных есть второй способ отражения рейтинга. Необходимо перейти во вкладку «Рейтинг». Рейтинг в виде гистограммы изображен на рис. 7.

Рис. 7. Рейтинг авторов в виде гистограммы

Также пользователем системы может быть обычный студент, у которого есть потребность найти себе научного руководителя (в данной работе, среди преподавателей кафедры) по определенным критериям, для этого он выставляет в системе наибольший вес тому параметру, который, по его мнению, важнее, чем остальные. В результате система пересчитывает рейтинг с учетом введенных коэффициентов и построит новый рейтинг авторов. В верхней строке списка будет отображен преподаватель, максимально удовлетворяющий запросу пользователя, остальные преподаватели будут отсортированы в порядке убывания.

Заключение

В статье изложен алгоритм построения рейтинга авторов на примере профессорско-преподавательского состава кафедры АСОИУ КНИТУ-КАИ по публикационной активности с использованием основных показателей РИНЦ в рейтинговой системе публикационной активности. Сама система может быть применена к любой базе данных авторов. Предложенный алгоритм позволяет оценить авторов по ключевым показателям РИНЦ, тем самым позволяя в достаточной мере показать активность авторов.

Для расчета оценки публикационной активности авторов предложенным методом применяется нормирование показателей публикационной активности методом линейной трансформации и присваивание каждому показателю веса экспертной оценки. В настоящее время область публикационной научной активности исследована недостаточно полно для расчета оптимальных параметров оценки авторов и построения рейтинга лучших авторов. Поэтому следует отметить, что результат оценки авторов в разработанной рейтинговой системе базируется на выбранных показателях, суммирование которых вычисляет значения для построения рейтинга авторов.

Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галева И.Х.