Разработка среды автоматизированного проектирования рейтинга научных сотрудников КНИТУ-КАИ

Актуальной задачей в настоящее время является учет публикационной активности авторов, журналов, организаций с помощью различных библиографических баз данных, таких как РИНЦ, Scopus, Web Of Science и др. Данные сервисы предоставляют широкий функционал оценки с точки зрения различных параметров. Информационно-аналитическая система SCIENCE INDEX - это информационно-аналитическая система, созданная на основе базы данных Российского Индекса Научного Цитирования (РИНЦ). Данная система предлагает набор дополнительных сервисов для авторов научных публикаций, организаций и издательств [1, 2]. На сегодняшний день система SCIENCE INDEX предоставляет возможности анализа и оценки эффективности работы отдельных сотрудников с применением широкого набора индикаторов, однако не предоставляет интегрированной оценки [3]. Учет показателей публикационной активности научных работников является важной задачей для оценки вклада каждого автора и организации в развитие “экономики, основанной на знаниях” [4, 5]. Вычисление интегрированной оценки для научных сотрудников позволяет справедливо оценить эффективность работы каждого отдельного автора, способствует мотивации в дальнейшей результативной работе [6].

Интегрированная оценка публикационной активности автора учитывает различные параметры с применением математического аппарата и различных методов вычисления [7]. Эффективный анализ разработанной математической модели и формируемых рейтинговых оценок также требует специальных средств интерпретации и визуализации данных. Основу алгоритмов расчета составляют:

• •    Анализ показателей авторов, выявление наиболее значимых;

• •    Обработка выбранных показателей в соответствии с математической моделью;

• •    Определение интегрированной оценки, нормирование;

• •    Интерпретация сформированного рейтинга сортировкой по убыванию или визуализацией.

Построение рейтинга публикационной активности начинается с анализа данных для исследования, оценки показателей на значимость, объективность, степень учета личного вклада автора. На основе выбранных показателей строится логика оценки эффективности работы автора. В качестве таких параметров могут использоваться разновидности показателей количества цитирований, индекса Хирша, журналов с публикациями и цитированиями автора.

Математическая модель представляет собой заданную процедуру обработки входных данных и вывода интегрированной оценки с применением математических методов расчета и дополнительных данных в некотором алгоритме. В качестве такой модели могут использоваться различные расчеты по формулам, экспертные оценки, искусственные нейронные сети.

Нормирование вычисленных значений осуществляется линейной трансформацией по всему множеству выходных данных. Интерпретация рейтинга представляет собой сортировку в списке с указанием позиции или визуализацию в виде гистограмм по значению рейтинга или позиции.

Анализ показателей публикационной активности

В качестве показателей публикационной активности автора в РИНЦ (рис. 1) и Scopus были выбраны следующие параметры:

• •    Индекс Хирша в Scopus – индекс Хирша, учитывающий при расчете ссылки на все публикации автора в Scopus из публикаций, входящих в Scopus;

• •    Индекс Хирша в ядре РИНЦ – индекс Хирша, учитывающий при расчете ссылки на все публикации автора в ядре РИНЦ из публикаций, входящих в ядро РИНЦ;

• •    Индекс Хирша без учета самоцитирований – рассчитывается аналогично индексу Хирша, но при этом не учитываются цитирования, сделанные из работ этого же автора;

• •    Индекс Хирша в РИНЦ – индекс Хирша, учитывающий при расчете ссылки на все публикации автора в РИНЦ из публикаций, входящих в РИНЦ.

• •    Индекс Хирша с учетом только статей в журналах – рассчитывается аналогично индексу Хирша, но при этом учитываются цитирования [8] только статей в журналах и только из статей в журналах;

• •    Позиция в рейтинге журналов SCIENCE INDEX для журналов, цитирующих публикации автора. Ранжирование журналов осуществляется на основе показателя, рассчитываемого по специальной методике, учитывающей тематическое направление журнала, уровень самоцитирования и другие факторы [9]. Интегральный показатель журнала в системе Science Index используется при построении рейтинга российских научных журналов и рассчитывается по следующей методике:

○ На первом этапе журнал приписывается к определенному тематическому направлению.

○ Затем для каждого направления рассчитывается:

• - среднее число ссылок в списках цитируемой литературы на статьи в журналах РИНЦ;

• -    средняя доля ссылок из публикаций текущего года на статьи в журнале за последние 5 лет по отношению ко всем ссылкам на данный журнал (за все годы).

○ За основу расчетов показателя берется пятилетний импакт-фактор журнала в РИНЦ [10] с учетом цитирования переводной версии журнала (при ее наличии) и с учетом самоцитирования.

○ Рассчитанные значения нормируются.

○ Полученное скорректированное значение импакт-фактора журнала затем делится на индекс Херфиндаля по цитирующим журналам.

Таким образом, учитывается значимость работ автора, опубликованных в журналах [11]. Более подробная информация доступна по электронному адресу:

Не учитываются цитирования из реферативных и научно-популярных журналов, словарей, справочников, методических указаний, авторефератов диссертаций, ненаучных публикаций в журналах (аннотации, персоналии, разное и т.д.), а также из журналов и сборников, исключенных из РИНЦ.

Не учитываются ссылки на публикации, где данный ученый является редактором, составителем, переводчиком и т.д., но не является автором.

ГАЛЕЕВ ИЛЬДАР ХАМИТОВИЧ *

Казанский национальный исследовательский технологический университет, центр новых информационных технологий (Казань)

SPIN-код: 3737-7602, AuthorlD: 2500

МЕСТО РАБОТЫ

Название организации О                Период Публ.

• ■    Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ (Казань)

• ■ Казанский национальный исследовательский технологический университет(Казань)

ОБЩИЕ ПОКАЗАТЕЛИ

Название показателя

Значение

О Индекс Хирша по публикациям в РИНЦ18

О Индекс Хирша по ядру РИНЦ3

О Индекс Хирша без учета самоцитирований13

О Индекс Хирша с учетом только статей в журналах9

СТАТИСТИЧЕСКИЕ ОТЧЕТЫ

d । Распределение публикаций по тематике d 1 Распределение публикаций по ключевым словам

• ■    ■ Распределение публикаций по

• -    - журналам

d । Распределение цитирующих публикаций по тематике d 1 Распределение цитирующих публикаций по ключевым словам d 1 Распределение цитирующих публикаций по журналам

РОССИЙСКИЙ индекс *

НАУЧНОГО ЦИТИРОВАНИЯ

Science Index

ИНСТРУМЕНТЫ

О Вывести список публикаций автора

Q Вывести список публикаций, ссыпающихся на работы автора

Q Вывести список ссылок на работы автора

Q Профиль автора в Google Scholar

О Профиль автора в ORCID

Q Профиль автора в

ResearcherlD

О Профиль автора в Scopus

Q Инструкция для авторов по работе в системе SCIENCE INDEX

О Авторский указатель

Q Дата обновления показателей автора: 05.10.201S

Q При расчете показателей в РИНЦ учитываются только публикации, в которых данный ученый является автором или соавтором (не учитываются работы, где он является только редактором, составителем, переводчиком и т.д.). Также не учитываются публикации в реферативных, научнопопулярных и

Рис. 1. Параметры автора в РИНЦ

Выбор математической модели

В рамках данной работы были выбраны следующие математические методы построения рейтинга:

• 1)    Суммирование всех выбранных параметров автора с единичными коэффициентами и степенями. Простой метод обработки для практического сравнения с более сложными методами;

п ^Ri =^ V ik , k=1

где:    Ri - интегрированный рейтинг i-го автора, pik - к-ый параметр i-го автора, п - количество выбранных библиометрических параметров.

• 2)    Суммирование с весовыми коэффициентами, определяемыми на основе экспертных оценок. Метод учитывает опыт компетентных специалистов соответствующей предметной области. Для работы метода необходима работа инженера по знаниям для формирования оценок значимости параметров на основе различных методов опроса экспертов;

п

^Ri = ^ W k V ik , к=1

где:    Ri - интегрированный рейтинг i-го автора, pik - к-ый параметр i-го автора, wk - экспертная оценка k-го параметра, п - количество библиометрических параметров.

• 3)    Мягкие вычисления. Метод, использующий суммирование параметров, преобразованных по алгоритмам нечеткой математики с использованием функций принадлежности, также определяемых на основе опыта эксперта;

п

Ri = ^ ’ fk(Pik), k=1

f k⁽ P ik) =

(_______1_______

I 1 + e ^-ak (P ik^-ck )

{_________1_________ k 1 + e—«fc(Ptfc—Cfc)

, если pik

,иначе

<

Ck

где:    Ri - интегрированный рейтинг i-го автора, pik - k-ый параметр i-го автора, fk — функция принадлежности от k-го параметра, Ck - параметр центральной точки сигмоиды, ak - параметр формы сигмоиды слева от центральной точки, bk - параметр формы сигмоиды справа от центральной точки, и - количество библиометрических параметров.

• 4)    Искусственная нейронная сеть. Метод применения полносвязной нейронной сети [12], предварительно обученной каскадным методом на тестовом множестве из 1000 авторов с итоговой интегрированной экспертной оценкой.

Входные данные для математической модели представляют собой целочисленные параметры, кроме модифицированного параметра индекса Хирша с учетом только журналов. Данный параметр, в случае учета рейтинга журналов SCIENCE INDEX, умножается на коэффициент интегрированной оценки данного рейтинга.

Интегрированная оценка рейтинга авторов с учетом показателей журналов определяется по следующей формуле:

т

Rsu =2c,k(1-S(R,.k-1)), k=1

где:    RS1, - интегрированный рейтинг -го автора с учетом показателей журналов,

C ,_k - количество цитирований l-го автора из k-го журнала, R j,_k - позиция k-го журнала в рейтинге SCIENCE INDEX, 5 - константа, 0.000283.

Общая интегрированная рейтинговая оценка автора нормализуется линейной трансформацией по максимальному значению среди всех исходных оценок авторов в текущем рейтинге.

Разработка модели базы данных

В рамках разработанной системы автоматизированного проектирования рейтинга публикационной активности авторов была создана база данных (рис. 2) со следующими сущностями:

• •    Authors – содержит информацию об индексе Хирша в SCOPUS, РИНЦ, ядре РИНЦ, индекс Хирша без учета самоцитирований и с учетом только статей в

журналах авторов;

• •    Journal – данные рейтинга журналов SCIENCE INDEX;

• •    Author_Journal_Citation – связывающая информация для таблиц Authors, Journal в виде идентификаторов авторов, публикаций и журналов с количеством цитирований.

Рис. 2. Инфологическая модель базы данных

Программная реализация

Для реализации системы автоматизированного проектирования рейтинга публикационной активности был выбран язык программирования C# с использованием библиотек для работы с нейронными сетями FANN и СУБД SQLite. Для реализации интерфейса программы использовалась технология Windows Forms, работа с базой данных осуществлялась с помощью СУБД SQLite. Разработанное приложения представляет собой модули:

• •    Редактирования таблиц входных данных. Позволяет быстро редактировать данные авторов, журналов в памяти программы с возможностью сохранения таблицы в базу данных файла;

• •    Установки параметров алгоритмов и расчета. Реализует возможность быстрой и удобной настройки весовых коэффициентов для метода суммирования с экспертными оценками в виде установки значения или перемещения по интервалу, выбора метода из списка и настройки учета журналов в расчетах.

• •    Интерпретации в отсортированном списке с указанием ФИО, нормализованного значения рейтинга и позиции;

• •  Визуализации в виде гистограмм по отдельным  параметрам и

• сформированному рейтингу;

• •  Работы с файлами базы данных,  нейронной сети и настройками

редактирования и управления расчетом рейтинга.

Структура программы

Модуль редактирования (рис. 3–5) таблиц входных данных реализует функционал работы с таблицами данных: отображение таблицы, загруженной из файла, добавление, изменение данных, обновление содержимого базы данных.

Рис. 3. Интерфейс редактирования таблицы Authors

Рис. 4. Интерфейс редактирования таблицы Journals

Идентификатор Идентификатор Идентификатор Количество автора          публикации      журнала         цитирований
2 5DD	25 588 842	26234	1
2 500	25 588 842	32 089	1
2 5DD	25 588 842	38 070	3
2 5DD	25 588 842	11 985	1
2 500	25 588 842	51 557	1
2 500	25 588 842	8 728	1
2 500	25 588 842	6163	28
2 500	25 588 842	54 673	1
2 500	25 588 842	33 928	1
2 500	25 588 842	61 980	1
2 500	9 508 469	55 484	1
2 500	9 508 469	8 728	1
2 500	9 508 469	6163	34
2 500	9 508 469	54 673	2
2 500	22 673 865	37 229	1
2 500	22 673 865	9 321	1

Рис. 5. Интерфейс редактирования таблицы Author_Journal_Citation

Модуль установки параметров алгоритмов и расчета (рис. 6) реализует функционал выбора метода расчета рейтинга, настройки параметров алгоритма суммирования с весовыми коэффициентами указанием значения или перемещением по интервалу допустимых значений (0; 1) и учета показателей журналов. Также содержит окно вывода сообщений программы.

^r^w^ d J dEI ^:™r^B d d dEI Индекс Хирша в ,1 I Лой РИНЦ                         '

Метод

Индекс Хирша с учетом только статей в журналах

Место в общем рейтинге SCIENCE INDEX за 2017 год

ИНдекс Хирша               _______ безачета          I I     J|0.15

самоцигировании | |        I

Рис. 6. Интерфейс установки параметров расчета рейтинга

Модуль интерпретации в отсортированном списке (рис. 7) реализует просмотр сформированного рейтинга авторов с отображением позиции и нормализованной интегрированной оценки автора в данном рейтинге. Содержит элементы управления в виде кнопок для расчета рейтинга и обновления данных в файле.

Место в рейтинге	ФИО	Баллы
1	Галеев Ильдар Хамитович	100.0
2	Мокшин Владимир Васильевич	80.5
3	Якимов Игорь Максимович	65.3
4	Шлеймович Михаил Петрович	40.7
5	Медведев Михаил Викторович	33.9
6	Шарнш Леонид Михайлович	32.2
7	Эминов Фарид Ибрагимович	23.7
8	Ризаев Ильдус Султанович	16.9
9	Захарова Земфира Хаматовна	16.9
10	Суздальцев Владимир Антонович	16.1
11	Хохлов Дмитрий Григорьевич	15.3
12	Яхина Зухра Талгатовна	14.4
13	Осипова Алла Леонидовна	10.2
14	Зайнуллина Гульсина Рафкатовна	9.3
15	Ризаев Ильгизар Султанович	9.3
16	Барков Игорь Александрович	6.8
17	Тахавова Эльза Габдулбаровна	5.9
18	Зарайский Сергей Александрович	5.1
19	Сытник Анатолий Сергеевич	5.1

Обновление данных

Расчет рейтинга

Рис. 7. Интерфейс показателей рейтинга в отсортированном списке

Модуль визуализации (рис. 8) реализует возможность графической интерпретации нормализованных значений сформированного рейтинга и отдельных параметров в виде гистограмм. Позволяет сформировать сравнительную оценку метода и параметров для заданных входных данных. Также содержит управления.

элементы

Рис. 8. Интерфейс визуализации

Модуль настроек программы (рис. 9) реализует возможность работы с файлами и таблицами базы данных, нейросетью; управления расчетом рейтинга авторов с учетом журналов.

Файл Визуализация Интерпертация

Моделирование Нейронная сеть

Рис. 9. Интерфейс модуля настроек программы

Общий интерфейс программы

Все модули интерфейса расположены в главном окне программы. Общий интерфейс программы и примеры использования представлены на рисунках 10–12.

Рис. 10. Общий интерфейс программы

Рис. 11. Интерактивное изменение экспертных оценок с визуализацией

Рис. 12. Сравнительное изменение нескольких экспертных оценок

Моделирование рейтинга

Для оценки эффективности алгоритма, экспертных оценок и модели нейронной сети реализован функционал составления рейтинга для заданных входных данных, объединенных с базой статистических данных из 1307 научных сотрудников КНИТУ-КАИ.

Данный функционал (рис. 13-14) позволяет проанализировать позицию автора среди научных сотрудников всей организации в отсортированном списке и графической интерпретации.

	ФИО	Баллы		ФИО	Баллы
1	Нигматуллин Равиль Рашидович	100.0	1313	Мусави Сафави Сейед Мохаммад	0.6
2	Наймушин Виталий Николаевич	97.5	1314	Изибаев Александр Владимирович	0.6
3	Моисеев Сергей Андреевич	96.4	1315	Мирхайдаров Айрат Фирнадович	0.6
4	Гильмутдинов Альберт Харисович	94.3	1316	Давлетшин Тимур Айратович	0.6
5	Морозов Олег Геннадьевич	93.3	1317	Арсланов Артем Альбертович	0.6
6	Лунев Александр Николаевич	87.6	1318	Ерахмадов Сиёвуш Наимджонович	0.6
7	Макаров Максим Викторович	86.1	1319	Гусев Александр Леонидович	0.6
8	Афанасьев Вадим Владимирович	77.6	1320	Крылосова Арина Алексеевна	0.6
9	Попов Игорь Александрович	74.9	1321	Гильфанов Артур Фаридович	0.6
10	Гортышов Юрий Федорович	74.0	1322	Цой Илья Станиславович	0.6
11	Талипов Анвар Айратович	72.3	1323	Михайлов Константин Сергеевич	0.6
12	Нагулин Константин Юрьевич	71.6	1324	Хайруллин Нияз Джаудатович	0.6
13	Герасимов Константин Игоревич	71.5	1325	Крюков Александр Игоревич	0.6
14	Морозов Геннадий Александрович	68.7	1326	Деушев Алексей Андреевич	0.6
15	Петровский Владимир Ильич	66.6	1327	Пашин Николай Павлович	0.6
16	Юнусов Ринат Файзрахманович	63.8	1328	Хабибулин Ринат Рахимович	о.в
ЧТ	|—_____Ы_.___V___итлпн! ■	PQ 1

Рис. 13. Начало и конец списка авторов статистической базы

Рис. 14. Визуализация позиции в рейтинге

Тестирование программы

В качестве входных данных для тестирования использовалась актуальная информация о научных сотрудниках кафедры автоматизированных систем обработки информации и управления (АСОИУ) Казанского национального исследовательского технического университета им. А.Н. Туполева–КАИ в РИНЦ и SCOPUS, а также информация о рейтингах журналов. Входные данные представляют собой файлы формата sqlite с предварительно сформированными в соответствии с моделью базами данных. Примеры тестовых данных для 21 научного сотрудника кафедры АСОИУ изображены на рисунках 3–5. Для тестирования используются 4 метода и файл искусственной нейронной сети, описанные ранее при выборе математической модели.

Сравнительный анализ результатов

В качестве простейшего метода для сравнения используется метод суммирования. Данный метод использует только количественную оценку выбранных параметров автора без учета значимости отдельных показателей. Лидером рейтинга при таком методе оказывается Мокшин В.В., хотя индекс Хирша в ядре РИНЦ и общий в РИНЦ у Галеева И.Х. на 2 выше.

Метод экспертной оценки параметров при значимости индекса Хирша в Scopus, ядре РИНЦ и общий в РИНЦ значительно улучшает показатели Галеева И.Х., а индекс Хирша без самоцитирований и с учетом только журналов улучшает позиции Мокшина В.В. и Якимова И.М.

Метод использования мягких вычислений формирует значительное лидерство Галеева И.Х. за счет очень высокого показателя индекса Хирша в ядре РИНЦ и высоких остальных показателей. Позиции Мокшина В.В. и Якимова И.М. относительно высоки и приблизительно равны.

Метод применения искусственной нейронной сети формирует аномально низкие результаты для всех авторов, кроме Мокшина В.В. со значительно превосходящим значением рейтинга, Галеева И.Х. и Якимова И.М., что может объясняться некоторыми статистическими зависимостями в обучающей выборке данных.

Учет показателей журналов при расчете интегрированной оценки автора значительно повышает показатели Галеева И.Х. (превосходство минимум в 1.5 раза среди научных сотрудников кафедры АСОИУ), несмотря на меньший индекс Хирша с учетом только журналов, что говорит об авторитетности цитирующих публикации автора журналов, о значимости личного вклада автора.

Заключение

В процессе разработки системы автоматизированного проектирования рейтинга научных сотрудников КНИТУ-КАИ была создана среда с поддержкой различных математических методов расчета и возможностью быстрой и удобной визуализации полученных результатов для аналитического сравнения эффективности методов и параметров.

Работа выполнена под научным руководством доцента кафедры АСОИУ КНИТУ-КАИ Галеева Ильдара Хамитовича.