Разработка системы для сравнения публикационной активности кафедр вуза КНИТУ - КАИ им. Туполева

Современное научное сообщество заинтересовано в формировании коллективов, способных выполнять эффективные образовательные и научноисследовательские функции. Одним из показателей эффективности работы научнопедагогического работника является его публикационная активность. Проблема оценки публикационной активности ученого является объектом исследования наукометрии, которая изучает не только эволюцию науки, а также методы и способы статистической обработки информации о количестве опубликованных статей, цитируемости и взаимосвязанных показателей, таких как индекс Хирша, импакт-фактор журнала и др. Интерес к возможностям статистической оценки деятельности ученого проявляется российскими и зарубежными сообществами [1, 2]. Предлагаются различные методы и способы их оценки.

Для учета публикаций и цитирования в современном мире существует множество наукометрических систем, в которых консолидируются сведения о публикациях (научные статьи, книги, патенты, диссертации и авторефераты, отчеты о научной деятельности) и обращения (цитирования) источников, включенных в эти системы. Наиболее известными среди них являются системы Web of Science и Scopus. Наряду с мировыми наукометрическими системами разрабатываются и внедряются системы, характеризующие публикационную активность ученых в конкретно взятой стране. В Российской Федерации наукометрическая система представлена Российским индексом научного цитирования (РИНЦ) на платформе Elibrary.

Данная платформа предлагает набор дополнительных сервисов для авторов научных публикаций, организаций и издательств. Система SCIENCE INDEX предоставляет возможности анализа и оценки эффективности работы отдельных сотрудников с применением широкого набора индикаторов, однако не предоставляет оценку для сравнения активности публикаций различных кафедр внутри одного университета. Учет показателей научных сотрудников в рамках отдельной кафедры позволит выявить вклад каждой кафедры университета в развитие «экономики, основанной на знаниях». Сравнение публикационной активности отдельной кафедры позволяет оценить работу каждой кафедры, а также способствует мотивации в дальнейшей работе.

Оценка научной деятельности авторов на основе количества публикаций, либо количества цитат имеет ряд недостатков. Количество публикаций не отражает качество научных исследований. Само по себе общее количество цитат всех работ автора тоже неинформативно: оно может приходится лишь на одну публикацию из всех. Оценка научной деятельности на основе только индекса Хирша имеет ряд проблем. По определению его значение не может превышать количество публикаций автора. Однако количество публикаций является всего лишь одним из многих факторов, характеризующих научную деятельность конкретного автора. Также возникает вопрос, как ранжировать авторов с одинаковым индексом Хирша?

Решение данной проблемы было найдено в вычисление интегральной взвешенной оценки. При вычислении такой оценки кафедры учитываются различные индексы каждого преподавателя данной кафедры. Применяя методы вычисления и математический аппарат, вычисляется рейтинговая оценка кафедры.

Нормирование вычисленных значений осуществляется линейной трансформацией по всему множеству выходных данных. Интерпретация результата оценки представляет собой визуализацию в виде гистограмм по значению рейтинга или позиции.

В данной работе анализируется публикационная активность двух кафедр КНИТУ-КАИ: АСОИУ и ДПУ.

Анализ показателей публикационной активности

В качестве показателей публикационной активности автора в РИНЦ и Scopus были выбраны следующие параметры:

• •   Число цитирований из публикаций, входящих в РИНЦ

• •   Число цитирований из публикаций, входящих в ядро РИНЦ

• •    Индекс Хирша по публикациям в РИНЦ - индекс Хирша, учитывающий при расчете ссылки на все публикации автора в РИНЦ из публикаций, входящих в РИНЦ.

• •    Индекс Хирша по ядру РИНЦ - индекс Хирша, учитывающий при расчете ссылки на все публикации автора в ядре РИНЦ из публикаций, входящих в ядро РИНЦ;

• •    Индекс Хирша без учета самоцитирований - рассчитывается аналогично индексу Хирша, но при этом не учитываются цитирования, сделанные из работ этого же автора;

• •    Индекс Хирша с учетом только статей в журналах - рассчитывается аналогично индексу Хирша, но при этом учитываются цитирования только статей в журналах и только из статей в журналах;

• •   Число самоцитирований

• •   Число цитирований из зарубежных журналов

• •    Средневзвешенный импакт-фактор журналов, в которых были процитированы статьи

• •    h- индекс - индекс Хирша, учитывающий при расчете ссылки на все публикации автора в Scopus из публикаций, входящих в Scopus;

Интегральный показатель журнала в системе Science Index используется при построении рейтинга российских научных журналов и рассчитывается по следующей методике:

• •    На первом этапе журнал приписывается к определенному тематическому направлению.

• •    Затем     для     каждого     направления     рассчитывается:

• -    среднее число ссылок в списках цитируемой литературы на статьи в журналах                                            РИНЦ;

• -    средняя доля ссылок из публикаций текущего года на статьи в журнале за последние 5 лет по отношению ко всем ссылкам на данный журнал (за все годы).

• •    За основу расчетов показателя берется пятилетний импакт-фактор журнала в РИНЦ с учетом цитирования переводной версии журнала (при ее наличии) и с учетом самоцитирования.

• •    Рассчитанные значения нормируются.

• •    Полученное скорректированное значение импакт-фактора журнала затем делится на индекс Херфиндаля по цитирующим журналам.

Более подробная информация доступна по электронному адресу:

Методика расчета публикационной активности профессорско – преподавательского состава университета.

Для каждого показателя был назначен весовой коэффициент, и итоговая публикационная активность преподавателя вычислялась, как линейная комбинация значений показателя и соответствующего весового коэффициента согласно выражению:

п

Ж) = ’7aj.k4,i = 1,N, (1)

где K i – показатель публикационной активности i-го преподавателя; N – количество оцениваемых преподавателей; n – количество показателей, входящих в структуру оценки публикационной активности; a j – кортеж весовых коэффициентов для каждого структурного показателя, назначенных рейтинговой комиссией и утвержденных руководителем университета; k ij – значение j-го показателя публикационной активности для i-го преподавателя.

Так как значения показателей разнородные была применена наиболее популярная линейная нормировка по «минимаксу» на диапазон от 0 до 1:

y ⁽ %) = -

• ^{— -}min

max ^—min

Нормировка дает возможность выразить отклонения всей системы показателей от наилучших или наихудших оценочных значений и тем самым правильнее с содержательных позиций их соизмерить между собой.

В результате был сформирован массив записи, содержащий сведения о преподавателе: фамилия, имя, отчество, принадлежность к кафедре и кортеж показателей публикационной активности.

Полученная информация позволила построить итоговый показатель, который показывает рейтинг кафедры в сравнении всех кафедр университета. В нашем случае. Итоговый показатель отображает рейтинг двух кафедр университета.

Разработка модели базы данных

В рамках разрабатываемой автоматизированной системы сравнения публикационной активности кафедр ВУЗа КАИ был выбрана система разработки и ведения БД Microsoft SQL Server 2016 и среда визуализации Microsoft SQL Server Report builder, который входит в состав SQL Server Reporting Services.

S QL Server Reporting Services (SSRS) – это службы для разработки, построения, доставки и просмотра отчетов. С помощью этих служб можно создавать табличные, интерактивные, графические и другие более сложные отчеты с использованием диаграмм и других отчетных элементов.

SSRS реализован как web-служба и ее администрирование, а также управление отчетами производится через веб интерфейс. Стандартный доступ к отчетам предоставляется пользователям также через веб интерфейс. SSRS предоставляет возможность интегрировать разработанные отчеты в сторонние приложения, т.е. имеется некий API функционал. Например, SSRS можно интегрировать с SharePoint.

Microsoft SQL Server 2016 - система управления реляционными базами данных (РСУБД), разработанная корпорацией Microsoft. Основной используемый язык запросов — Transact-SQL, создан совместно Microsoft и Sybase. Transact-SQL является реализацией стандарта ANSI/ISO по структурированному языку запросов (SQL) с расширениями. Используется для работы с базами данных размером от персональных до крупных баз данных масштаба предприятия; конкурирует с другими СУБД в этом сегменте рынка.

Реализация программных средств

Для ранжирования текущей публикационной активности авторов предложенным методом разработана web-страница, которая на основе информации о публикациях в базе данных вычисляет индексированный показатель, который состоит из совокупности показателей публикационной деятельности двух кафедр и визуализирует в виде графиков.

Ввод новой информации в базу данных осуществляется в ручном режиме. В виду трудоемкости ввода всех публикаций и цитирующих их публикаций в базу данных программы, введена информация о публикациях одной организации (КНИТУ-КАИ).

Заполнение базы данных происходит путем импорта заранее подготовленного файла с данными преподавателей и их показателями. (рис 1- 4)

Рис.1. Создание БД путем импорта

Рис.2. Выбор Excel в качестве источника БД

Q SQLServerImport and Export Wizard

Select Source Tables and Views

Choose one or more tables and views to copy.

j, Column Mappings

Source:                                  'DataS'

Destination:                                   [dbo). [DataS]

C Create destination table                   Edit SQL... |

Г Delete rows in destination table I- Drop and re-create destination table

<• Append rows to the destination table I Enable identity insert

Mappings:

Source

j Destination

| Nullable | Size | Precision | Scale ] ~

. . . ., .....                     USE [Work]

igh Availability                  60

IF NOT EXISTS (SELECT name FROM sys.filegroups WHERE is_default=l arvices Catalogs             go

F Ж-. Connected. 11/11

Кафедра

Число публика... Число публика... Чиспо публика... Число цитиров... Число цитиров... Число цитиров... Индекс Хирша ... Индекс Хирша... Индекс Хирша ... Число публика... Число ссылок ... Число публика... Среднее число... Индекс Хирша ... Индекс Хирша ... Год первой пуб...

Кафедра

Число публика... Число публика... Число публика... Число цитиров... Число цитиров... Число цитиров... Индекс Хирша ... Индекс Хирша... Индекс Хирша ... Число публика... Число ссылок ... Число публика... Среднее число... Индекс Хирша ... Индекс Хирша ... Годпеовойпуб...

nvarchar nvarchar

Source column:

ID Double (15)

Рис.3. Маппинг полей данных

В результате ввода данных создано две 2 базы данных: база данных с исходными значениями и база данных с нормированными значениями, которые использованы для нормированного анализа.

Рис. 4. Созданные БД

Визуализация данных, а также создание отчетов осуществлялось в оснастке

SQL Server Reporting Services:

Рис. 5. Создание отчетов в оснастке SQL Server Reporting Services

Все созданные отчеты можно просмотреть в реестре отчетов.(рис.6) Для наглядности из каждого отчета можно провалиться в другой отчет и данную иерархию также можно просмотреть в данном сервисе.(рис.7)

sqlOl/ReportServer - /Reports

[В род ительский каталог ]

12	января	2019	Г .	4:10	101829	ALL data
12	января	2019	г.	4:11	41272	IntegerCathedra
12	января	2019	г.	4:11	22025	Inte g erCat~edra_pro ps
12	января	2019	г.	4:11	22093	IntegerCathedra propsl
12	января	2019	г.	4:11	21931	IntegerCathedra props?
12	января	2019	г.	4:11	21829	Inte g erCathedra crops3
12	января	2019	г.	4:11	21985	IntegerCathedra props4
12	января	2019	г.	4:11	21799	IntegerCathedra props5
12	января	2019	г.	4:11	22009	IntegerCathedra propsfi
12	января	2019	г.	4:11	22009	IntegerCathedra props?
12	января	2019	г.	4:11	22227	IntegerCathedra .propsS
12	января	2019	г.	4:12	30224	Inte g erCat hedraSL'M

Версия 13.0.4001.0 Microsoft SQL Server Reporting Services

Рис. 6. Реестр отчетов

Рис.7. Иерархия отчетов

Сравнительный анализ результатов

Система выдает результат в виде графиков и списка значений рейтинга научных направлений.

IntegerCathedraSUM - основной отчет вычисления интегрального показателя.

Рис.8. Отчет вычисления интегрального показателя

Чтобы в отчете использовались данные БД необходимо создать коннектор данных отчета и Data Set – обработчик массива данных, получаемых из SQL базы на основе скрипта T-SQL:

SELECT --[ID]

--,[Кафедра]

--,[ФИО]

[Кафедра]

,@par1*SUM([Число цитирований из публикаций, входящих в РИНЦ]) as 'Число цитирований из публикаций, входящих в РИНЦ'

,@par2*SUM([Число цитирований из публикаций, входящих в ядро РИНЦ]) as 'Число цитирований из публикаций, входящих в ядро РИНЦ'

,@par3*SUM([Индекс Хирша по публикациям в РИНЦ]) as 'Индекс Хирша по публикациям в РИНЦ'

,@par4*SUM([Индекс Хирша по ядру РИНЦ]) as 'Индекс Хирша по ядру РИНЦ'

,@par5*SUM([Индекс Хирша без учета самоцитирований]) as 'Индекс Хирша без учета самоцитирований'

,@par6*SUM([Число самоцитирований]) as 'Число самоцитирований'

,@par7*SUM([Число цитирований из зарубежных журналов]) as 'Число цитирований из зарубежных журналов'

,@par8*SUM([Средневзвешенный импакт-фактор журналов, в которых были процитир])

'Средневзвешенный импакт-фактор журналов, в которых были процитир'

FROM [Work].[dbo].[Data_norm$]

group by [Кафедра]

Параметры par1-8 используются для изменения весов каждого из значащих параметров основной выборки.

По умолчанию значение веса для каждого из показателей задается равным 1.(рис.9)

Рис.9 Ввод значение веса по умолчанию

Значение интегрального показателя представляет из себя сумму нормированных значений основных показателей (ранее умноженных на вес каждого).(рис.10)

Рис. 10. Значение интегрального показателя

SSRS Expression:

=Fields!Число_цитирований_из_публикаций__входящих_в_РИНЦ.Value+Fields! Число_цитирований_из_публикаций__входящих_в_ядро_РИНЦ .Value+Fields!Инд екс_Хирша_по_публикациям_в_РИНЦ.Value+Fields!Индекс_Хирша_по_ядру_РИНЦ .Value+Fields!Индекс_Хирша_без_учета_самоцитирований.Value+Fields!Числ о_самоцитирований.Value+Fields!Число_цитирований_из_зарубежных_журнало в.Value+Fields!Средневзвешенный_импакт_фактор_журналов__в_которых_были _процитир.Value

При визуализации данных имеется возможность самим задать коэффициент важности, то есть выставить приоритетные показатели, вес которых имеет наибольшее влияние на итоговый показатель.

Из главного отчета можно провалится в другой отчет, и просмотреть данные в разрезе одной кафедры по каждому показателю и каждому преподавателю кафедры. Для этого необходимо указать метод перехода вглубь отчета. На рис.11-12 показан переход с главного отчета на отчет по кафедре.

Рис. 11. Указание метода перехода вглубь отчета, от интегрального показателя, передаваемый параметр: Кафедра

Рис.12. Отчет IntegerCathedra

T-SQL Query:

SELECT --[ID]

--,[Кафедра]

• --,[ФИО]

[Кафедра]

,SUM([Число цитирований из публикаций, входящих в РИНЦ]) as 'Число цитирований из публикаций, входящих в РИНЦ'

,SUM([Число цитирований из публикаций, входящих в ядро РИНЦ]) as 'Число цитирований из публикаций, входящих в ядро РИНЦ'

,SUM([Индекс Хирша по публикациям в РИНЦ]) as 'Индекс Хирша по публикациям в РИНЦ'

,SUM([Индекс Хирша по ядру РИНЦ]) as 'Индекс Хирша по ядру РИНЦ'

,SUM([Индекс Хирша без учета самоцитирований]) as 'Индекс Хирша без учета самоцитирований'

,SUM([Число самоцитирований]) as 'Число самоцитирований'

,SUM([Число цитирований из зарубежных журналов]) as 'Число цитирований из зарубежных журналов'

,SUM([Средневзвешенный импакт-фактор журналов, в которых были процитир]) 'Средневзвешенный импакт-фактор журналов, в которых были процитир'

FROM [Work].[dbo].[Data_norm$]

where [Кафедра] in (@Кафедра)

group by [Кафедра]

Помимо просмотра данных в разрезе одной кафедры имеется возможность сравнить показатели между кафедрами, выбрав соответствующие наименования кафедр в выпадающем окне. (рис. 13)

Рис. 13. Общий показатель в разрезе кафедр

В SQL Server Reporting Services также можно просмотреть данные используемые для отчета. Можно просмотреть как исходные так и нормированные данные (рис.14):

Рис.14. Просмотр входных данных

T-SQL Query Dataset2:

SELECT --[ID]

--,[Кафедра]

[ФИО]

,[Кафедра]

,SUM([Число цитирований из публикаций, входящих в РИНЦ]) as 'Число цитирований из публикаций, входящих в РИНЦ'

,SUM([Число цитирований из публикаций, входящих в ядро РИНЦ]) as 'Число цитирований из публикаций, входящих в ядро РИНЦ'

,SUM([Индекс Хирша по публикациям в РИНЦ]) as 'Индекс Хирша по публикациям в РИНЦ'

,SUM([Индекс Хирша по ядру РИНЦ]) as 'Индекс Хирша по ядру РИНЦ'

,SUM([Индекс Хирша без учета самоцитирований]) as 'Индекс Хирша без учета самоцитирований'

,SUM([Число самоцитирований]) as 'Число самоцитирований'

,SUM([Число цитирований из зарубежных журналов]) as 'Число цитирований из зарубежных журналов'

,SUM([Средневзвешенный импакт-фактор журналов, в которых были процитир])

'Средневзвешенный импакт-фактор журналов, в которых были процитир'

FROM [Work].[dbo].[Data$]

where [Кафедра] in (@Кафедра)

group by [Кафедра],[ФИО]

Оценка полученных результатов

На основании полученных результатов и после анализа показателей двух кафедр университета можно сделать следующие выводы:

Наибольший рейтинг имеет кафедра АСОИУ, что выражается наибольшим значением интегрального показателя.

Рис.15. Интегральный показатель

После просмотра отчетов в разрезе каждой кафедры и преподавателей, можно сделать вывод, что кафедра АСОИУ имеет большее количество авторов, которые имеют большее количество публикаций и цитирований в РИНЦ. (рис 16-17)

Рис.16. Общие показатели

По рис. 16 можно сделать вывод, что в целом кафедра АСОИУ лидирует в качестве показателей. Особенно в сравнении таких показателей как:

• •    число цитирований из публикаций входящих в РИНЦ

• •    индекс Хирша по публикациям в РИНЦ

• •    индекс Хирша без учета самоцитирований

• •    число самоцитирований

• •    средневзвешенный импакт фактор журналов, в которых были процитированы авторы

Исходя из графика кафедра ДПУ имеет большее число цитирований в зарубежных журналах, а также имеет выше индекс Хирша по ядру РИНЦ. Это говорит о том, что статьи преподавателей этой кафедры больше, чем статьи кафедры АСОИУ опубликованны в журналах, входящих в российский пул Web of Science, Web of Science CoreCollection или Scopus. Но данный показатель лишь ненамного отличается у двух кафедр.

На рис. 17 показан график показателя числа цитирований из публикаций, входящих в РИНЦ, по каждому преподавателю. В данный отчет также можно провалиться из другого взаимосвязанного отчета. К примеру, из отчета Общих показателей.

Можно просмотреть показатели преподавателей в разрезе одной кафедры или в сравнении двух кафедр, выбрав соответствующие чекбоксы в фильтре.

Рис 17. Показатель числа цитирований из публикаций, входящих в РИНЦ

Заключение

В данном исследовании предложен новый метод анализа публикационный активности в разрезе каждой кафедры университета. Предложенный метод совместно с индексом Хирша и другими показателями публикационной активности позволяет получить сравнительную оценку публикационной активности кафедр ВУЗа.

Для расчета оценки предложенным методом эксперт должен задать определенные настройки, который влияют на результат. Поэтому следует сказать, что результат оценки в какой-то мере является субъективной оценкой эксперта, задающего значимость влияния факторов.