Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения

Автор: Третьякова Ольга Валентиновна, Кабакова Елена Алексеевна

Журнал: Экономические и социальные перемены: факты, тенденции, прогноз @volnc-esc

Рубрика: Организация научно-исследовательской деятельности

Статья в выпуске: 6 (30), 2013 года.

Бесплатный доступ

Возрастающая общественная значимость научного знания обусловливает постепенное проникновение наукометрических показателей в сферу регулирования деятельности ученых. Публикационные и цитатные показатели сегодня заявлены в правительственных документах как целевые индикаторы состояния науки. В статье представлены общие подходы к наукометрическому анализу деятельности научного учреждения; предпринята попытка дать оценочную характеристику публикационной активности институтов, входящих в состав Секции экономики Отделения общественных наук РАН, а также научно-образовательных организаций Вологодской области. В качестве механизма оценки научной работы использованы статистические данные Российского индекса научного цитирования (РИНЦ). Ранжирование организаций проведено по нескольким критериям: общему числу публикаций в РИНЦ, числу цитирований и значению индекса Хирша. Результаты исследования свидетельствуют о том, что сегодня для принятия эффективных управленческих решений в сфере науки необходимо создание системы объективной оценки результатов научной деятельности. Частью такой системы видится Российский индекс научного цитирования. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, наукометрические индикаторы, представленные в том числе и в РИНЦ, в перспективе могут использоваться для объективной и полновесной оценки научного потенциала регионов и страны в целом.

Еще

Наукометрия, индекс цитирования, ринц, реферативная база данных, оценка эффективности научно-исследовательской деятельности, публикационная активность

Короткий адрес: https://sciup.org/147109586

IDR: 147109586

Текст научной статьи Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения

Необходимость введения национальной системы оценки и анализа публикационной активности и цитируемости отечественных исследователей, организаций и изданий была обусловлена прежде всего непрезентативной представленностью российской периодики в зарубежных изданиях, сложностью использования зарубежных баз данных для статистического анализа, а также их ценовой доступностью [15].

В основе национальной системы лежит библиографическая реферативная база данных, в которой аккумулируются более 4,7 миллиона публикаций российских авторов и информация о цитировании этих публикаций в более чем 4 тысячах российских журналов. В последнее время в РИНЦ стали включаться и научные публикации других типов: доклады на конференциях, монографии, учебные пособия, патенты, диссертации. База содержит сведения о выходных данных, предметной области, авторе публикации, месте его работы, а также ключевые слова, аннотации и пристатейные списки литературы [15].

Создание планомерно расширяющейся единой электронной реферативной базы научных статей, опубликованных в отечественных журналах, и монографий получило поддержку в научном сообществе. Однако, когда речь заходит об использовании этой базы для оценивания публикационной деятельности конкретного ученого или научной организации, объективность данных РИНЦ подвергается сомнению11. В частности, эксперты указывают на то, что в круг индексируемых РИНЦ попали издания, которые не могут быть однозначно отнесены к разряду научных; а также на наличие алгоритмических ошибок, приводящих к нестыковке числовых параметров, некорректному отнесению публикаций к авторам и организациям, потере публикаций и ссылок. Множество вопросов вызы- вает и учет самоцитирования. Отмечается, что показатели, формируемые в РИНЦ, в существенной мере зависят от организационной активности руководителей научных учреждений и издателей, от своевременности занесения материалов в базу. Эти претензии справедливы. Но нельзя не видеть то, что в РИНЦ осуществляется активное накопление ресурсов, перенимается опыт аналогичных зарубежных баз, ведется поиск путей сотрудничества с иностранными институтами наукометрических измерений.

На наш взгляд, показатели Российского индекса научного цитирования можно использовать для оценочной характеристики деятельности отдельных ученых и учреждений в целом. Однако при этом необходимо соблюдать осторожность, чтобы не упустить из виду специфику научной деятельности, и использовать эти данные в качестве дополнения к квалифицированной экспертной оценке.

Учитывая это, мы применили показатели РИНЦ для оценки публикационной активности Института социально-экономического развития территорий Российской академии наук в сравнении с научными учреждениями, входящими в состав Секции экономики Отделения общественных наук РАН, зарегистрированными в РИНЦ, а также научными организациями Вологодской области. Такой подход дает возможность оценить эффективность научно-исследовательской деятельности организации в соответствующей научной отрасли и обозначить ее вклад в развитие научного потенциала региона.

Однако сразу же отметим, что представленные в исследовании результаты не претендуют на полноту изучения проблемы. Они затрагивают вопросы, которые можно отнести к проблеме формирования общих подходов к данному анализу.

Первичный анализ основывается на том положении, что если рассматривать науку как процесс получения знания, то необходимо прежде всего проследить за ростом числа научных публикаций, считая их носителями нового знания. В этом аспекте публикация представляет ключевой момент в производстве научных знаний: она формирует результаты исследований, делает их достоянием общественности, обеспечивая их передачу и подтверждение.

Для нашего анализа было решено использовать показатели ретроспективы – начиная с 2008 года, когда РИНЦ набрал достаточные для анализа масштабы и получил фактическое признание в научной среде и официальных источниках.

Как видно из данных таблицы 1 , общее количество зарегистрированных в РИНЦ публикаций институтов Секции экономики ООH РАН за 2008–2012 гг. составило 9958, из них более половины (61,68%) приходится на долю пяти институтов: Институт экономики РАН – 19,87%, Институт экономики и организации промышленного дела производства СО РАН – 13,60%, Институт экономики УрО РАН – 13,18%, Центральный экономико-математический институт РАН – 7,84% и Институт социально-экономического развития территорий (ИСЭРТ) РАН – 7,19%.

За анализируемый период сотрудники Института социально-экономического развития территорий РАН обеспечили существенный прирост абсолютного количества статей – со 108 в 2008 году до 207 в 2012 году, т.е. почти вдвое. Доля ИСЭРТ РАН в общем количестве представленных в РИНЦ публикаций институтов Секции экономики РАН за этот период выросла до 7%.

Очевидно, что количество публикаций может служить лишь первичным критерием оценки научной и публикационной активности учреждения. Данный показатель не несет в себе информации о качестве научной продукции и ее востребованности. Поэтому в современной наукометрии используется индекс цитирования как наиболее объективный показатель в оценке научной деятельности. Под ним понимается количество распределенных по годам ссылок на работы определенного исследователя или организации, выполненные в соответствующей отрасли научной деятельности. Цитирование показывает, что эти работы оказали влияние на других ученых. В таблице 2 приводится ранговое распределение институтов Секции экономики ООН РАН по частоте цитирования работ, выполненных их сотрудниками, за указанный период.

Данные таблицы свидетельствуют, что в 2008 году по общему числу цитирований ИСЭРТ РАН существенно отставал от институтов-лидеров. В последующие годы рассматриваемый показатель увеличился (в 12 раз в 2012 г. по сравнению с 2008 г.), что в итоге позволило ИСЭРТ РАН занять 7 место в рейтинге институтов Секции экономики ООН РАН по общему числу цитирований за период 2008–2012 гг. При этом, по вполне очевидным причинам, наиболее высокий ранг имеют институты, расположенные в Москве. Вместе с тем у «нестоличных» институтов возрастает возможность повысить свой ранг, так как именно они должны участвовать в разработке мер по модернизации экономического пространства страны. Наметившаяся в последние два-три года тенденция свидетельствует о значительном потенциале ускоренного продвижения «нестоличных» академических учреждений по этому пути.

Таблица 1. Общее число публикаций научных учреждений Секции экономики ООН РАН в РИНЦ (по состоянию на 25.10.2013)

Учреждение	Общее количество публикаций в 2008–2012 гг.	Удельный вес в количестве публикаций Секции экономики ООН РАН, %	Количество публикаций			Общее количество публикаций за 2013 г. по состоянию на 25.10.2013
Учреждение	Общее количество публикаций в 2008–2012 гг.		2008 г.	2012 г.	Темп роста, %
Институт экономики РАН	1979	19,87	406	409	101	224
Институт экономики и организации промышленного производства СО РАН	1354	13,60	267	305	114	166
Институт экономики УрО РАН	1312	13,18	244	308	126	158
Центральный экономикоматематический институт РАН	781	7,84	179	177	99	142
Институт социальноэкономического развития территорий РАН	716	7,19	108	207	192	147
Институт народнохозяйственного прогнозирования РАН	646	6,49	123	125	102	20
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	644	6,47	107	139	130	53
Институт социальноэкономических исследований Дагестанского НЦ РАН	480	4,82	108	55	51	18
Институт аграрных проблем РАН	365	3,67	63	72	114	21
Институт социальноэкономических проблем народонаселения РАН	352	3,53	69	72	104	48
Институт проблем региональной экономики РАН	287	2,88	52	64	123	26
Институт экономических исследований ДВО РАН	257	2,58	41	64	156	29
Институт проблем рынка РАН	188	1,89	23	50	217	31
Институт экономики Карельского НЦ РАН	128	1,29	11	51	464	21
Институт социальноэкономических и энергетических проблем Севера Коми НЦ УрО РАН	126	1,27	17	25	147	16
Институт социальноэкономических и гуманитарных исследований Южного НЦ РАН	116	1,16	2	51	В 25,5 раза	27
Институт социальноэкономических исследований Уфимского НЦ РАН	85	0,85	2	28	В 14 раз	25
Санкт-Петербургский экономикоматематический институт РАН	73	0,73	15	9	60	3
Сочинский научноисследовательский центр РАН	69	0,69	17	15	88	7
Итого	9958	100	1854	2226	12,2	1182

Таблица 2. Общее число цитирований научных учреждений Секции экономики ООН РАН в РИНЦ (по состоянию на 25.10.2013)

Учреждение	Общее число цитирований за 2008–2012 гг.	Ранг	Общее число цитирований авторов
Учреждение	Общее число цитирований за 2008–2012 гг.	Ранг	2008 г.	2012 г.	Темп роста, %	За 2013 г. по состоянию на 25.10.2013
Институт экономики РАН	2 655	1	381	702	184	455
Центральный экономикоматематический институт РАН	2 389	2	275	721	262	679
Институт экономики и организации промышленного производства СО РАН	2 138	3	213	655	308	363
Институт народнохозяйственного прогнозирования РАН	2 032	4	326	495	152	206
Институт экономики УрО РАН	1448	5	93	646	В 7 раз	483
Институт социальноэкономических проблем народонаселения РАН	806	6	93	202	217	84
Институт социальноэкономического развития территорий РАН	677	7	29	333	В 12 раз	327
Институт экономических исследований ДВО РАН	399	8	27	148	В 5,5 раза	52
Институт проблем рынка РАН	300	9	26	91	350	35
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	197	10	16	83	В 5 раз	56
Институт проблем региональной экономики РАН	149	11	8	65	В 8 раз	29
Институт аграрных проблем РАН	135	12	8	50	В 6 раз	12
Санкт-Петербургский экономикоматематический институт РАН	119	13	15	26	173	12
Институт социальноэкономических исследований Дагестанского НЦ РАН	108	14	11	44	В 4 раза	22
Институт социальноэкономических и энергетических проблем Севера Коми НЦ УрО РАН	100	15	9	41	В 4,6 раза	17
Сочинский научноисследовательский центр РАН	70	16	4	8	200	12
Институт экономики Карельского НЦ РАН	62	17	1	37	В 37 раз	18
Институт социальноэкономических исследований Уфимского НЦ РАН	42	18	4	24	В 6 раз	14
Институт социальноэкономических и гуманитарных исследований Южного НЦ РАН	15	19	0	7	-	13

В РИНЦ, на наш взгляд, позитивно решается также еще одна важная задача. Она связана с установлением показателя научной продуктивности исследователя, основанного на распределении цитирований его работ. Данный расчет базируется на идее американского физика Х. Хирша, предложившего в 2005 году рассчитывать соотношение количества публикаций ученого и их цитирований12. Это соотношение принято называть индексом Хирша, или h-индексом.

Введение данной метрики Х. Хирш аргументировал ее предпочтительностью перед такими критериями оценки, как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу [18]. Западные коллеги Х. Хирша, отмечая преимущества h-индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность, тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [17].

Несмотря на то что ряд ученых высказывают сомнение относительно корректности применения h-индекса для вычисления научной производительности [19, 20], отмечая прежде всего неспособность данного показателя выявлять важные работы, созданные в прошлом, и работы, которые продолжают существенно влиять на научное мышление. Вместе с тем нельзя отрицать, что h-индекс полезен в качестве общепринятой меры академических достижений.

Оригинальное определение индекса Хирша ориентировано на сравнение производительности авторов, тем не менее он используется для оценивания научных сообществ.

В отношении научных учреждений индекс Хирша вычисляется в РИНЦ на основе распределения цитирований работ исследователей. H-индекс h получается, если n из общего количества (Np) статей сотрудников данного учреждения цитируется как минимум h раз каждая, в то время как оставшиеся (Np – h) статьи цитируются не более чем h раз каждая. Можно сказать, что индекс Хирша характеризует масштабность и успешность исследовательской и публикационной деятельности организации и отражает усредненную публикационную активность исследователей.

В таблице 3 представлено рассчитанное РИНЦ ранговое положение институтов Секции экономики ООН РАН по индексу Хирша.

Высокие значения индекса Хирша в РИНЦ имеют три института Секции экономики ООН РАН (от 20 и выше): Институт экономики РАН (23), Институт народнохозяйственного прогнозирования РАН (22), Центральный экономико-математический институт РАН (21).

Пять институтов демонстрируют среднее значение индекса Хирша (от 10 до 20); одиннадцать – менее 10.

Индекс Хирша Института социальноэкономического развития территорий РАН равен 12. Данный индикатор означает, что в базе данных РИНЦ представлено не менее 12 научных работ института, каждая из которых имеет цитируемость 12 и выше. Наукометрическая отечественная практика признает такое значение индекса Хирша (12) показателем устойчивости качества научной продукции исследовательского коллектива.

Как уже было отмечено выше, показатели индексов цитирования могут быть использованы и для оценки вклада организаций в развитие научного потенциала региона. В этом случае данные о публикационной активности представляют собой сведения о востребованности и значимости результатов их деятельности.

Таблица 3. Индекс Хирша по учреждениям, относящимся к Секции экономики ООН РАН (по состоянию на 25.10.2013)

Учреждение	h-индекс	Ранговое место
Институт экономики РАН	23	1
Институт народнохозяйственного прогнозирования РАН	22	2
Центральный экономико-математический институт РАН	21	3
Институт социально-экономических проблем народонаселения РАН	16	4
Институт экономики и организации промышленного производства СО РАН	15	5
Институт экономики УрО РАН	14	6
Институт социально-экономического развития территорий РАН	12	7
Институт проблем рынка РАН	10	8
Институт экономических исследований ДВО РАН	9	9
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	7	10
Институт проблем региональной экономики РАН	6	11-13
Санкт-Петербургский экономико-математический институт РАН	6	11-13
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН	6	11-13
Институт аграрных проблем РАН	5	14
Институт экономики Карельского НЦ РАН	4	15-18
Институт социально-экономических исследований Дагестанского НЦ РАН	4	15-18
Институт социально-экономических исследований Уфимского НЦ РАН	4	15-18
Сочинский научно-исследовательский центр РАН	4	15-18
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН	3	19

Изучение представленных в РИНЦ данных позволило нам определить позиции ИСЭРТ РАН в отношении публикационной активности по сравнению с другими, расположенными на территории Вологодской области научно-исследовательскими организациями и учреждениями высшего профессионального образования. Следует отметить, что по количеству исследовательских организаций Вологодская область уступает Архангельской и Мурманской областям, Республике Карелия и Республике Коми, Ленинградской области и тем более г. Санкт-Петербургу, входящим в Северо-Западный федеральный округ.

И все же отражаемые в ресурсах РИНЦ данные позволяют утверждать, что ИСЭРТ РАН вышел на лидирующие позиции среди учреждений науки и высшего образования Вологодской области по основным наукометрическим параметрам (табл. 4) .

Таким образом, результаты проведенного анализа позволяют нам сделать следующие выводы.

Во-первых, изучение накопленного в РИНЦ ресурса подтверждает важность наукометрических показателей для современного ученого в отдельности и научных организаций в целом. Это диктуется и складывающейся в России системой управления наукой.

Таблица 4. Основные наукометрические показатели государственных научно-исследовательских организаций и вузов Вологодской области в РИНЦ

Учреждение	Публикации за 2008–2013 гг.		Показатель цитирования за 2008–2013 гг.		Среднее число публикаций в расчете на 1 автора		Среднее число цитирований в расчете на 1 автора		Индекс Хирша
Учреждение	Количество	Ранговое место	Количество	Ранговое место	Число	Ранговое место	Число	Ранговое место	Числовое значение	Ранговое место
Череповецкий государственный университет	1203	1	398	3	5,76	6	1,40	3	8	3-4
Институт социально-экономического развития территорий РАН	863	2	1004	1	6,12	5	2,59	2	12	1
Вологодский государственный педагогический университет	650	3	356	4	4,42	7	0,90	6	10	2
Вологодский государственный технический университет	643	4	453	2	3,74	8	0,97	5	8	3-4
Вологодский институт права и экономики	399	5	73	5	11,10	2	1,10	4	4	5
Вологодская государственная молочнохозяйственная академия им. В.В. Верещагина	317	6	70	6	8,71	4	0,63	7	3	6
Северо-Западный НИИ молочного и лугопастбищного хозяйства РАСХН	58	7	25	8	3,05	9	0,50	8-9	2	7-9
Филиал Санкт-Петербургского государственного экономического университета в г. Вологде	57	8	0	12-14	9,00	3	0,00	11-12	0	12-13
Вологодский институт бизнеса	41	9	1	11	11,50	1	0,50	8-9	1	10-11
Череповецкий военный инженерный институт радиоэлектроники	20	10	11	9	1,83	12	0,42	10	2	7-9
Вологодский институт развития образования	19	11	2	10	-	-	-	-	1	10-11
Вологодская областная универсальная научная библиотека им. И.В. Бабушкина	11	12	0	12-14	2,50	10-11	0,00	11-12	0	12-13
Центр гигиены и эпидемиологии Вологодской области	2	13	33	7	2,50	10-11	10,00	1	2	7-9
Вологодское отделение Государственного научно-исследовательского института озерного и речного рыбного хозяйства	0	14	0	12-14	-	-	-	-	-	-

Во-вторых, появление и развитие русскоязычного ресурса, каковым является РИНЦ, стимулирует интерес российских ученых, руководителей и специалистов к его использованию в целях повышения эффективности научно-исследовательской деятельности.

В-третьих, сегодня результативность и эффективность деятельности отдельных научно-исследовательских организаций может оцениваться и с привлечением данных национального индекса цитирования. Так, эти данные свидетельствуют о том, что Институт социально-экономического развития территорий РАН наращивает свою публикационную активность, повышает качество публикаций, их научную и практическую значимость.

В-четвертых, пока еще имеет место неактивное использование ресурсов РИНЦ. В этом отношении необходимы дополнительные организационные и экономические меры. Речь, в частности, идет о повышении профессионализма специалистов, участвующих в формировании РИНЦ, уровне накопления базы данных, о регулярности анализа публикуемых результатов знаний.

Разработка наукометрических измерений и их сопоставление открывают новые грани научной деятельности, дают возможность скорректировать ее направления и содержание, дать ей оценку, сравнить её результаты с результатами других исследований.

Следует, однако, принимать во внимание то, что сведения, представленные как в РИНЦ, так и в зарубежных индексах цитирования, не могут сегодня использоваться для абсолютной оценки научной деятельности отдельных ученых и учреждений в целом. Эти показатели, не всегда объективно учитывающие специфику научной деятельности, могут применяться в комплексе с квалифицированной экспертной оценкой. Являясь динамическими, они довольно быстро изменяются, что делает оценку, основанную на этих данных, объективной только на определенный временной период.

Тем не менее результаты проведенного нами анализа публикационной активности научных учреждений свидетельствуют о том, что работа, связанная с занесением их публикаций в информационно-аналитическую систему РИНЦ, крайне важна. На сегодняшний день существует очевидная потребность в более широком представлении в РИНЦ результатов научно-исследовательской деятельности учреждений, чтобы объективно и в полной мере оценить научный потенциал регионов и страны в целом.

Статья научная