Развитие национального индекса цитирования как условие формирования системы оценки результатов научной деятельности

Сегодня для принятия эффективных управленческих решений в сфере науки необходимо создание системы объективной оценки результатов научной деятельности, позволяющей сконцентрировать государственные средства на перспективных направлениях исследований, результаты которых востребованы обществом и экономикой страны.

Разработка наукометрических измерений и их сопоставление открывают новые грани оценки научной деятельности, дают возможность скорректировать ее направления и содержание, сравнить результаты исследований. Анализ цитирований позволяет выявить закономерности и определить вероятностные темпы развития науки, служит эффективным методом изучения коммуникации в профессиональном сообществе и дисциплинарной структурой науки.

Несмотря на то что различные аспекты применения библиометрических показателей для оценки результатов научной деятельности освещаются как зарубежными (E. Garfield [23, 24], M. Graber [24], J. Hirsch [25], R. Ketzler [28] и др.), так и отечественными исследователями (Б.И. Бедный [1], С.В. Бредихин [2], В.А. Варшавский [4, 5, 6], О.В. Кириллова [12], В.А. Маркусова [4, 13], О.В. Михайлов [14], В.В. Писляков [17] и др.), еще не установлены четкие критерии оценок, основанных на библиометриче-ских измерениях; сохраняется необходимость проведения ряда наукометрических исследований для определения источников информации и методов ее извлечения, а также для выявления задач, которые могут быть решены при наличии той или иной информации.

Цель настоящей работы состоит в том, чтобы обосновать необходимость развития национальной информационно-аналитической системы цитирования, которая должна стать частью системы оценки эффективности и результативности деятельности российских ученых и научных организаций. Показатели проведенного мониторинга показателей публикационной активности научных организаций экономического профиля, подведомственных ФАНО России, свидетельствуют о том, что в РИНЦ накоплен определенный ресурс, который в перспективе может использоваться как инструмент оценки эффективности деятельности научных учреждений, как альтернатива международным базам, показатели которых сегодня официально используются в этих целях, хотя они не позволяют в полной мере оценить результаты научной деятельности российских научных организаций и отдельных ученых по причине их слабой представленности в глобальных индексах цитирования.

В настоящее время на страницах научных изданий и в СМИ развернулась дискуссия по поводу целесообразности применения наукометрических показателей в сфере регулирования деятельности ученых. Эксперты считают, что «в связи с реформированием РАН грядет аттестация академических институтов, и библиометрические показатели (количество публикаций, цитируемость, импакт-фактор научных журналов, индекс Хирша) будут использоваться в качестве индикаторов эффективности деятельности научных коллективов» [7]. Как подчеркивает Л.Э. Миндели, переход ведущих стран мира к экономике, базирующейся на знаниях, открывает новые горизонты для наукометрических разработок и, по его мнению, «методический арсенал наукометрии выйдет за рамки собственно науки и найдет масштабное применение для мониторингового взаимодействия экономических и социальных субъектов в области знаний» [7].

Наряду с учеными, признающими роль библиометрических показателей как инструмента измерения значимости научных результатов, многие эксперты подвергают сомнению оценку академической ценности результатов исследований, основанную на данных о цитировании, на том основании, что цитатные показатели представляют собой ограниченный и неполный взгляд на качество исследований1.

Среди исследователей, допускающих применение наукометрических методов к оценке результативности и эффективности науки, сложилось мнение о том, что при этом библиометрические показатели должны использоваться в качестве вспомогательных, только как дополнение к экспертной оценке2. Следует также отметить, что вслед за зарубежными учеными3 российские эксперты признают, что результативность или продуктивность труда ученых целесообразно оценивать посредством показателя удельных внутренних затрат на академическую или фундаментальную науку по паритету покупательной способности в расчете на одну статью [32].

Несмотря на то что эксперты еще не пришли к единому мнению по поводу использования показателей публикационной активности для оценки эффективности научной деятельности ученых и научных коллективов, наукометрические параметры используются как целевые ориентиры государственной научной политики. При этом за основу берутся данные зарубежных систем цитирования. Так, в целях дальнейшего совершенствования государственной политики в области образования и науки и подготовки квалифицированных специ- алистов с учетом требований инновационной экономики Президент постановил Правительству РФ «обеспечить к 2015 году доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (WEB of Science), до 2,44 процента»4.

Приказом Министерства образования и науки Российской Федерации от 5 марта 2014 г. № 162 утверждены порядок предоставления научными организациями сведений о результатах их деятельности в целях мониторинга и состав этих сведений [15]. Состав сведений определяется 25 показателями, которые оценивают результаты деятельности научных организаций по четырем направлениям: результативность и востребованность научных исследований; развитие кадрового потенциала; интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки; ресурсное обеспечение деятельности научной организации.

Первая группа индикаторов для оценки результативности и востребованности научных исследований включает восемь показателей, три из которых являются библи-ометрическими. К ним относятся число и совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования, а также совокупный импакт-фактор журналов, в которых опубликованы статьи организации. Следует отметить, что обязательно указывается число и совокупная цитируемость публикаций, индексируемых в базе данных Web of Science, в то время как данные по другим базам данных являются факультативными.

К данным международных информационно-аналитических систем научного цитирования привязаны также два показателя, по которым оценивается степень интеграции учреждения в мировое научное пространство. Это число статей, подготовленных совместно с зарубежными организациями, и число научных конференций с международным участием. Здесь учитываются работы, опубликованные в журналах, индексируемых в

Web of Science и Scopus, а также научные конференции и симпозиумы, по которым изданы материалы, индексируемые в указанных международных информационно-аналитических системах научного цитирования.

В таблице 1 приводятся показатели оценки деятельности научных организаций, которые определяются по данным информационно-аналитических систем научного цитирования.

Таблица 1. Состав сведений о результатах деятельности научных организаций, рассчитывающихся по данным информационно-аналитических систем научного цитирования

Результативность и востребованность научных исследований	Число публикаций организации, индексируемых в российских и международных информационноаналитических системах научного цитирования:		Учитываются все рецензируемые публикации за отчетный период (статьи, обзоры, тезисы докладов, материалы конференций)
	а	Web of Science	В качестве дополнительной информации организация указывает строку поиска
	б	Scopus	Указывается по желанию организации
	в	Российский индекс научного цитирования	Указывается по желанию организации
	г	Google Scholar	Указывается по желанию организации
	д	ERIH (European Reference Index for the Humanities)	Указывается по желанию организации
	е	Специализированная информационноаналитическая система	Указывается по желанию организации в случае, если публикации индексируются в иной международной системе
	Совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования:		Учитывается совокупная цитируемость публикаций организации
	а	Web of Science	Показатель рассчитывается автоматически по опции Search
	б	Scopus	Указывается по желанию организации
	в	Google Scholar	Указывается по желанию организации
	г	Российский индекс научного цитирования	Указывается по желанию организации
	Совокупный импакт-фактор журналов, в которых опубликованы статьи организации		Вычисляется по значениям импакт-факторов журналов, соответствующих году отчета
Интеграция в мировое научное пространство, распространение научных знаний и повышение престижа науки	Число статей, подготовленных совместно с зарубежными организациями		Учитываются работы, опубликованные в журналах, индексируемых в международных информационно-аналитических системах научного цитирования Web of Science и Scopus
	Число научных конференций с международным участием, проведенных организацией		Учитываются только научные конференции и симпозиумы, по которым изданы материалы, индексируемые в международных информационно-аналитических системах научного цитирования Web of Science и Scopus

Источник: Приказ Министерства образования и науки Российской Федерации от 5 марта 2014 г. № 162. Приложение 3 «Состав сведений о результатах деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, представляемых в целях мониторинга и оценки» [Электронный ресурс]. – Режим доступа:

Однако использование показателей глобальных индексов цитирования не дает объективной картины для оценки научной деятельности российских ученых, поскольку их публикации слабо представлены в международных базах (по данным на август 2013 года на долю российских ученых приходится 1,9% в общем числе публикаций в Scopus и 1,2% – в Web of Science) [12, с. 13]. Также следует отметить, что цитируемость российских авторов невысокая. Так, показатель влияния цитирования, который рассчитывается в InCites5 как среднее цитирование статей, выраженное в доле от среднего по миру (равно 1), только в последние годы приближается к значению 0,5, т.е. в два раза ниже среднего мирового индикатора. Зарубежные эксперты отмечают, что показатель влияния цитирования российских публикаций является одним из самых низких среди стран Восточной Европы, несмотря на общее мнение, что наука в России очень сильна6.

Таким образом, использование показателей глобальных информационно-аналитических систем научного цитирования для мониторинга и оценки результатов деятельности научных организаций в России, на наш взгляд, не позволяет сформировать объективное представление о публикационной активности российских ученых и научных коллективов.

Кроме того, по мнению ведущих ученых, «подмена национальной реферативно-библиографической базы иностранными системами цитирования ведет к ориентации российских ученых на научно-исследовательские работы, интересные в первую очередь зарубежному научному сообществу, у которого свои потребности в научной информации, очень часто не совпадающие с тем, что необходимо отечественной науке в силу исторически сложившихся реалий» [11, с. 11]. В результате этого происходит «потеря суверенитета российской науки в части выбора направлений исследований и отток за рубеж перспективных молодых ученых, которые переориентировались на иностранную научную тематику» [11, с. 11].

Таким образом, всё большую актуальность приобретает вопрос о создании национального индекса цитирования, который мог бы стать альтернативой зарубежным базам данных. Мировой опыт свидетельствует о том, что развитие национальных библиографических баз способствует повышению уровня национальных научных изданий, а также позволяет наиболее полно и достоверно подойти к оценке результативности научных коллективов на основе опубликованных ими трудов.

Созданные во многих странах национальные реферативные базы данных, такие как China Scientific and Technical Papers and Citations7 и Chinese Science Citation Database (Китай)8, Citation Database for Japanese Papers (Япония)9, Brazil’s National Database of Research and Science Resumes (Бразилия), достигли значительных успехов в популяризации и демонстрации научных достижений своих государств.

Вопрос о создании объективной системы работы научных организаций не раз поднимался, в том числе и на самом высоком уровне. Так, на заседании Совета при Президенте РФ по науке и образованию в Гатчине (30 апреля 2013 года) В.В. Путин справедливо отметил, что «действующий инструмент оценки научных организаций и результатов их работы имеет, безусловно, определённые недостатки. Он не позволяет выделить настоящих лидеров в том или ином секторе исследований, а сама оценка результативности никак не увязана с финансированием научных организаций». Президент РФ подчеркнул, что существует необходимость выстроить «национальную систему объективной оценки работы научных организаций», которая, по его мнению, «позволит сконцентрировать государственные средства на тех направлениях, где мы можем сказать, действительно, веское новое слово, получить многообещающие результаты, востребованные нашим обществом и экономикой страны»10.

На наш взгляд, что частью такой системы может стать Российский индекс научного цитирования. Созданный в 2005 году на платформе Научной электронной библиотеки (НЭБ, eLibrary.ru), сегодня РИНЦ является мощной аналитической системой для оценки научной деятельности, в которой рассчитывается и постоянно обновляется ряд наукометрических показателей.

В основе национальной системы лежит библиографическая реферативная база данных, в которой аккумулировано более 7 миллионов публикаций российских авторов и информация о цитировании этих публикаций из более 4,5 тыс. российских журналов.

Помимо публикаций из научных журналов в РИНЦ включаются доклады на конференциях, монографии, учебные пособия, патенты, диссертации. База содержит сведения о выходных данных, авторах публикаций, местах их работы, ключевых словах и предметных областях, а также аннотации и пристатейные списки литературы. РИНЦ позволяет на основе объективных данных оценивать результативность исследовательской работы и детально исследовать статистику публикационной активности более 600 тысяч российских ученых и 11 тысяч научных организаций, относящихся ко всем отраслям знаний11.

Ранее нами уже была предпринята попытка представить общие подходы к оценке результативности научной деятельности организаций на основе статистических данных Российского индекса научного цитирования [20, 21]. Изучение накопленного в РИНЦ ресурса подтвердило важность наукометрических показателей для современного ученого в отдельности и научных коллективов в целом.

Мониторинг показателей публикационной активности осуществляется по группе академических институтов экономического профиля, подведомственных Федеральному агентству научных организаций, которые ранее входили в Секцию экономики ООН РАН. Анализ наукометрических индикаторов показал, что эти организации наращивают свою публикационную активность, повышают качество публикаций, их научную и практическую значимость, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости.

Полученные результаты позволяют нам сегодня говорить о том, что если в 2013 году имело место неактивное использование ресурсов РИНЦ в указанной референтной группе, то на начало 2015 года большинство институтов существенно увеличили свои показатели в этой базе данных.

Поскольку индикаторы в РИНЦ периодически обновляются не только по текущему году, но и по предыдущим периодам, чтобы оценить темпы роста публикационной активности институтов из указанной референтной группы, мы сравнили ряд показателей за пять лет.

Для обеспечения сопоставимости сравниваемых периодов в динамике использованы суммарные показатели двух последовательных пятилетий: 2008–2012 гг. (по данным РИНЦ на октябрь 2013 г.)12; 2009–2013 гг. (по данным РИНЦ на октябрь 2014 г.)13, т.е. в последующем периоде были исключены показатели базового года предшествующего пятилетия и добавлены показатели следующего года. Такой подход позволяет иметь равные временные отрезки, а также учитывать активизацию наполняемости данными.

Справочно даются показатели за последний пятилетний период, представленный в РИНЦ, т.е. за 2010–2014 гг. Эти данные не используются для сопоставления, так как они представлены в РИНЦ еще не в полном объеме. Эти данные выявляют дальнейшие тенденции развития и используются для ранжирования научных организаций.

Динамика показателей общего числа публикаций в РИНЦ, принадлежащих научным институтам экономического про- филя, подведомственным ФАНО России, представлена в таблице 2. Организации ранжированы по общему количеству публикаций за 2010–2014 гг.

Данные таблицы свидетельствуют о том, что в среднем по референтной группе темп роста числа публикаций за период 2009– 2013 гг. составил 125% по сравнению с предыдущим периодом 2008–2012 гг. Имеющиеся данные на 14.01.2015 также показывают рост числа публикаций за период 2010–2014 гг. по сравнению с предыдущим пятилетним периодом на 13%. Очевидно, что эти цифры еще несколько увеличатся на конец 2015 года.

В таблице 3 представлена динамика показателей общего числа цитирований в РИНЦ, принадлежащих научным институтам экономического профиля, подведомственным ФАНО России. Организации ранжированы по общему количеству цитирований за 2010–2014 гг.

Анализ цитирований позволяет сделать вывод о том, что все институты экономического профиля, подведомственные ФАНО России, существенно улучшили показатели цитирования за 2009–2013 гг. по отношению к предыдущему пятилетнему периоду. Средний темп роста по этому показателю в референтной группе за 2014 год составил 209%, т.е. общее количество цитирований увеличилось более чем в 2 раза.

Результаты исследования динамики значений индекса Хирша¹⁴ научных учреждений экономического профиля, подведомственных ФАНО России, свидетельствуют о том, что этот показатель у многих институтов существенно увеличился в течение 2014 года (табл. 4) .

Таблица 2. Динамика показателей общего числа публикаций за пятилетний период научных учреждений экономического профиля, подведомственных ФАНО России, в РИНЦ

Наименование учреждения	Общее количество публикаций за 2008-2012 гг. (данные на октябрь 2013 г.)	Общее количество публикаций за 2009-2013 гг. (данные на октябрь 2014 г.)	Темп роста 2009-2013 гг. к 2008-2012 гг., %	Общее количество публикаций за 2010-2014 гг. (данные на 14.01.2015)	Ранговое место за период 2010-2014 гг. (данные на 14.01.2015)
Институт экономики РАН	1979	2182	110	2324	1
Институт экономики и организации промышленного производства СО РАН	1354	1744	128	1982	2
Институт экономики УрО РАН	1312	1449	110	1467	3
Центральный экономико-математический институт РАН	781	945	120	1459	4
Институт социально-экономического развития территорий РАН	716	922	150	1201	5
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	644	1096	170	1170	6
Институт социально-экономических исследований Уфимского НЦ РАН	85	514	в 6 раз	714	7
Институт народнохозяйственного прогнозирования РАН	646	678	104	643	8
Институт проблем рынка РАН	188	406	216	464	9
Институт экономических исследований ДВО РАН	257	365	142	457	10
Институт социально-экономических исследований Дагестанского НЦ РАН	480	472	98	421	11
Институт аграрных проблем РАН	365	371	102	382	12
Институт социально-экономических проблем народонаселения РАН	352	372	106	360	13
Институт проблем региональной экономики РАН	287	284	99	359	14
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН	116	185	159	242	15
Институт экономики Карельского НЦ РАН	128	163	127	178	16
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН	126	163	129	171	17
Сочинский научно-исследовательский центр РАН	69	106	154	99	18
Санкт-Петербургский экономикоматематический институт РАН	73	80	110	68	19
Итого	9958	12497	125	14161	-

Таблица 3. Динамика показателей общего числа цитирований за пятилетний период научных учреждений экономического профиля, подведомственных ФАНО России, в РИНЦ

Наименование учреждения	Общее количество цитирований за 2008-2012 гг. (данные на октябрь 2013 г.)	Общее количество цитирований за 2009-2013 гг. (данные на октябрь 2014 г.)	Темп роста 2009-2013 гг. к 2008-2012 гг., %	Общее количество цитирований за 2010-2014 гг. (данные на 14.01.2015)	Ранговое место за период 2010-2014 гг. (данные на 14.01.2015)
Центральный экономико-математический институт РАН	2389	4536	190	10223	1
Институт экономики РАН	2655	5059	191	6400	2
Институт экономики и организации промышленного производства СО РАН	2138	5141	240	6137	3
Институт экономики УрО РАН	1448	2790	193	3856	4
Институт проблем рынка РАН	300	2504	в 8,4 раза	3519	5
Институт народнохозяйственного прогнозирования РАН	2032	2876	142	3092	6
Институт социально - экономического развития территорий РАН	677	1335	197	2027	7
Институт социально-экономических проблем народонаселения РАН	806	1283	159	1508	8
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	197	861	в 4,4 раза	1116	9
Институт экономических исследований ДВО РАН	399	820	205	1075	10
Институт социально-экономических исследований Дагестанского НЦ РАН	108	352	326	676	11
Институт социально-экономических исследований Уфимского НЦ РАН	42	254	в 6 раз	385	12
Институт проблем региональной экономики РАН	149	225	151	379	13
Институт аграрных проблем РАН	135	228	169	314	14
Институт экономики Карельского НЦ РАН	62	156	252	273	15
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН	100	169	169	249	16
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН	15	103	в 6,9 раз	222	17
Санкт-Петербургский экономикоматематический институт РАН	119	170	143	198	18
Сочинский научно-исследовательский центр РАН	70	90	129	112	19
Итого	13841	28952	209	41761	-

Таблица 4. Динамика значений индекса Хирша научных учреждений экономического профиля, подведомственных ФАНО России, в РИНЦ

Наименование учреждения	h-индекс (данные на октябрь 2013 г.)	h-индекс (данные на октябрь 2014 г.)	Темп роста значения индекса Хирша в 2014 г. по сравнению с 2013 г.	h-индекс (данные на 14.01.2015)	Ранговое место (данные на 14.01.2015)
Центральный экономико-математический институт РАН	21	32	152	48	1
Институт проблем рынка РАН	10	34	340	35	2
Институт экономики РАН	23	29	126	32	3
Институт экономики и организации промышленного производства СО РАН	15	29	193	31	4
Институт народнохозяйственного прогнозирования РАН	22	27	123	28	5
Институт экономики УрО РАН	14	20	143	21	6-7
Институт социально-экономических проблем народонаселения РАН	16	20	125	21	6-7
Институт социально-экономического развития территорий РАН	12	13	108	14	8-9
Институт экономических исследований ДВО РАН	9	13	144	14	8-9
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	7	11	157	12	10
Институт социально-экономических исследований Дагестанского НЦ РАН	4	9	225	10	11
Институт социально-экономических исследований Уфимского НЦ РАН	4	8	200	9	12-14
Институт аграрных проблем РАН	5	8	160	9	12-14
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН	6	7	117	9	12-14
Институт экономики Карельского НЦ РАН	4	7	175	8	15-16
Институт проблем региональной экономики РАН	6	7	117	8	15-16
Санкт-Петербургский экономикоматематический институт РАН	6	7	117	7	17-18
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН	3	5	167	7	17-18
Сочинский научно-исследовательский центр РАН	4	5	125	5	19

Таким образом, анализ индикаторов публикационной активности академических институтов экономического профиля, подведомственных ФАНО России, показал, что в течение 2014 года показатели публикационной активности этих организаций в РИНЦ существенно увеличились. Значительный рост библиометрических показателей обусловлен тем, что научные институты максимально широко представили в РИНЦ результаты научной деятельности, что подтверждает возросший интерес к аналитическому ресурсу. Очевидно, что уже сегодня Российский индекс научного цитирования имеет все перспективы стать частью системы по оценке результатов работы научных организаций. В совокупности с квалифицированной экспертной оценкой, позволяющей учитывать специфику научной деятельности, наукометрические индикаторы, представленные в РИНЦ, на наш взгляд, могут составить объективное представление о результативности деятельности научных учреждений по различным референтным группам.

Следует, однако, отметить, что развитие русскоязычного ресурса, каковым является РИНЦ, требует дополнительных организационных и экономических мер.

Прежде всего, на государственном уровне необходимо принятие решения о закреплении за Российским индексом научного цитирования статуса национальной базы данных. Важно иметь в виду, что, если речь идет об оценке эффективности и результативности деятельности российских ученых и научных организаций, а также о ранжировании научных журналов на базе каких-либо наукометрических показателей, необходимо брать за основу данные национального индекса цитирования. Развитие отечественной реферативно-библиографической базы будет во многом способствовать сохранению суверенитета российской науки, позволит руководствоваться в выборе приоритетов научного развития прежде всего национальными интересами.

В составе сведений о результатах деятельности научных организаций, представляемых в целях мониторинга и оценки в ФАНО России, целесообразно в качестве обязательного показателя оценки результативности и востребованности научных исследований указывать «число публикаций организации, индексируемых в РИНЦ». Количество публикаций, реферируемых в международных базах данных, на наш взгляд, не может использоваться как основной наукометрический показатель для оценки результатов работы российской научной организации, поскольку российские публикации слабо представлены в зарубежных базах данных и этот показатель не позволяет составить объективную картину публикационной активности научных учреждений.

Отдельно следует отметить, что формирование национального индекса цитирования должно быть организовано путем отбора периодических изданий и отдельных публикаций по строгим критериям, которые обеспечили бы качество представленных в базе материалов, что сделало бы их оценку по наукометрическим показателям более объективной.

В завершение следует подчеркнуть, что главной целью системы оценки результатов научной деятельности должен стать поиск путей содействия научным институтам, создание базы для принятия эффективных управленческих решений в сфере науки, что позволит повысить уровень российских научных изданий и добиться существенных результатов по всем направлениям научных исследований.