Современные инструменты оценки научного потенциала территории: наукометрический подход

В статье представлены общие подходы к наукометрическому анализу деятельности научных учреждений; предпринята попытка показать возможности индексов научного цитирования в оценке результативности деятельности научно-исследовательских организаций и эффективности научного потенциала территорий. Использованы статистические данные Российского индекса научного цитирования (РИНЦ) в качестве механизма оценки публикационной активности научных организаций и учреждений высшего образования Вологодской области. Результаты исследования свидетельствуют о том, что работа, связанная с занесением их публикаций в информационно-аналитическую систему РИНЦ, крайне важна. Сравнительный анализ показателей публикационной активности научных институтов и учреждений высшего образования, позволяющий обозначить их вклад в развитие научного потенциала региона, может быть использован сегодня как инструмент для выявления слабых сторон научно-исследовательской работы организаций и поиска путей ее совершенствования.

Научный потенциал территории, оценка эффективности научно-исследовательской деятельности, наукометрия, индекс цитирования.

Сегодня поставленные перед учеными задачи по интеграции в мировое научное пространство требуют новых подходов к распространению и продвижению результатов исследований, а также современных инструментов для оценки результативности деятельности научных организаций и эффективности научного потенциала территорий.

Сама категория «научный потенциал» и методы его оценки в последние годы находятся под пристальным вниманием научного сообщества. Ряд исследователей полагают, что при оценке научного потенциала организации целесообразно использовать ресурсную и результативную составляющие, т. е. не только ресурсные индикаторы деятельности научных учреждений, но и те, которые отражают результат использования (востребованности) ресурсного потенциала, т. е. показатели признания результатов научной деятельности организации научной об-щественностью1.

В качестве одного из инструментов оценки результатов научной деятельности могут рассматриваться показатели индексов научного цитирования. Публикационная активность, отражающая исследовательскую результативность в публичном пространстве, становится конкурентным преимуществом организации и ее научного коллектива на рынке исследований и разработок в сегменте соответствующих приоритетных научных направлений.

Публикационные и цитатные показатели рассматриваются сегодня как целевые индикаторы состояния науки в утвержденной распоряжением Правительства РФ «Стратегии инновационного развития Российской Федерации на период до 2020 года»2 и в указе Президента РФ «О мерах по реализации государственной политики в области образования и науки»3 от 7 мая 2012 года.

В проекте системы критериев для оценки работы научных организаций, разработанной Минобрнауки по пору- чению президента В.В. Путина, предлагается система оценок, ориентированная на подобную систему ведущих стран мира. Это, в частности, число публикаций в международных базах цитирования, а также обзоры и тезисы конференций, монографии, конструкторская и технологическая документация, различные стандарты, регламенты, результаты интеллектуальной деятельности, финансовая результативность научной организации. Еще одна группа критериев – это число статей, подготовленных совместно с зарубежными учеными в международных журналах, число проведенных организацией международных конференций. Одновременно планируется учет количества положительных и нейтральных упоминаний о научной организации в СМИ и посещаемости официальных сайтов учреждений в интернете.

Разработка наукометрических измерений и их сопоставление открывают новые грани научной деятельности, дают возможность скорректировать ее направления и содержание, дать ей оценку, сравнить ее результаты с результатами других исследований. По мнению специалистов, анализ цитирований позволяет выявить закономерности и определить вероятностные темпы развития науки, служит эффективным методом изучения коммуникации в профессиональном сообществе, дисциплинарной структурой науки, механизмом рождения нового знания4.

Одновременно с усилением роли индикаторов публикационной активности в оценке эффективности научной деятельности в экспертном сообществе развернулась дискуссия по поводу целесообразно- сти использования данных показателей. Ряд ученых, в том числе и зарубежных, подвергают сомнению оценку значимости научных результатов, основанную на данных о цитировании5.

Вместе с тем многие эксперты считают, что «в связи с реформированием РАН грядет аттестация академических институтов и библиометрические показатели (количество публикаций, цитируемость, импакт-фактор научных журналов, индекс Хирша) будут использоваться в качестве индикаторов эффективности деятельности научных коллективов» [2].

Директор Института проблем развития науки РАН член-корреспондент РАН Л.Э. Миндели, обращаясь с приветственным словом к участникам Международной конференции «Проблемы наукометрии: состояние и перспективы развития», которая состоялась в 2013 году в Российской академии наук, отметил, что «использование наукометрических параметров результативности деятельности ученых и исследовательских организаций может коренным образом изменить структуру научного пространства России». Подчеркивая, что переход ведущих стран мира к экономике, базирующейся на знаниях, открывает новые горизонты для наукометрических разработок, Л.Э. Миндели отмечает, что «методический арсенал наукометрии выйдет за рамки собственно науки и найдет масштабное применение для мониторингового взаимодействия экономических и социальных субъектов в области знаний» [2].

Зарубежные ученые, стоявшие у истоков создания реальных инструментов анализа научной информации, рассма- тривали результаты анализа цитирований как «достаточно объективную меру производительности труда ученого» [12; 13]. Разработанные во второй половине ХХ века международные и национальные индексы цитирований стали востребованы в качестве одного из инструментов принятия решений относительно эффективности и важности тех или иных научных разработок в рассматриваемой области исследований.

Данные глобальных индексов цитирования, среди которых ведущими являются международные базы данных Web of Science компании Thomson Reuters (США)6 и Scopus издательства Elsevier (Голландия)7, сегодня заявлены как целевые параметры для оценки качества и продуктивности научной деятельности отдельных ученых, организаций и страны в целом. Однако использование их показателей не дает объективной картины для оценки научной деятельности российских ученых, поскольку отечественные публикации слабо представлены в международных базах (по данным на август 2013 года на долю российских ученых приходится 1,9% в общем числе публикаций в Scopus и 1,2% – в Web of Science) [7, c. 13].

Еще более затруднено использование показателей международных баз данных применительно к оценке публикационной активности российских регионов. Это связано с тем, что региональные научные журналы, которые играют существенную роль в создании научных приоритетов развития фундаментальных исследований в субъектах Российской Федерации и в полной мере отражают специфику регионов, практически не представлены в ведущих миро вых индекса х цитирования.

В этой ситуации особую актуальность приобрел вопрос о разработке национального индекса цитирования как альтернативы зарубежным наукометрическим ресурсам, что и было реализовано в создании Российского индекса научного цитирования8 на платформе Научной электронной библиотеки.

Ранее нами уже была предпринята попытка представить общие подходы к наукометрическому анализу деятельности научных учреждений и дать оценочную характеристику публикационной активности научного института на основе статистических данных Российского индекса научного цитирования [10]. Изучение накопленного в РИНЦ ресурса подтвердило важность наукометрических показателей для современного ученого в отдельности и научных организаций в целом. Анализ индикаторов публикационной активности академических институтов экономического профиля показал, что данные учреждения наращивают свою публикационную активность, повышают качество публикаций, их научную и практическую значимость, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости. Тем не менее, исследование показало, что пока еще имеет место недостаточно активное использование ресурсов Российского индекса научного цитирования. В этом отношении необходимы дополнительные организационные и экономические меры.

На наш взгляд, показатели Российского индекса научного цитирования можно использовать для оценочной характеристики деятельности отдельных ученых и учреждений в целом. Учитывая это, мы применили показатели РИНЦ для оценки публикационной активности научных организаций и учреждений высшего образо- вания Вологодской области. Такой подход дает возможность оценить эффективность научно-исследовательской деятельности организаций в соответствующей научной отрасли и обозначить их вклад в развитие научного потенциала региона.

Следует отметить, что представленные в исследовании результаты не претендуют на полноту изучения проблемы. Они затрагивают вопросы, которые можно отнести к проблеме формирования общих подходов к данному анализу.

При оценке публикационной активности научных организаций Вологодской области использовались библиографические показатели Российского индекса научного цитирования за последние пять лет – 2009 – 2013 гг. Оценка проводилась по 10 научным учреждениям области, имеющим профили в РИНЦ, которые представлены высшими учебными заведениями и научно-исследовательскими институтами.

Первичный анализ основывается на том положении, что если рассматривать науку как процесс получения знания, то необходимо прежде всего проследить за ростом числа научных публикаций, считая их носителями нового знания. В этом аспекте публикация представляет собой ключевой момент в производстве научных знаний: она формирует результаты исследований, делает их достоянием общественности, обеспечивая их передачу и подтверждение.

Как видно из данных таблицы 1, общее количество зарегистрированных в РИНЦ публикаций научно-исследовательских организаций Вологодской области за 2009 – 2013 гг. составило 4362 ед., из них 79,5% приходится на долю трех учреждений: Вологодский государственный университет – 1363 публикации (31,2%), Череповецкий государственный университет – 1237 (28,4%), Институт социально-экономического развития территорий РАН – 866 (19,9%).

Таблица 1. Общие показатели числа публикаций научно-исследовательских организаций Вологодской области в РИНЦ (данные НЭБ на 22.07.2014)

Наименование учреждения	Общее число публикаций							Число статей в журналах, входящих в перечень ВАК, за 2009 – 2013 гг.	Число статей в журналах, входящих в Web of Science или Scopus, за 2009 – 2013 гг.	Число публикаций с участием зарубежных организаций за 2009 – 2013 гг.
	2009	2010	2011	2012	2013	2009-2013	Место
Вологодский государственный университет	193	242	304	311	313	1363	1	824	139	22
Череповецкий государственный университет	223	204	218	288	304	1237	2	874	110	6
Институт социально-экономического развития территорий РАН	99	125	185	212	245	866	3	309	30	8
Вологодский институт права и экономики	87	86	72	59	71	375	4	306	3	0
Вологодская государственная молочнохозяйственная академия им. В.В. Верещагина	40	51	64	91	111	357	5	204	8	0
Северо-Западный НИИ молочного и лугопастбищного хозяйства РАСХН	10	6	23	8	3	50	6	33	0	0
Филиал Санкт-Петербургского государственного экономического университета в г. Вологде	11	23	22	0	0	56	7	0	0	0
Вологодский институт бизнеса	4	4	13	10	12	43	8	38	0	0
Вологодский институт развития образования	0	1	3	4	4	12	9	9	0	0
Череповецкий военный инженерный институт радиоэлектроники	2	1	0	0	0	3	10	2	0	0
ВСЕГО	669	743	904	983	1063	4362		2599	290	36

В целом за анализируемый период научные организации региона обеспечили существенный прирост абсолютного количества статей в РИНЦ – с 288 в 2009 году до 968 в 2013 году, т. е. более чем в 3 раза (темп роста – 336%).

Более 60% публикаций научных организаций Вологодской области за период 2009 – 2013 гг. представлены статьями журналов, входящими в перечень ВАК, и 6,7% – публикациями в журналах, которые, помимо РИНЦ, индексируются в базах данных Web of Science или Scopus. Это существенные значения, которые харак- теризуют публикационную активность научных организаций региона не только в количественном плане, но и в качественном аспекте.

Представленные в РИНЦ данные позволяют сделать акцент на таком важном направлении научной деятельности, как проведение совместных исследований с зарубежными коллегами. К сожалению, на сегодняшний день доля публикаций вологодских научно-исследовательских учреждений с участием зарубежных организаций в общем числе их публикаций в РИНЦ за 2009 – 2013 гг. составляет только 0,8%.

Говоря о показателях общего количества публикаций научных организаций, следует отметить, что они могут служить лишь первичным критерием оценки научной и публикационной активности учреждения, так как не несут в себе информации о востребованности научной продукции и, соответственно, ее качестве.

В современной наукометрии для качественной оценки публикационной активности используется индекс цитирования, под которым понимается количество распределенных по годам ссылок на работы определенного исследователя или организации, выполненные в соответствующей отрасли научной деятельности. Цитирование показывает, что эти работы оказали влияние на других ученых.

В таблице 2 приводится ранговое распределение учреждений науки и высшего образования Вологодской области по частоте цитирования их публикаций в РИНЦ за указанный период.

Ранжирование организаций произведено по общему количеству цитирований всех публикаций в РИНЦ (по данным НЭБ на 22.07.2014).

Результаты анализа показателей цитирования показывают, что основная доля цитирований (91%) приходится на публикации трех организаций: Институт социально-экономического развития территорий РАН – 1193 цитирования (41,5%); Вологодский государственный университет – 983 (34,2%), Череповецкий государственный университет – 441 (15,3%). При этом следует отметить, что среднее число цитирований в расчете на одну публикацию за 2009 – 2013 гг. ИСЭРТ РАН составило 1,38, что превышает аналогичные показатели ВоГУ (0,72) почти в 2 раза и ЧГУ (0,36) почти в 4 раза.

Самое высокое значение среднего числа цитирований в расчете на одну публикацию за 2009 – 2013 гг. имеет Череповецкий военный инженерный институт радиоэлектроники – 3,67. Но здесь следует заметить, что такое значение показателя во многом обусловлено низким значением показателя общего количества публикаций организации в РИНЦ (11), используемого при расчете среднего цитирования на одну публикацию.

С целью уточнения и углубления оценки публикационной активности организаций, основанной на данных о цитировании, в таблице приводятся значения индекса Хирша (h-индекс). Данный расчет базируется на идее американского физика Х. Хирша, предложившего в 2005 году устанавливать соотношение количества публикаций ученого и их цитирований [15].

Западные коллеги Х. Хирша, отмечая преимущества h-индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность, тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [14].

Оригинальное определение индекса Хирша ориентировано на сравнение производительности авторов, тем не менее он используется для оценивания научных сообществ.

В отношении научных учреждений индекс Хирша вычисляется в РИНЦ на основе распределения цитирований работ исследователей. H-индекс h получается, если n из общего количества (Np) статей сотрудников данного учреждения цитируется как минимум h раз каждая, в то время как оставшиеся (Np – h) статьи цитируются не более чем h раз каждая. Можно сказать, что индекс Хирша характеризует масштабность и успешность исследовательской и публикационной деятельности организации и отражает усредненную публикационную активность исследователей.

Таблица 2. Показатели цитирования публикаций научно-исследовательских организаций Вологодской области в РИНЦ (данные НЭБ на 22.07.2014)

Наименование учреждения	Общее число цитирований всех публикаций							Среднее число цитирований в расчете на одну публикацию за 2009 – 2013 гг.	h-индекс (индекс Хирша)
	2009	2010	2011	2012	2013	2009 – 2013	Место
Институт социальноэкономического развития территорий РАН	73	101	149	341	529	1193	1	1,38	12
Вологодский государственный университет	147	171	162	247	256	983	2	0,72	13
Череповецкий государственный университет	50	75	82	105	129	441	3	0,36	9
Вологодский институт права и экономики	4	11	26	26	39	106	4	0,28	5
Вологодская государственная молочнохозяйственная академия им. В.В. Верещагина	13	12	11	22	47	105	5	0,29	4
Северо-Западный НИИ молочного и лугопастбищного хозяйства РАСХН	7	2	5	8	12	34	6	0,68	3
Череповецкий военный инженерный институт радиоэлектроники	3	2	1	3	2	11	7	3,67	2
Вологодский институт развития образования	0	0	1	1	1	3	8	0,25	1
Вологодский институт бизнеса	1	0	0	0	0	1	9	0,02	1
Филиал Санкт-Петербургского государственного экономического университета в г. Вологде	0	0	0	0	0	0	10	0,00	0
ВСЕГО	298	374	437	753	1015	2877		0,660

Согласно данным РИНЦ, среди научноисследовательских учреждений Вологодской области только две организации имеют значение индекса Хирша выше 10. К ним относятся Вологодский государственный университет (h-индекс – 13) и Институт социально-экономического развития территорий РАН (h-индекс – 12). Наукометрическая отечественная практика признает такие значения индекса Хирша показателями устойчивости качества научной продукции исследовательского коллектива.

Несколько уступает по этому значению Череповецкий государственный университет (h-индекс – 9), остальные организации имеют значения h-индекса 5 и ниже.

Таким образом, анализ публикационной активности научно-исследовательских организаций Вологодской области, основанный на данных Российского индекса научного цитирования, может свидетельствовать о том, что на сегодняшний день основной удельный вес в национальном индексе цитирования имеют три организации региона. Это учреждения высшего образования Вологодский государственный университет и Череповецкий государственный университет, а также научная организация – Институт социально-экономического развития территорий РАН. На долю этих учреждений приходится около 80% всех публикаций научных организаций

Вологодской области за 2009 – 2013 гг. в РИНЦ, а также более 90% цитирований за указанный период.

Используя данные индексов цитирования в оценке результативности деятельности научных организаций и эффективности научного потенциала территорий, следует принимать во внимание то, что сведения, представленные как в РИНЦ, так и в зарубежных индексах цитирования, не могут сегодня использоваться для абсолютной оценки научной деятельности отдельных ученых и учреждений в целом. Являясь динамическими, они довольно быстро изменяются, что делает выводы, основанные на этих данных, объективными только на определенный временной период. Данные показатели, не всегда объективно учитывающие специфику научной деятельности, могут применяться в комплексе с квалифицированной экспертной оценкой и дополняться оценкой по другим критериям.

Тем не менее, результаты проведенного нами анализа публикационной активности научных учреждений свидетельствуют о том, что работа, связанная с занесением их публикаций в информационно-аналитическую систему РИНЦ, крайне важна. Сравнительный анализ научных институтов и учреждений высшего образования может быть использован сегодня как инструмент для выявления слабых сторон научно-исследовательской работы организаций и поиска путей ее совершенствования. Первостепенные задачи, связанные с улучшением положения научных институтов и вузов в индексах цитирования, предполагают планомерное увеличение публикаций в высокоцитируемых научных журналах, более широкое представление в статьях результатов совместных исследований с зарубежными учеными, увеличение числа публикаций в журналах, индексируемых в ведущих мировых базах данных.

Подводя итоги, следует также отметить, что на сегодняшний день существует очевидная потребность в более широком представлении в РИНЦ результатов научно-исследовательской деятельности учреждений, чтобы объективно и в полной мере представить и оценить научный потенциал регионов и страны в целом.