Использование наукометрических показателей при оценке научной деятельности

В настоящее время проблема оценивания результативности научной деятельности с помощью наукометрических показателей приобрела особую актуальность, поскольку данные индикаторы совместно с экспертными заключениями стали использоваться на всех этапах процесса управления наукой.

В статье рассмотрены дискуссионные вопросы, появившиеся в последние годы в отношении тенденции широкого применения различных наукометрических показателей для оценки научной деятельности. Представлен обзор основных наукометрических показателей, учитывающих количество публикаций и количество цитирований, как по отдельности, так и совместно. Предпринята попытка дать сравнительную оценку наукометрических показателей учреждений, входящих в состав Секции экономики Отделения общественных наук РАН, по данным Российского индекса научного цитирования.

На основе анализа определены пути повышения наукометрических показателей. Обоснована необходимость применения экспертных технологий при оценке эффективности научной деятельности.

Оценка эффективности научной деятельности, наукометрические показатели, Российский индекс научного цитирования (РИНЦ), пути повышения наукометрических показателей.

Оценка научной деятельности как ученых, так и научных организаций – это одна из актуальнейших проблем, решением которой занимались едва ли не с момента зарождения науки. Несмотря на значительный прогресс в развитии науки, ей до сих пор не удалось найти оптимальный способ измерения значимости и качества собственных результатов. Вплоть до начала XX века вклад ученого в развитие науки оценивался научным сообществом лишь по содержательным качественным критериям, пока занятие наукой было уделом небольшого круга людей. Когда же это стало массовым явлением, выявлять лидеров и оценивать научную деятельность таким способом стало значительно труднее. Сложившаяся ситуация требовала разработки какого-то иного подхода к оценке научной дея- тельности, которым и стал метод количественной оценки результативности научной деятельности с помощью наукометрических показателей.

На данный момент существует два различных подхода к оценке научной деятельности – экспертный и статистический. Экспертный подход полагается на субъективное восприятие качества работы и имеет два существенных недостатка – влияние человеческого фактора и крайне высокую стоимость. Статистический подход опирается на численные оценки показателей, присущих автору или организации, которые основываются на данных опубликованных материалов и представляют различные аспекты научной деятельности в количественном воплощении. Такие оценки не подвержены влиянию человеческого фактора, но они не могут использоваться без экспертного анализа, так как представляют собой анализ лишь некоторых аспектов работы исследователя или учреждения. Качественные численные показатели крайне востребованы в настоящее время, так как субъективной экспертной оценки подчас бывает недостаточно для принятия решения о величине вклада в науку и перспективности ученого [7, с. 5].

По Приказу Министерства образования и науки Российской Федерации № 161 от 5 марта 2014 года1 были утверждены типовое положение о комиссии по оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, и типовая методика оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологичес кие работы гражданского назначения. Целями проведения оценки результативности деятельности научных организаций являются формирование эффективной системы научных организаций, увеличение их вклада в социально-экономическое развитие страны, развитие международного сотрудничества в сфере науки, повышение престижа российской науки в обществе, а также повышение качества принятия управленческих решений в сфере науки.

Возросший интерес к наукометрическим показателям вызван в первую очередь возможностью автоматизации процесса оценивания с использованием программных средств авторитетных баз данных: Web of Science, Scopus, Google Scholar, Astrophysics, PubMed, Mathematics, Chemical Abstracts, Agris, GeoRef и др. Кроме того, дешевизна и быстрота проверки обусловливают популярность наукометрических показателей в экспресс-оце-нивании публикационной деятельности ученых [15, с. 262-269].

С момента своего появления наукометрические методы находятся в центре непрекращающейся и со временем только усиливающейся дискуссии и получают весьма неоднозначные оценки в научном сообществе. При этом как сторонники этих методов, так и их противники признают, что наукометрические показатели лишь косвенно свидетельствуют о качестве научных исследований и реальном вкладе ученого в развитие предметной области [19; 20].

Основная критика ведется по нескольким направлениям:

– неточность наукометрических оценок, которая возникает из-за неполноты информационной базы, используемой для анализа;

– несовершенство применяемого инструментария (упрощенный аппарат математической статистики, введение ряда допущений, которые редко выполняются на практике);

– неадекватное использование наукометрических показателей в качестве единственного критерия оценки многогранной научно-исследовательской деятельности;

– провоцирование ученых к «накрутке» показателей различными способами в связи с использованием данных индикаторов для оценки научной деятельности [14, с. 249-261].

Это все создает наукометрии репутацию очень «лукавого зеркала науки», в котором каждый может увидеть то, что хочет увидеть. Вместе с тем, несмотря на активную критику наукометрии за контрпродуктивность, пока не удалось предложить более внятную, точную и реализуемую на практике систему «измерения» науки [3, с. 366-369].

Проблема применения наукометрических показателей для оценки труда российских ученых появилась вследствие напряженности, возникшей в среде российских ученых при введении Министерством образования и науки этих показателей в систему оценки деятельности подведомственных организаций [6, с. 540]. Необходимо учитывать тот факт, что использование показателей зарубежных баз данных для оценки научной деятельности российских ученых не дает объективной картины. В Прогнозе социально-экономического развития РФ на 2012 год и плановый период 2013 – 2014 гг. (раздел «Текущее состояние и тен- денции развития научно-технической и инновационной сфер»)2 отмечается низкая представленность России в мировой науке. Вывод сделан на основании анализа ключевых индикаторов, признанных во всем мире в качестве объективных критериев результативности и качества научных исследований, таких как количество публикаций в научной периодике и индекс цитируемости. На долю российских ученых приходится менее 2% цитирований в научных журналах, которые индексируются в ведущих зарубежных базах данных, причем этот показатель год от года не повышается [4, с. 102].

В сложившихся условиях назрел вопрос о создании национального индекса цитирования, который помог бы сформировать представление о реальном состоянии российской науки. Именно нерепрезентативное представление российской научной периодики в зарубежных системах цитирования, отсутствие доступной и объективной системы для количественной оценки научных результатов в России и потребность отечественных ученых в доступных информационно-поисковых системах стали причиной создания Российского индекса научного цитирования (РИНЦ). С 2005 года на платформе Научной электронной библиотеки было начато создание национальной информационно-аналитической системы Российского индекса научного цитирования, аккумулирующей на данный момент более 5,7 миллионов публикаций российских авторов, а также информацию о цитировании этих публикаций из более 4000 российских журналов. Данная система является не только средством для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, но и мощным инструментом, позволяющим осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых, уровень научных журналов и т. д. Основной целью РИНЦ была необходимость создания объективной системы оценки и анализа публикационной активности и цитируемости отечественных авторов, изданий и организаций [9].

В России начался новый период в истории развития ее науки, связанный с комплексным развитием отечественных электронных ресурсов для науки и образования, систематическим продвижением в сети Интернет российских научных изданий, созданием национальной библиографической базы данных по научной периодике, разработкой инструментария и сервисов для измерений научной деятельности [10, с. 7].

Итак, на сегодняшний день РИНЦ – это главный источник информации для оценки научной эффективности отечественных ученых и организаций, занимающихся научными исследованиями и разработками. Нередко эксперты отмечают определенные недостатки базы данных, но работа по ее совершенствованию не прекращается [2].

На основании данных, имеющихся в свободном доступе в системе РИНЦ, можно сделать вывод о наличии научных связей, направлении научных исследований и их динамике, рейтинге цитирования авторов, сотрудничающих с конкретным учреждением, общем числе статей, опубликованных сотрудниками учреждения и пр. Обратившись к наукометрическим показателям, можно также определить вектор интереса научных кругов: какая тематика в настоящее время вызывает наибольший интерес, а какая теряет свое влияние на умы ученых, что отражается на сокращении частоты ее присутствия на страницах научных изданий [4, с. 103].

Каждый год в наукометрии разрабатывается и затем проверяется на практике несколько десятков различных показателей, которые могут быть использованы для оценки эффективности научной деятельности. От того, как именно они применяются и для каких целей, зависят результаты проводимой оценки. Также остается открытым вопрос о привлечении специалистов к этому процессу [21].

Данные индикаторы делят на три основные группы [15]:

– показатели на основе количества публикаций;

– показатели на основе количества цитирований;

– показатели на основе количества цитирований и количества публикаций.

При рассмотрении показателей на основе количества публикаций учитываются такие важные факторы, как

• 1.    Тип публикации – монография, статья, тезисы, публикации в изданиях, входящих в список ВАК, публикации в журналах, внесенных в зарубежные базы данных Web of Science и Scopus и др. При этом данный показатель может быть подсчитан и по суммарному количеству работ.

• 2.    Объем публикации.

• 3.    Статус издания – для его определения используется такой показатель, как импакт-фактор, который является инструментом измерения ценности журнала путем вычисления среднего числа цитирований на статью за определенный промежуток времени [12, с. 3].

• 4.    Предметная область исследования. В зависимости от отрасли знания соответствующий показатель рассматривается по-разному [16].

• 5.    Количество соавторов. Для выделения личного вклада баллы за публикацию распределяют на всех соавторов. Обычно считается, что вклад всех соавторов равновеликий, поэтому баллы за публикацию делят на число соавторов.

Наиболее обобщенным показателем на основе количества публикаций считается общее число публикаций исследователя или организации, которое получается из библиографических баз данных и показывает именно то число работ, которое вошло в базу данных соответствующей информационно-поисковой системы. Для России это, прежде всего, периодические издания, вошедшие в систему РИНЦ, и журналы из списка ВАК.

В настоящее время ведущим наукометрическим показателем на основе количества цитирований является индекс цитирования – суммарное количество ссылок на работы автора в научных публикациях. Индекс цитирования свидетельствует о следующем:

• – он характеризует степень актуальности и важности проводимых исследований для тех областей знаний, в которых работают конкретные ученые или научные коллективы;

  – высокий индекс цитирования в определенной степени служит официальным признанием конкретного ученого научным сообществом и подтверждением его приоритета;

  – наличие в научно-образовательных организациях ученых, обладающих высоким индексом, говорит о высокой эффективности и результативности деятельности организации в целом.

В России индекс цитирования с каждым годом все больше внедряется в сферу науки и образования. Сегодня этот показатель активно используется в следующих направлениях:

– для оценки деятельности российских ученых и научно-образовательных организаций в целом;

– при проведении экспертизы заявок на финансирование в рамках федеральных целевых программ и других конкурсов;

– для аттестации научно-педагогических работников и оценки результатив- ности их научной деятельности в научнообразовательных учреждениях;

– издателями научной литературы и научно-технических периодических изданий для прогнозирования востребованности работ конкретного автора у целевой аудитории [10, с. 9-10].

Высокая цитируемость – это еще не гарантия какого-то особого качества работы, это лишь сигнал, свидетельствующий о том, что данная работа с большой вероятностью может оказаться полезной для развития научного знания. Различные методики подсчета цитирований научных публикаций получили в настоящее время широкое признание не потому, что полученные с их помощью оценки являются однозначными или исчерпывающими, а потому, что они являются пока единственными формализованными оценками научных результатов средствами самой науки [1, с. 19].

К показателям на основе количества цитирований и количества публикаций относят индекс Хирша и его модификации (хиршподобные наукометрические показатели). Однако ключевым показателем является классический индекс Хирша, разработанный Х. Хиршем в 2005 году. Введение данной метрики Х. Хирш аргументировал ее предпочтительностью перед такими критериями оценки, как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу. Согласно данному Хиршем определению, организация имеет индекс h, если h из его статей цитируются не менее h раз каждая, в то время как оставшиеся статьи цитируются не более чем h раз каждая [18]. Западные коллеги Х. Хирша, отмечая преимущества h-индекса перед другими показателями подобного рода, делают акцент на том, что этот индекс дает возможность учитывать не только количество публикаций, но и их востребованность, тем самым являясь результатом баланса между количеством публикаций и количеством цитирований, полученных каждой публикацией [17].

Общепризнано, что индекс Хирша обеспечивает более адекватную рейтинговую оценку исследователей, имеющих значительный стаж научной деятельности, чем могут дать такие показатели, как число публикаций или число цитирований.

Применение индекса Хирша для оценки результативности научной деятельности и построения различного рода рейтингов требует учета следующих важных обстоятельств. Во-первых, этот индекс, как и многие другие наукометрические индикаторы, в отрыве от библиографической базы не имеет смысла. Кроме того, он привязан ко времени подсчета. Во-вторых, индекс Хирша не может быть сопоставимым для разных областей науки. Его целесообразно применять для сравнения достижений исследователей, научных коллективов, организаций, работающих в общей предметной области [1, с. 25-27].

Проведя обзор основных наукометрических показателей, мы рассмотрели их применительно к Институту социальноэкономического развития территорий Российской академии наук (ИСЭРТ РАН). Ранее нами была уже предпринята попытка определить положение ИСЭРТ РАН в научной среде как на уровне страны, так и в регионе [11; 13]. Однако, учитывая тот факт, что наукометрические показатели являются динамическими, они довольно быстро изменяются, что делает оценку, основанную на этих данных, объективной только на определенный временной период. В настоящей статье мы используем показатели РИНЦ для оценки публикационной активности ИСЭРТ РАН в сравнении с научными учреждениями, входящими в состав Секции экономики

Отделения общественных наук РАН, которые были представлены в РИНЦ на июнь 2014 года.

Обратимся к основным показателям каждого учреждения, представленного в РИНЦ: общее число публикаций организации в РИНЦ, число статей в журналах, входящих в Web of Science или Scopus, число статей в журналах, входящих в перечень ВАК, суммарное число цитирований публикаций организации, число авторов учреждения и индекс Хирша.

Основываясь на данных таблицы, можно определить общее количество публикаций институтов Секции экономики ООН РАН в РИНЦ на июнь 2014 года. Оно составляет 20236 единиц. На институты, входящие в первую тройку (Институт экономики РАН, Институт экономики и организации промышленного производства СО РАН, Институт экономики УрО РАН), приходится 8838 работ, или 44% от общего числа публикаций. ИСЭРТ РАН занимает 6-ю позицию среди 19 учреждений, имея 1446 публикаций (7% от общего числа). Ближайшие институты, входящие в пятерку лидеров по данному показателю, – Центральный экономико-математический институт РАН и Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН (1767 и 1481 публикация соответственно). В течение 2014 года ИСЭРТ РАН имеет неплохие шансы войти в первую пятерку.

В общем числе публикаций выделяют еще два не менее важных показателя – число статей в журналах, входящих в Web of Science или Scopus, и число статей в журналах, входящих в перечень ВАК.

По числу статей в журналах, входящих в Web of Science или Scopus, лидирующие позиции принадлежат Институту народнохозяйственного прогнозирования РАН, Институту экономики УрО РАН и Институту экономики РАН. По этому показателю ИСЭРТ РАН занимает 8 место среди 19

учреждений Секции экономики ООН РАН. Для попадания в пятерку лидеров необходимо увеличить данный показатель как минимум в 3 раза и иметь не менее 100 публикаций в журналах, входящих в Web of Science или Scopus.

Относительно числа статей в журналах, входящих в перечень ВАК, ситуация несколько иная. В первую тройку входят те институты, которые занимают лидирующие позиции по общему количеству публикаций. ИСЭРТ РАН находится на 10 месте. Одной из основных задач для любого научного учреждения является планомерное наращивание количества публикаций в журналах, входящих в Web of Science или Scopus и в перечень ВАК. Пуб- ликации в подобных изданиях позволяют судить об авторитетности исследований, проводимых учреждением, а также о его представленности не только на уровне страны, но и на мировом уровне.

Наряду со значимостью количественных показателей по публикациям не менее важными индикаторами оценки публикационной активности учреждения является показатель количества цитирований работ, который позволяет судить о качестве научной продукции и ее востребованности. Обратимся к показателю суммарного количества цитирований организаций. Суммарное количество цитирований по всем 19 институтам Секции экономики ООН РАН насчитывает 32660

Таблица. Общие показатели научных учреждений Секции экономики ООН РАН, представленные в РИНЦ (по состоянию на 05.06.2014 – 07.06.2014)

Учреждение	Общее число публикаций организации в РИНЦ	Число статей в журналах, входящих в Web of Science или Scopus	Число статей в журналах, входящих в перечень ВАК	Суммарное число цитирований публикаций организации	Число авторов	Индекс Хирша
Институт экономики РАН	3641	229	2177	5184	298	25
Институт экономики и организации промышленного производства СО РАН	2996	99	1417	6243	275	27
Институт экономики УрО РАН	2201	396	1348	3173	302	19
Центральный экономико-математический институт РАН	1767	207	924	6034	278	28
Институт экономических проблем имени Г.П. Лузина Кольского НЦ РАН	1481	49	544	937	92	10
Институт социально-экономического развития территорий РАН	1446	38	354	1431	165	12
Институт народнохозяйственного прогнозирования РАН	1440	408	745	4681	245	25
Институт социально-экономических исследований Уфимского НЦ РАН	765	13	194	296	64	7
Институт социально-экономических исследований Дагестанского НЦ РАН	719	2	366	316	52	7
Институт социально-экономических проблем народонаселения РАН	717	47	439	1468	97	18
Институт аграрных проблем РАН	614	10	140	233	51	6
Институт экономических исследований ДВО РАН	597	21	394	912	68	11
Институт проблем региональной экономики РАН	538	3	199	258	53	6
Институт проблем рынка РАН	390	24	246	730	52	14
Институт социально-экономических и гуманитарных исследований Южного НЦ РАН	195	30	119	112	41	5
Институт экономики Карельского НЦ РАН	238	4	149	159	41	6
Институт социально-экономических и энергетических проблем Севера Коми НЦ УрО РАН	205	33	153	165	43	6
Сочинский научно-исследовательский центр РАН	144	4	70	122	18	5
Санкт-Петербургский экономикоматематический институт РАН	142	45	58	206	50	7

единиц. Однако по данному показателю распределение учреждений несколько иное. В тройку лидеров входят Институт экономики и организации промышленного производстваСОРАН, Центральный экономико-математический институт РАН и Институт экономики РАН, составляя 54% от общего числа цитирований (17461 единица). ИСЭРТ РАН находится на 7-й строчке по данному показателю, имея 1431 цитирование. Оценивая шансы на попадание в пятерку по суммарному количеству цитирований, можно сказать, что разрыв между 5 и 7 позициями составляет более чем 2 раза, поэтому на данный момент ИСЭРТ РАН может подняться лишь на 6-ю строчку, опередив Институт социально-экономических проблем народонаселения РАН. Впоследствии, постепенно наращивая количество цитирований, ИСЭРТ РАН имеет возможность войти в первую пятерку по данному показателю.

Еще один показатель, представленный в РИНЦ, – это число авторов организации. Данный показатель позволяет судить о масштабности исследований, проводимых институтом, и, соответственно, об участии в них определенного количества ученых. Вполне естественно, что по этому показателю ведущие позиции принадлежат учреждениям, которые находятся в крупных городах и в столице: Институт экономики УрО РАН (Екатеринбург), Институт экономики РАН (Москва), Центральный экономико-математический институт РАН (Москва), Институт экономики и организации промышленного производства СО РАН (Новосибирск) и Институт народнохозяйственного прогнозирования РАН (Москва). ИСЭРТ РАН имеет 165 авторов, проводящих свои исследования на базе института, и занимает 6 место, следом за учреждениями первой пятерки, что в целом говорит о его неплохой позиции на фоне крупных научно-исследовательских институтов, учитывая региональное местоположение организации.

Не менее важным показателем для любой организации является индекс Хирша, основанный на распределении цитирований работ авторов учреждения. Он позволяет судить о научной продуктивности как отдельного автора, так и организации в целом. Данные таблицы свидетельствуют, что высокие показатели индекса Хирша имеют 4 института (от 20 и выше), 6 организаций демонстрируют среднее значение индекса Хирша (от 10 до 20) и 9 учреждений – менее 10. Что касается ИСЭРТ РАН, показатель индекса Хирша института равен 12, что означает, что в базе данных РИНЦ представлено не менее 12 научных работ института, каждая из которых имеет цитируемость 12 и выше. ИСЭРТ РАН, на наш взгляд, должен планомерно повышать показатель индекса Хирша, следствием чего и станет попадание учреждения в пятерку первых институтов, что может быть достигнуто в ближайшие годы.

Обобщая все вышесказанное, можно сделать вывод, что наукометрические показатели и их сопоставление открывают новые грани научной деятельности, дают возможность ее скорректировать и оценить, а также сравнить результаты этой деятельности с результатами других научных организаций. По рассмотренным показателям ИСЭРТ РАН занимает достаточно уверенные позиции среди научных учреждений, входящих в состав Секции экономики Отделения общественных наук РАН. Однако главной задачей остается сохранение и улучшение имеющихся позиций по всем направлениям.

Применение наукометрических показателей в управлении наукой встречает множество сложностей, а также противодействие самих ученых, которые указывают на невозможность количественного измерения значимости научного результата. Очевидно, что нельзя эффективность и продуктивность работы научноисследовательской организации сводить лишь к нескольким универсальным наукометрическим показателям и затем на их основании выстраивать рейтинги. Они должны формироваться с учетом количественных и качественных показателей и характеристик эффективности научноисследовательской деятельности, уровня разработок, а также их значимости для научного мира и широкой общественности. Поэтому лишь профессиональная экспертиза и публичное обсуждение полученных научных результатов могут дать всестороннюю объективную оценку научной деятельности. Наукометрические показатели служат лишь инструментом поддержки принятия решений экспертами и могут играть только вспомогательную роль.