К вопросу об импакт-факторе научного журнала и методиках его формирования

Сегодня для принятия эффективных управленческих решений в сфере науки назрела необходимость в создании системы объективной оценки эффективности научной деятельности.

В статье освещается проблема использования наукометрических показателей в оценке результатов научно-исследовательской деятельности, в частности, затрагивается вопрос применения импакт-фактора как инструмента для сопоставления и ранжирования научных журналов. Представлен обзор существующих методик формирования импакт-фактора и проанализированы возможности Российского индекса научного цитирования в расчёте импакт-фактора научных журналов на примере изданий по экономике. Результаты проведённого анализа свидетельствуют о том, что в РИНЦ накоплен определенный ресурс, который применим для сопоставления научных журналов. Импакт-фактор, который может быть выбран за основу ранжирования, не должен использоваться без учёта других показателей, влияющих на цитируемость. Также важно иметь в виду, что сопоставление научных журналов, основанное на наукометрических показателях, должно обязательно подтверждаться экспертной оценкой.

Наукометрия, индекс цитирования, наукометрический показатель, импакт-фактор, оценки результатов научной деятельности.

В последние годы в решениях, принимаемых правительственными органами, во многих публикациях, оценивающих уровень и эффективность организации научной работы, подчёркивается необ- ходимость создания системы оценки результатов научной деятельности. При этом в качестве целевых индикаторов состояния науки всё чаще рассматриваются показатели цитирования1. На осно- ве данных о публикационной активности научно-исследовательских организаций формируются различные рейтинги, даётся оценка эффективности деятельности учёных и научных учреждений.

Одним из базовых наукометрических показателей называется импакт-фактор научного журнала. В настоящее время данный показатель всё чаще применяется библиотеками для принятия решения о подписке на те или иные периодические издания, учёными при выборе журнала для публикации статьи, редакторами и издателями в качестве инструмента для оценки и продвижения научных журналов.

Одновременно среди экспертов расширяется дискуссия по поводу целесообразности использования импакт-фак-тора. Наряду с учёными, признающими роль библиометрических показателей как инструментов измерения значимости научных результатов, многие эксперты подвергают сомнению оценку академической ценности журналов, основанную на данных о цитировании2.

Ранее нами уже представлялись общие подходы к наукометрическому анализу деятельности научных учреждений и давалась оценочная характеристика публикационной активности научного института [8].

В настоящей статье мы изложим нашу точку зрения по вопросу применения импакт-фактора как инструмента ранжирования научных журналов, а также представим обзор существующих методик формирования данного показателя и проанализируем возможности Российского индекса научного цитирования в расчёте импакт-факторов отечественных научных журналов.

Импакт-фактор был предложен американским учёным Юджином Гарфилдом как инструмент измерения ценности журналов путём вычисления среднего числа цитирований на статью за определённый промежуток времени [11]. Термин «импакт-фактор» впервые был употреблён Гарфилдом в статье в журнале Science, которую он написал в 1955 году, продвигая идею индекса цитирования. Говоря о его практическом применении, Гарфилд отмечал, что в случае весьма значимых работ индекс цитирования может помочь в измерении степени влияния работы, т. е. её «импакт-фактора» [10]. И уже в начале 1960-х гг. Юджин Гарфилд и Ирвинг Г. Шер рассчитали импакт-фактор журналов, чтобы отобрать научные издания для нового индекса цитирования Science Citation Index (SCI) [12]. С 1964 года индекс цитирования Science Citation Index стал регулярно определяться Институтом научной информации в Филадельфии, которым руководил Гарфилд. Изначально в данном ресурсе была систематизирована информация о цитировании научных статей по библиографической базе данных, которая первоначально охватывала около 600 научных журналов. В течение нескольких десятилетий данные, собранные в этом указателе цитирования, расширялись. В 1992 году Институт научной информации вошёл в корпорацию Thomson.

Выросший из индекса цитирования SCI современный библиографический ресурс Web of Science (WoS) в настоящее время включает семь баз данных, охватывающих практически все области знаний, три из которых обрабатывают порядка 12 тысяч журналов (Social Science Citation

Index3, Science Citation Index Expanded4 и Arts and Humanity Science Citation Index5). В классификаторе WoS около 250 тематических разделов по фундаментальным и инженерным наукам, медицине, сельскому хозяйству, социальным и гуманитарным наукам [4; 7; 8]. Кроме того, WoS включает библиометрический инструмент Journal Citation Reports (JCR), содержащий ряд показателей цитируемости, среди которых наиболее известным является импакт-фактор.

В настоящее время сложились различные методики формирования им-пакт-фактора.

Традиционной методикой является подсчёт двухлетнего импакт-фактора журнала (включающего и самоцитиро-вание). Двухлетний импакт-фактор – это традиционный классический показатель, который рассчитывается самой авторитетной базой данных Web of Science и признаётся во всём мире как основа ранжирования журналов по отношению друг к другу. «Классический импакт-фактор, т. е. то, что понимают под ним по умолчанию, – отмечает В.В. Писляков, – это в строгом определении «синхронный двухлетний импакт-фактор, без учёта текущего года»… Именно он в наше время чаще всего фигурирует при сравнении уровня журналов» [7; 131].

Двухлетний период, используемый при определении импакт-фактора журнала, предназначается для того, чтобы сделать статистический показатель современным. Гарфилд отмечал, что высокоцитируемые статьи, которые достигают наибольше- го «влияния», как правило, цитируются в течение нескольких месяцев с момента публикации и, конечно, в течение года после выхода в свет. И два года достаточно, чтобы выявить так называемые «горячие публикации» (hot papers), оказавшие наибольшее влияние в той или иной сфере научного знания [12; 18].

Соответственно, использование двухлетнего окна цитирования в подсчёте импакт-фактора журнала обусловлено стремлением в процессе ранжирования научных журналов относительно друг друга выявить журналы, публикующие высокоцитируемые с момента выхода в свет статьи, которые оказывают наибольшее влияние в своей области.

Эксперты подчёркивают, что «под термином «импакт-фактор», если не сделано каких-либо уточнений, принято подразумевать именно двухлетний показатель» [2; 20].

Альтернативными импакт-фактору WoS являются показатели, которые рассчитывает база данных Scopus (библиографическая и реферативная база данных и инструмент для отслеживания цитируемости, созданная издательской корпорацией Elsevier), где используются другие индикаторы, которые являются нормированными и учитывают не только количество, но и качество ссылок на конкретные статьи, – SJR и SNIP6.

SJR (SCImago Journal Ranking) – разработанный университетом Гранады рейтинг журналов, в котором учитывается не только общее количество цитирований, но и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок.

Ещё более продвинутый показатель, используемый Scopus, – SNIP –разработан в Лейденском университете профессором

Х.Ф. Моэдом. Поскольку данный показатель учитывает уже и уровень цитирований в каждой научной области, он может быть использован для сравнения публикаций в разных научных направлениях. Основные особенности расчёта этого показателя заключаются в том, что учитываются ссылки, сделанные в текущем году, на статьи, вышедшие в течение трёх предыдущих лет.

Вместе с тем существует ряд «нетрадиционных» импакт-факторов, среди которых выделяется пятилетний импакт-фактор. В WoS рассчитывают данный показатель в дополнение в двухлетнему, используя следующие обозначения: Impact factor – двухлетний импакт-фактор; 5-year impact factor – пятилетний импакт-фактор.

Пятилетний импакт-фактор – это средний показатель цитирования статей, опубликованных в журнале в течение последних пяти лет, за определённый год. Данный показатель можно использовать для более качественного измерения импакт-фактора журналов в областях, где влияние опубликованных исследований необходимо учитывать на протяжении долгого периода времени7 (т.е. статьи цитируются не в первые два года, а спустя более длительный период времени; это прежде всего касается математических исследований).

По мнению экспертов, ранжирование по пятилетнему импакт-фактору снижает рейтинг журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, и повышает рейтинг журналов, на статьи в которых следует более медленная реакция научного сообщества [2; 23].

Преимуществом пятилетнего импакт-фактора является сглаживание выбросов от отдельных статей с аномальной цитируемостью. Недостатком же пятилетнего импакт-фактора эксперты считают слишком большое запаздывание (не менее 6 лет) при отражении в рейтинге новых журналов, какое бы признание за это время они ни завоевали [2; 23].

Для журналов экономической тематики, где основное цитирование приходится на статьи за 2 – 3 года, использование пятилетнего импакт-фактора, на наш взгляд, нецелесообразно.

Следует обратить внимание на то, что определение импакт-фактора теряет смысл без указания на библиографическую базу. Поскольку значение импакт-фактора журнала существенно зависит от выбора библиографической рейтинговой базы, на которой он рассчитывается, при сравнении импакт-факторов разных журналов количественный рейтинг строится на априорно выбранной базе [6; 20].

Большинство журналов, издаваемых в России, не имеют импакт-фактора WoS, для немногих отечественных изданий рассчитывается SNIP в Scopus. В силу слабой представленности отечественных публикаций в международных базах данных использование их показателей не даёт объективной картины для оценки научной деятельности российских учёных. Поэтому в настоящее время всё большую актуальность приобретает Российский индекс научного цитирования, разработанный на платформе Научной электронной библиотеки. В основе РИНЦ лежит библиографическая реферативная база данных, аккумулирующая более 4,7 миллиона публикаций российских авторов и информацию о цитировании этих публикаций в более чем 4 тысячах российских журналов. Данные РИНЦ позволяют сегодня дать оценку издания по ряду наукометрических показателей, в том числе и по импакт-фактору.

Импакт-фактор в РИНЦ рассчитывается на основе данных по цитированию журнала в РИНЦ за предыдущие два года (или пять лет). При этом данные по цити- рованию берутся из публикаций года, для которого рассчитывается импакт-фактор. При определении импакт-фактора число ссылок, сделанных в расчётном году из всех обрабатываемых в РИНЦ журналов на статьи, опубликованные в данном журнале за предыдущие два года (или пять лет), делится на общее число этих статей. То есть, по сути, данный показатель отражает среднее число цитирований одной статьи в журнале. Необходимым условием для расчёта двухлетнего импакт-фактора является наличие в РИНЦ всех выпусков журнала за три года (год расчёта импакт-фактора плюс два предыдущих года)8.

Для журналов в РИНЦ рассчитывается несколько значений импакт-фактора:

– двухлетний импакт-фактор РИНЦ, т. е. отношение числа цитирований в текущем году статей, опубликованных в журнале за предыдущие два года, к числу этих статей; учитывается в том числе самоцитирование (ссылки из журнала на статьи в этом же журнале);

– двухлетний импакт-фактор РИНЦ без самоцитирования, т. е. отношение числа ссылок в текущем году из других журналов на статьи в данном журнале, опубликованные за предыдущие два года, к числу этих статей;

– пятилетний импакт-фактор РИНЦ, т. е. отношение числа цитирований в текущем году статей, опубликованных в журнале за предыдущие пять лет, к числу этих статей (учитывается в том числе са-моцитирование);

– пятилетний импакт-фактор РИНЦ без самоцитирования, т. е. отношение числа ссылок в текущем году из других журналов на статьи в данном журнале, опубликованные за предыдущие пять лет, к числу этих статей.

На основе значений импакт-фактора осуществляется ранжирование журналов.

Учитывая то, что импакт-фактор значительно варьируется в зависимости от выбора дисциплины [9], т. к. традиции цитирования отличаются от дисциплины к дисциплине и учёные ссылаются на статьи с различной частотой и по различным причинам, некорректно при помощи значений импакт-фактора сравнить научные журналы, представляющие разные дисциплины.

Данное обстоятельство учитывается в современных системах цитирования. В частности, РИНЦ позволяет проводить ранжирование журналов по различным признакам, в том числе и по импакт-факто-ру, выбирая журналы, сходные по тематике.

Чтобы проанализировать, каким образом в РИНЦ осуществляется ранжирование российских экономических журналов по значению импакт-фактора, мы выбрали рейтинг журналов по тематике «Экономика. Экономические науки», обновлённый по состоянию на 2012 год. В общем списке по тематике «Экономика. Экономические науки» здесь представлены 256 научных журналов.

Система позволяет провести ранжирование журналов по всем значениям им-пакт-фактора, которые рассчитываются для изданий, т. е. по двухлетнему и пятилетнему импакт-фактору, с учётом и без учёта самоцитирования.

И здесь возникает вопрос: какой показатель целесообразно использовать для ранжирования журналов, чтобы получить наиболее объективную картину. Очевидно, что положение одних и тех же журналов в рейтинге будет меняться при сопоставлении их по двухлетнему и пятилетнему импакт-фактору. Это связано с тем, что при ранжировании журналов, получающих основное число ссылок на статьи менее чем трёхлетней давности, их рейтинг по пятилетнему импакт-фак- тору снижается. Соответственно, журналы, на статьи которых следует более медленная реакция научного сообщества, имеют лучшие показатели по пятилетнему импакт-фактору. Также на позиции в рейтинге журналов по импакт-фактору может существенно влиять учёт самоци-тирования издания.

Мы составили топ-30 российских экономических журналов по значению импакт-фактора в РИНЦ в 2012 году. За основу выстраивания списка журналов приняли ранжирование по двухлетнему импакт-фактору (ИФ₂) на том основании, что данный показатель является традиционным и базовым для ранжирования научных изданий и используется как общепринятый показатель для оценки влиятельности журнала (таблица).

В таблице для всех изданий, которые вошли в топ-30 экономических журналов по двухлетнему импакт-фактору РИНЦ в 2012 году, приводятся значения пятилетнего импакт-фактора (ИФ5), а также указываются значения ИФ2 и ИФ5 без самоцитирования. Красным цветом в таблице выделены значения импакт-факторов, по которым журналы выходят за пределы топ-30.

В списке представлены как авторитетнейшие журналы по экономике, которые на протяжении многих лет издаются в России, так и сравнительно новые издания.

Данные таблицы наглядно свидетельствуют о том, что большинство журналов (22 издания; выделены зелёным цветом), представленных в списке, вне зависимости от значения импакт-факто-ра, которое берётся за основу ранжирования, остаются в пределах рейтинга 30 первых журналов экономической тематики по импакт-фактору.

Ряд изданий занимают первые позиции по всем показателям импакт-факто-ра. Так, первое место рейтинга по всем значениям импакт-фактора принадле- жит ведущему в нашей стране изданию по экономике – журналу «Вопросы экономики». Причём показатели импакт-факторов данного издания в РИНЦ существенно превышают значения им-пакт-факторов всех остальных журналов, представленных в списке.

Вместе с тем ряд журналов, которые по состоянию двухлетнего импакт-фактора попали в топ-30 российских журналов по экономическим дисциплинам, по дополнительным значениям импакт-фактора, главным образом, в рейтингах журналов по ИФ2 и ИФ5 без самоцитирования, существенно снизили свои позиции.

Здесь обращает на себя внимание тот факт, что в рейтинг журналов по двухлетнему импакт-фактору РИНЦ попал журнал, у которого ИФ2 без самоцитирования равен 0,00. Такое соотношение показателей свидетельствует о том, что все цитирования этого журнала сделаны им самим. В мировой практике высокие показатели самоцитирования квалифицируются как случаи недобросовестного цитирования и рассматриваются как тактики искусственного повышения импакт-фактора и других наукометрических показателей. Ведущие мировые индексы цитирования исключают из рейтингов журналы, которые злоупотребляют самоцитированием.

Результаты проведённого анализа показывают, что в РИНЦ накоплен определённый ресурс, который может быть использован и для ранжирования научных журналов по наукометрическим показателям, в частности, по импакт-фактору. Но очевидно, что для более объективного отражения уровня влиятельности журналов, оцениваемого на основе цитирования, рейтинговая база должна содержать более жёсткий «входной фильтр», который обеспечивает расписывание журналов по формальным и содержательным признакам. В ведущих мировых базах данных Web of Science и Scopus одним из критери-

Таблица. Позиции журналов по импакт-фактору РИНЦ в рейтинге журналов по тематике «Экономика. Экономические науки» в 2012 году (данные на 17.06.2014)

Название журнала е" е-'" s е-™ i о S еГ1 ^ еГ о S Вопросы экономики 4,027 1 3,731 1 3,364 1 3,274 1 Экономическое возрождение России 1,697 2 0,492 21 1,895 3 0,618 15 Российский журнал менеджмента 1,553 3 1,340 2 1,750 4 1,661 3 Российский экономический журнал 1,552 4 0,586 14 1,245 6 0,688 12 Вестник Пермского университета. Серия: Экономика 1,442 5 0,792 8 0,639 16 0,387 33 Проблемы прогнозирования 1,130 6 1,015 3 1,188 8 1,115 4 Университетское управление: практика и анализ 1,070 7 0,775 9 0,889 11 0,723 11 Экономическая наука современной России 1,068 8 0,886 5 0,569 22 0,540 21 Регион: Экономика и Социология 1,033 9 0,572 15 0,903 9 0,670 13 Финансы 1,028 10 0,924 4 0,749 14 0,727 10 Деньги и кредит 0,996 11 0,807 6 0,687 15 0,631 14 Пространственная экономика 0,977 12 0,805 7 0,859 13 0,766 8 Проблемы развития территории 0,955 13 0,568 16 0,266 60 0,181 74 Вектор науки Тольяттинского государственного университета. Серия: Экономика и управление 0,891 14 0,750 10 0,891 10 0,761 9 Управленческое консультирование 0,854 15 0,624 11 0,561 24 0,405 30 Вестник Российского экономического университета им. Г.В. Плеханова 0,761 16 0,190 62 0,480 30 0,159 82 Вестник Ессентукского института управления, бизнеса и права 0,746 17 0,000 196 0,299 54 0,000 229 Экономические и социальные перемены: факты, тенденции, прогноз 0,732 18 0,486 23 0,560 25 0,436 27 Форсайт 0,717 19 0,457 27 1,252 5 1,043 6 Журнал новой экономической ассоциации 0,697 20 0,598 12 0,633 17 0,584 16 ЭКО 0,690 21 0,483 25 0,625 18 0,557 18 Инновации 0,637 22 0,589 13 0,448 34 0,440 26 Экономический журнал Высшей школы экономики 0,633 23 0,551 19 0,884 12 0,821 7 Проблемы теории и практики управления 0,629 24 0,563 17 0,580 21 0,561 17 Экономика и математические методы 0,619 25 0,560 18 0,594 20 0,546 19 Налоги и налогообложение 0,611 26 0,491 22 0,467 32 0,382 34 Журнал экономической теории 0,598 27 0,433 29 0,411 36 0,319 44 Экономика региона 0,585 28 0,385 34 0,470 31 0,356 36 Международный бухгалтерский учёт 0,584 29 0,379 35 0,514 29 0,351 37 Проблемы управления 0,574 30 0,434 28 0,547 27 0,467 25 Экономист - - - - 1,921 2 1,921 2 ев отбора журналов является превышение импакт-фактором журнала-кандидата некоего минимального порогового значения [4]. На наш взгляд, подобный норматив было бы полезно использовать и в РИНЦ. Помимо этого, в РИНЦ была бы полезна практика установления порогового значения самоцитирования по журналам в каждой предметной области, которое бы позволило не включать в рейтинги журналы с завышенным самоцитированием.

Говоря в целом о возможностях применения импакт-фактора к оцениванию научных журналов, мы считаем, что данный наукометрический показатель вполне обоснован и необходим сегодня для сопоставления научных журналов. Но при этом импакт-фактор должен использоваться с обязательным учётом других показателей, влияющих на цитируемость. И, конечно, важной составляющей общей оценки должно быть мнение экспертов.