Журнальный табель о рангах: теория, методология, библиометрия

Реорганизация РАН с подчинением академических институтов Минобрнауки завершилась закреплением вмешательства патерналистского государства в научную жизнь страны с внедрением разного рода формальных показателей. Все это трансформировалось в возрастающие требования к публикационной активности, количеству статей и «арифметике цитируемости». На этом фоне «Научная электронная библиотека eLIBRARY.RU» стала одним из самых посещаемых сайтов, причем весьма удобным для «игры в цифирь». Наличие возможностей провести быстрое сравнение билио-метрических показателей журналов, причем для любой их выборки и по большому количеству индикаторов, собственно, и объясняет популярность этого интернет-ресурса.

Критически оценивая эту тенденцию, мы хотели бы обратить внимание на то обстоятельство, что индикаторы цитируемости в лучшем случае можно отнести к «прокси-показателям». Речь идет о таких индикаторах, которые сами по себе не имеют прямого отношения к изучаемому процессу, но служат вместо ненаблюдаемой или неизмеримой переменной ее своеобразным «заместителем». По существу, наличие связи между цитируемостью той или иной статьи и качеством публикуемого результата исследования представляет собой лишь гипотезу, которую в текущее время почти невозможно проверить.

Следует подчеркнуть также, что библиоме-трические метрики, основанные на цитируемости и послестатейных списках литературы, не всегда указывают даже на знакомство авторов с работами других исследователей и, пожалуй, никак не отражают качество статей и уровень журналов, где они опубликованы. Как подтверждение данного тезиса можно привести слова польского исследователя С. Козыр-Ковальского, обратившего внимание на способствующую бюрократическому продвижению «псевдоэрудицию – практику помещения в сносках и библиографиях работ, которые исследователь не только не читал, но часто даже не держал в руках» (Kozyr-Kowalski, 1967, р. 35).

С учетом этого любые попытки использования библиометрических показателей для выяснения соотношения «лучше-хуже» почти всегда страдают субъективным характером интерпретации, за что регулярно подвергаются обоснованной критике (Seglen, 1997; Адлер и др., 2011; Waltman, 2016; Идеи и числа, 2016). Отметим еще раз, что в отношении цитируемости и в целом наукометрии мнения экономистов разделились. Одни считают ее важной оценкой научной деятельности, другие критикуют эту «игру в цифирь». Однозначного ответа здесь нет. Все дело в том, где и как используется данный информационный ресурс.

Настоящая работа представляет результаты исследований проблем распространения знания в рамках разрабатываемой теории гуманитарного сектора патерналистского государства. Речь идет о науке, точнее об академической и университетской науке, где в основном производится знание, и о системе его распространения, важнейшим каналом которого являются научные журналы. Тема эта бесконечная, и понятно, что она не может быть полностью освещена в одной статье, поэтому имеет смысл сразу же обозначить проблемы, которым статья посвящена. Прежде всего мы хотим обсудить место, которое занимают в экономической теории участники процессов производства и распространения знания. С учетом явно возросшего интереса к цитированию, усиленного денежной мотивацией публикационной активности, повысившей значимость наукометрического ранжирования журналов, считаем важным рассмотреть ряд теоретико-методологических вопросов применения этого инструментария, включая конкретные методики построения журнальных рейтингов и выделение определенных выборок журналов из их общей совокупности.

В этом плане главная роль принадлежит информационным базам Web of Science, Scopus, RePEc и конечно же РИНЦ, созданной в 2005 году «Научной электронной библиотекой eLIBRARY.RU», где на начало сентября 2023 года было зарегистрировано более 500 журналов по тематике «Экономика. Экономические науки». И хотя после известных событий зарубежные базы в основном утратили свое значение, авторитет журналов, зарегистрированных в этих базах, остается высоким. Развитие же РИНЦ вполне закономерно привело к выделению более узких выборок в этой информационной базе, определяющих ведущие группы журналов, – RSCI (33 издания) и ядро (38 изданий).

Опираясь на информацию eLIBRARY.RU, свою выборку журналов в этой же базе определил еще один участник, обслуживающий процессы производства, воспроизводства и распространения знания – Высшая аттестационная комиссия (ВАК), которая стала рассматривать кандидатские и докторские диссертации только при наличии публикаций, входящих в список журналов из выборки ВАК. Наличие указанных трех выборок – RSCI, ядро РИНЦ, список ВАК, по-разному оценивающих уровень одних и тех же журналов, порождает вполне очевидный вопрос об обоснованности каждой из них.

С учетом сказанного сформулируем основные цели данного исследования: во-первых, теоретическое обоснование формирования ядра экономических журналов, исходя из конструктивной критики методологии eLIBRARY.RU и основных принципов «экономики знания»1; во-вторых, критический анализ набора библио-метрических показателей, используемых РИНЦ в методике ранжирования журналов; в-третьих, алгоритмическое обеспечение построения журнальных рейтингов на основе разработок авторов в области MW-анализа.

Вопросы методологии

Начинать, по-видимому, следует с анализа практики формирования информационной базы eLIBRARY.RU и методологии построения соответствующих журнальных выборок, по которым в РИНЦ собирается информация о цитируемости публикаций и их авторах. Построение такой информационной базы и соответствующих выборок отвечает общей тенденции разделения списка изданий на несколько упорядоченных групп. В зарубежных информационных базах, как известно, принято разделение на четыре квартиля, отражающих уровень цитируемости журналов. В отечественной литературе можно встретить различные рекомендации, рассматривающие способы разделения анализируемой совокупности научных журналов, зарегистрированных в РИНЦ по тематике «Экономика. Экономические науки», на несколько групп.

Следует отметить, что eLIBRARY.RU в своей методологии отошла от простых цифровых решений, выделив группу журналов, названную ядро РИНЦ, и установив в соответствии с принципами определения рейтинга SCIENCE INDEX, что «все библиометрические показатели, используемые при расчете рейтинга, учитывают цитирование только из ядра РИНЦ»2. При этом ВАК, используя ту же самую библиоме-трическую информацию РИНЦ, создала свой список научных журналов.

Две выборки. По принятой eLIBRARY.RU методологии выборка ядро РИНЦ включает ведущие журналы, представленные в RSCI, а также издания, прошедшие процедуру экспертного отбора и представленные в международных информационных системах по научному цитированию Web of Science Core Collection³. К достоинствам такого решения следует отнести использование содержательных критериев, вырабатываемых экспертной группой, что обуславливает одновременно и его известный порок, который можно сформулировать в виде традиционного вопроса: «а судьи кто?».

Одним названием «рабочая группа» ответить на этот традиционный вопрос невозможно. По всей видимости здесь, во-первых, нужна прозрачная демократическая процедура отбора группы экспертов по каждому научному направлению и/или определение репрезентативной выборки из статистически большого массива специалистов, во-вторых, обоснованная методика самой экспертизы. В противном случае генерируется недоверие к формированию и экспертизе такой группы, а тем самым к субъективному определению выборки журналов, названной ядром РИНЦ.

Выборка ВАК по тематике «Экономика. Экономические науки» разделена на несколько упорядоченных групп на основании соб- ственной методики4, которая, как и в РИНЦ, содержит две составляющие: количественные (библиометрические показатели) и качественные (оценки экспертной группы). При этом перечень научных журналов был выстроен по убыванию «коэффициента научной значимости» и распределен по категориям в соотношении: К1 – 25%, К2 – 50% и К3 – 25%5. Таким образом, в категорию К1 – ВАКовскую версию ядра – включены 85 журналов по тематике «Экономика. Экономические науки».

И в данном случае остается вопрос: «а судьи кто?». Добавим еще три комментария. Во-первых, оказалось, что ядро научных журналов по версии ВАК по количеству более чем в два раза превосходит ядро РИНЦ. Если же принять во внимание, что рейтинг журналов Science Index учитывает цитирование статей только по ядру, то различия в списках оказываются весьма существенными. Во-вторых, и это, пожалуй, главное, несопоставимыми являются качественные оценки, ибо их определяют разные специалисты, названные «рабочей» и «экспертной» группами. В-третьих, очевидно, что эту пресловутую «войну мышей и лягушек» (Рубинштейн, 2023) необходимо заканчивать. Даже если никак не оценивать оба подхода к определению ядра научных журналов, можно сделать довольно простой вывод о необходимости создания единой группы специалистов, способствующей решению задачи как для РИНЦ, так и для ВАК.

Журнальная база. Мы исходим из того, что при определении соответствующей выборки журналов следует использовать иной подход, основанный не на субъективных оценках неизвестной группы экспертов, а на формальных мотивах, имеющих содержательную основу. И прежде всего нужно иметь в виду наличие связи между публикационной активностью и производством знания, которое в основном создается в академических институтах и ведущих университетах.

При этом научные центры и институты Российской академии наук, основной задачей которых является проведение фундаментальных исследований, выступают в двух ипостасях: в качестве своеобразной фабрики по производству знания – 15 научных организаций, и как издатели – 23 научных журнала, обеспечивающих распространение знания и коммуникацию ученых по тематике «Экономика. Экономические науки» (табл. 1) . И кажется странным, что большая часть указанных журналов (13 из 23) не попали в выборку eLIBRARY.RU, названную ядро РИНЦ.

Среди них оказались журнал Вологодского научного центра РАН « Экономические и соци альные перемены: факты, тенденции, прогноз »*, англоязычная версия которого индексирована в WoS, единственный журнал Отделения экономики РАН « Экономическая наука современ ной России », ряд других известных изданий, таких, например, как «Региональные исследования» Института географии РАН, а также все журналы одной из ведущих экономических организаций – Института экономики РАН. Что же касается качества академических журналов, не попавших в ядро РИНЦ, то его оценки должны быть результатом соответствующего исследования, а не априорных суждений экспертов, часто отстаивающих только собственные интересы.

Таблица 1. Журналы институтов и научных центров РАН по тематике «Экономика. Экономические науки»

N1	24 журнала	Ядро РИНЦ	Институты и научные центры РАН	N2
1	Экономические и социальные перемены: факты, тенденции, прогноз	Нет	Вологодский научный центр РАН	1
2	Проблемы развития территории	Нет
3	Региональные исследования	Нет	Институт географии РАН	2
4	Современная Европа	Да	Институт Европы	3
5	Проблемы прогнозирования	Да	Институт народнохозяйственного прогнозирования	4
6	Научные труды: Институт народнохозяйственного прогнозирования РАН	Нет
7	Контуры глобальных трансформаций: политика, экономика, право	Да	Институт научной информации по общественным наукам	5
8	Проблемы рыночной экономики	Нет	Институт проблем рынка	6
9	Проблемы управления	Да	Институт проблем управления	7
10	Регион: Экономика и Социология	Да	Институт экономики и организации промышленного производства СО РАН	8
11	Вопросы теоретической экономики	Нет	Институт экономики	9
12	Уровень жизни населения регионов России	Нет
13	Вестник Института экономики Российской академии наук	Нет
14	Экономика региона	Да	Институт экономики УрО РАН	10
14	AlterEconomics	Нет
16	Пространственная экономика	Да	Институт экономических исследований ДВО РАН	11
17	Регионалистика	Нет
18	Север и рынок: формирование экономического порядка	Да	Кольский научный центр	12
19	Россия и новые государства Евразии	Нет	Национальный исследовательский институт мировой экономики и международных отношений	13
20	Мировая экономика и международные отношения	Да
21	Экономическая наука современной России	Нет	Отделения экономики РАН	14
22	Экономика и математические методы	Да	Центральный экономико-математический институт РАН	15
23	Цифровая экономика	Нет
Источник: составлено авторами.

* Примечание редакции: Англоязычная версия журнала (Economic and social changes: facts, trends, forecast) включена в ядро РИНЦ как индесируемая в WoS. В профилях авторов русскоязычные статьи наряду с англоязычными маркируются как входящие в ядро РИНЦ. При этом в общем перечне журналов у русскоязычной версии отсутствует маркировка о включении в ядро.

Мы полагаем, что сам факт издания журнала научным центром или институтом РАН является достаточным аргументом для включения в журнальную базу, на основе которой проводятся наукометрические исследования, включая учет цитируемости журналов и их ранжирование. Именно в этих научных организациях сосредоточен основной исследовательский потенциал, позволяющий обеспечивать необходимый уровень рецензирования и редакторской подготовки статей. С учетом сказанного должна быть определена и базовая совокупность анализируемых журналов по тематике «Экономика. Экономические науки».

Подвергая конструктивной критике методологию eLIBRARY.RU в части выделения журнальной выборки ядра, мы не призываем к ее разрушительным изменениям. Полагая, что многое в деятельности РИНЦ следует оценить положительно, считаем целесообразным расширить ядро, включив в него указанные выше 13 журналов научных центров и институтов РАН.

При этом содержательный анализ состава нынешнего ядра РИНЦ позволяет выделить пять групп журналов: «Журналы институтов РАН» (Q₁), «Университетские журналы, индексированные в WOS или Scopus» (Q₂), «Журналы других издателей, индексированные в WOS или Scopus» (Q₃), «Университетские журналы, не индексированные в WOS или Scopus» (Q₄) и «Журналы других издателей, не индексированные в WOS или Scopus» (Q₅). Учитывая фактор производства знания, которое создается в том числе в академических институтах, к указанным пяти группам журналов следует добавить шестую группу (Q₆) – «Журналы институтов РАН, не включенные в ядро РИНЦ» (табл. 2–4).

Из таблицы 2 видно, что при добавлении к ядру РИНЦ журналов, учредителями которых выступают институты РАН (Q₆), число изданий, входящих в общую «журнальную базу» (G) составит 51. Мы полагаем, что эта совокупность журналов – База.RU (Приложение 1 ) должна быть основой для любых наукометрических

Таблица 2. Количественные характеристики общего массива исследуемых журналов База.RU

Журналы институтов РАН, не включенные в ядро РИНЦ (группа Q 6)	Журналы, включенные в ядро РИНЦ					База.RU (G)
	Индексированные в WOS и Scopus			Не индексированные в WOS и Scopus
	Журналы институтов РАН (группа Q1)	Университетские журналы (группа Q2)	Журналы других издателей (группа Q3)	Университетские журналы (группа Q4)	Журналы других издателей (группа Q5)
13	10	14	4	4	6	51

Таблица 3. Количественные характеристики выборки ядро РИНЦ

Журналы институтов РАН, не включенные в ядро РИНЦ (группа Q 6)	Журналы, включенные в ядро РИНЦ					Ядро РИНЦ
	Индексированные в WOS и Scopus			Не индексированные в WOS и Scopus
	Журналы институтов РАН (группа Q1)	Университетские журналы (группа Q2)	Журналы других издателей (группа Q3)	Университетские журналы (группа Q4)	Журналы других издателей (группа Q5)
НЕТ	10	14	4	4	6	38

Таблица 4. Количественные характеристики выборки Ядро.RU

Журналы институтов РАН, не включенные в ядро РИНЦ (группа Q 6)	Журналы. включенные в ядро РИНЦ					Ядро.RU
	Индексированные в WOS и Scopus			Не индексированные в WOS и Scopus
	Журналы институтов РАН (группа Q1)	Университетские журналы (группа Q2)	Журналы других издателей (группа Q3)	Университетские журналы (группа Q4)	Журналы других издателей (группа Q5)
13	10	14	4	НЕТ	НЕТ	41

исследований и, подчеркнем особо, для учета цитируемости, при расчетах всех библиометри-ческих показателей, используемых при ранжировании журналов. Отметим также, что в качестве исследуемых выборок нет смысла ограничиваться журналами, входящими в RSCI или ядро РИНЦ.

Так, не менее интересной является выборка Ядро.RU, в которой вместо субъективного выбора двух групп журналов (Q4 и Q5), выпускаемых университетами и другим издателями, но не индексированных в WOS и Scopus, можно по формальному признаку включить в анализ журналы группы (Q6), издателями которых являются институты РАН. Отдельный интерес представляет выборка РАН.RU, представляющая объединение двух групп (Q1 и Q6). В нее входят все журналы, издаваемые научными центрами и институтами РАН.

Сравнивая ядро РИНЦ с Ядром.RU, нетрудно заметить, что они имеют общую часть – объединение журналов (Q1, Q2 и Q3), в которой представлены индексированные в WOS и Scopus научные издания, в качестве учредителей которых выступают институты РАН, университеты и другие издатели. Обозначим эту часть «журнальной базы» G1= (Q1, Q2 и Q3). Введя последовательно еще два обозначения: G2 = (Q4 и Q5) и G3 = (Q6), можно установить, что выборка журналов ядра РИНЦ = (G1 и G2), а выборка Ядра.RU = (G1 и G6). В этом случае общая журнальная база – База.RU – может быть представлена в виде следующего выражения: G = (G1 и G2 и G3).

Библиометрические индикаторы. Начнем с Декларации об оценке научных исследований, принятой в Сан-Франциско в 2012 году, первый пункт которой гласит: «Следует избегать использования журнальных метрик, таких как импакт-фактор, для оценки качества отдельных научных статей, вклада конкретного ученого или принятия решений о найме, продвижении по службе или финансировании исследований»6. К нашему сожалению, эта важная декларация ничего не изменила и по- прежнему основой практически всех журнальных рейтингов остается импакт-фактор журналов, рассчитываемый за один, два, три, четыре года или пять лет (Garfield, 1955).

Так, Scopus использует три основных индикатора: «CiteScore», рассчитываемый по 4-х-летнему импакт-фактору; «SNIP» (Source-Normalized Impact per Paper), вычисляемый с использованием нормализованных значений импакт-факторов журналов; SCImago (SJR), в котором, кроме обычного импакт-фактора журналов, используется алгоритмическая «Google-добавка» (Brin, Page, 1998). Не останавливаясь на первых двух индикаторах, следует обратить особое внимание на индикатор SJR, вычисляющий рейтинг журнала с учетом веса каждой его статьи, который тем выше, чем более высокий рейтинг журнала, где цитируется данная работа. Иначе говоря, цитируя опубликованные в другом журнале статьи, данный журнал, фактически, делегирует ему свой престиж ⁷.

Указанному индикатору и соответствующему методу определения рейтинга журналов присущи как достоинства, так и недостатки. Заслуживает внимания то обстоятельство, что при расчете импакт-фактора учитывается разный вес цитируемых работ. Критически же, по-видимому, следует относиться к тому, что в этом случае журналы ранжируются лишь по одному критерию, опирающемуся на среднюю цитируемость статей. Поэтому вполне оправданным выглядит предложение eLIBRARY.RU использовать несколько разных индикаторов, характеризующих различные метрики цитирования.

Так, для определения рейтинга журналов SCIENCE INDEX в новой методике РИНЦ предлагается использовать четыре библиоме-трических индикатора. Во-первых, «пятилетний нормированный импакт-фактор», который характеризует величину средней цитированно-сти статей в журнале. Во-вторых, «десятилетний нормированный индекс Хирша журнала», отражающий количество высокоцитируемых статей в издании. В-третьих, «средний индекс Хирша авторов статей за последние три года», отражающий количество высокоцитируемых авторов статей в журнале, который, как указывает РИНЦ, был специально рассчитан для данного рейтинга. В-четвертых, «средняя длина текста статей за последние 3 года», который, по мнению авторов данной методики, «хорошо коррелирует с уровнем качества журнала на основе экспертной оценки». Все используемые при расчете рейтинга индикаторы нормализуются путем деления на максимальное значение индикатора в выборке журналов8.

Необходимо сказать, что первые три измерителя особых сомнений не вызывают, указанный набор индикаторов вполне можно назвать базовым для ранжирования журналов. Что же касается четвертого показателя – индикатора «средняя длина текста статей за последние 3 года», то его включение в методику расчета рейтинга журналов, мягко говоря, вызывает удивление. Получается, что чем длиннее статья, тем выше рейтинг журнала. Оставляя без комментариев данный вывод, обратим внимание на объяснение, которое дали авторы методики: «Этот показатель оказался довольно неожиданно. Но тем не менее стабильно показывал хорошую корреляцию с уровнем качества журнала на основе экспертной оценки». Нам представляется, что подобное объяснение свидетельствует лишь о качестве экспертной оценки, которая приводит к столь абсурдному результату.

При этом авторы методики посчитали целесообразным не включать в число индикаторов, определяющих общий рейтинг журнала, такой показатель наукометрического анализа, как индекс Херфиндаля, используемый, как известно, для оценки степени монополизации рынков. В нашем случае речь идет о возможности коррекции расчетов с учетом искусственного улучшения библиометрических показателей журнала в результате объединений журналов для перекрёстного взаимного цитирования и/или увеличения статей сотрудников организаций-учредителей.

В то же время, как правильно отмечают авторы методики, повышенный уровень самоци-тирования часто является вполне естественным для специализированных журналов, в которых сконцентрирована большая часть статей по определенной тематике. В такой ситуации индекс Херфиндаля неоправданно снижает оценку издания при достаточно высоком качестве публикаций. И все же, с учетом того что большая часть экономических журналов по тематике «Экономика. Экономические науки» являются изданиями широкого профиля, нам представляется целесообразным рассматривать этот библиометрический индикатор в качестве возможного дополнения к базовому набору показателей, определяющих общий рейтинг журналов.

О методике определения журнальных рейтингов . Рассмотрим сначала методику расчета рейтинга журналов, предложенную рабочей группой РИНЦ. По замыслу ее авторов итоговый результат ранжирования журналов – их совокупный рейтинг – может быть определен в виде линейной комбинации отобранных биб-лиометрических индикаторов с соответствующим набором их весов. Как указывают авторы этой методики, «проблема заключается в том, что выбор как состава участвующих в формуле показателей, так и их весовых коэффициентов, был проведен чисто интуитивно и никак не подтвержден библиометрически»⁹. Можно понять авторов методики, выразивших свои сомнения в ее корректности. Действительно, трудно рассчитывать на правильный результат при произвольном (интуитивном) выборе весовой функции.

Корректное определение указанных весов является непростой задачей при построении любого интегрального показателя. И все же решение, которое избрали авторы методики, никак нельзя назвать приемлемым. Фактически речь идет хотя и о завуалированной, но «подгонке»: когда из различных комбинаций искомых весов, предположительно принадлежащих интервалу от 0 до 10, выбиралась такая, которая демонстрировала большую корреляцию расчётного рейтинга с рейтингом общественной экспертизы10. Подобное решение страдает очевидными недостатками. Во-первых, если рас- считываемый библиометрический рейтинг корректируется в зависимости от его близости к рейтингу общественной экспертизы, то возникает естественный вопрос, зачем вообще нужна библиометрия? Во-вторых, смущает неактуальность самой общественной экспертизы, которая была осуществлена пять лет назад.

В общем случае построение рейтинга журналов опирается на решение известной задачи свертывания набора параметров в единый критерий. Не повторяя известную критику существующих подходов к агрегированию частных показателей, когда кроме анализируемой методики РИНЦ исходят из гипотезы равенства весов или рассматривается их произвольный набор , воспользуемся ранее созданной методикой оценки вклада отдельных библиометрических индикаторов в совокупный рейтинг.

Речь идет о применении MW-анализа (Multiway data analysis), представленного в работе (Рубинштейн, Слуцкин, 2018) и многократно апробированного по отношению к различным объектам (Бураков и др., 2019; Бураков, Рубинштейн, 2020; Бураков, 2021). Следует отметить также, что данный метод является обобщением факторного анализа, в том числе метода главных компонент, применительно к многомерной матрице (тензору).

В настоящем исследовании речь идет о трехвалентном тензоре V = {V_ijg}. Он образует информационный параллелепипед, содержащий 204 чисел, каждое из которых может быть представлено посредством трех координат: проекций на ось совокупности анализированных журналов i ∈ [1, 51]; на ось библиометри-ческих индикаторов j ∈ [1, 4] – пятилетний импакт-фактор [j =1], десятилетний индекс Хирша журнала [j = 2], средний индекс Хирша авторов статей за последние три года [j = 3], индекс Херфиндаля [j = 4]; на ось выборок из общей журнальной базы g ∈ [1,3] – группы журналов G₁, G₂, G₃.

Основная идея MW-анализа связана с восстановлением исходного тензора, характеризующего указанное выше трехмерное пространство, посредством его представления в виде внешнего произведения трех векторов разной размерности, которые можно интерпретировать как совокупный рейтинг журналов Vi; веса в этом рейтинге отдельных библиометрических индикаторов Vj и вклады в данный рейтинг отдельных групп журналов Vg, характеризующих соответствующие составляющие ядра РИНЦ и Ядра.RU.

Рассмотрим итоги MW-анализа для двух вариантов расчетов. В первом варианте использовались три библиометрических показателя, соответствующих методике РИНЦ (с исключением «средней длины текста статей за последние 3 года»), во-втором варианте добавлен еще один показатель – «индекс Херфиндаля по организациям авторов». Результаты этих расчетов для общего массива журналов ( G ) приведены в таблицах 5 и 6.

Результаты расчетов (вариант I) свидетельствуют, что наиболее сильное влияние демонстрирует «индекс Хирша авторов статей», а наименьший вклад в совокупный рейтинг журналов характерен для импакт-фактора. При использовании же дополнительного показателя – индекса Херфиндаля (вариант II) – соотношения остались прежними, но величина вклада каждого из трех базовых индикаторов немного снизилась, «передав» часть своего влияния четвертому показателю .

К этому добавим, что сама по себе идея включения индексов Хирша в набор индикаторов, на основе которых рассчитывается рейтинг журналов, является определенным новшеством. Применение этого наукометрического показателя для ранжирования научных журналов встречается впервые. И при всех неудачах новой методики РИНЦ три выбранные библио-метрические показателя заслуживают внимания специалистов. При этом необходимо отметить, что результаты применения процедуры MW-анализа для набора показателей не только свидетельствуют о некорректности методики РИНЦ, использующей априорно задаваемые веса, но, что особенно важно, опровергают укоренившееся представление о том, что главным показателем в формировании рейтинга журналов является импакт-фактор, то есть среднее количество цитирований одной статьи за определенный период.

К этому выводу подталкивает ряд соображений. Прежде всего они связаны с хроническим недостатком любых средних величин, не учитывающих характер распределения анализируемого показателя. В этом смысле индекс Хирша, хорошо известный в наукометрии, выгодно отличается от импакт-фактора. Более того, в последние годы он стал наиболее популярен

Таблица 5. Вклад отдельных показателей в совокупный рейтинг журналов, %

Вариант рейтинга	Веса в совокупном рейтинге
	5-летний импакт-фактор	10-летний индекс Хирша	Средний индекс Хирша за три года	Индекс Херфиндаля
I	24,2	30,5	45,3
II	20,9	26,5	41,8	10,9

Таблица 6. Вклад отдельных выборок журналов в их совокупный рейтинг, %

Вариант рейтинга Веса в совокупном рейтинге Выборка G1 Выборка G2 Выборка G3 I 45,5 26,4 28,1 II 35,6 34,6 29,8 для «оценивания научной результативности отдельных ученых, научных коллективов и организаций» (Назаренко, 2013). И, как показали выполненные расчеты, более высокие значения индексов Хирша повышают рейтинг журналов с высокоцитируемыми статьями и статьями вы-сокоцитируемых авторов.

Не менее интересные результаты демонстрирует таблица 6. Выполненные расчеты показали, что при трех библиометрических показателях (вариант I) группа журналов G3, являющихся частью Ядра.RU, оказывает большее влияние на совокупный рейтинг, нежели журналы из выборки G2, входящие в ядро РИНЦ. С учетом того, что оба ядра экономических журналов имеют одинаковую общую часть G1, можно сделать статистически обоснованное заключение о большей информационной значимости Ядра.RU в сравнении с Ядром РИНЦ (см. табл. 5). Такой результат является дополнительным аргументом для принципиального вывода о целесообразности использования в наукометрическом ранжировании журналов Ядра.RU, построенного на основе содержательных критериев, учитывающих связи между публикационной активностью и производством знания.

Весьма примечательны результаты MW-анализа и по другому варианту расчетов, обусловленному введением дополнительного показателя – индекса Херфиндаля. В этом случае ситуация меняется на противоположную: группа журналов G3, являющихся частью Ядра.RU, оказывает меньшее влияние на совокупный рейтинг, нежели журналы из выборки G2 (вариант II). Иначе говоря, если ранжирование журналов по тематике «Экономика. Экономические науки» производится на основе совокуп- ного рейтинга, построенного на базе четырех библиометрических показателей с учетом индекса Херфиндаля, то более информативным является ядро РИНЦ.

С учетом роли этого индикатора, которая, как уже отмечалось, заключается в оценке снижения значимости журналов с высокой долей самоцитирования или договорного цитирования, объяснение указанных различий особого труда не представляет. Судя по всему, такое влияние индекса Херфиндаля более всего сказывается на журналах, учредителями которых являются научные центры и институты РАН.

Объединение в государственном задании содержательных аспектов исследований, связанных с производством знания, с числом журнальных публикаций, относящихся к его распространению, приводит к увеличению публикаций в журналах статей собственных сотрудников академических институтов. В качестве примера назовем журнал «Регионалистика», где в 2022 году 75% всех статей было опубликовано сотрудниками института – учредителя этого журнала. Исходя из результатов выполненного анализа можно сделать несколько выводов.

Во-первых, ядро журналов не должно выделяться из их общего массива безотносительно к набору показателей, определяющих совокупный журнальный рейтинг. Во-вторых, если целью ранжирования журналов выступает определение их авторитетности исключительно из соображений цитируемости, то наиболее информационным является Ядро.RU . В-третьих, при желании «подправить» цитируемость журналов и скорректировать на этой основе оценки их авторитетности более полезным является ядро РИНЦ.

Ранжирование научных журналов

Полученные результаты позволяют сделать вывод о том, что применение MW-анализа не только изменяет по отношению к методике РИНЦ соотношение вкладов библиометриче-ских показателей в совокупный рейтинг, но, что не менее важно, меняет само ранжирование журналов . Следует почеркнуть, что недостаточно обоснованным и потому уязвимым, на наш взгляд, является сама процедура выбора журналов, которые группа экспертов включила в ядро.

Журналы ядра РИНЦ. Используя веса библиометрических показателей, полученных в результате применения MW-анализа (см. табл. 5), и соответствующий им рейтинг журналов, можно полученные варианты ранжирования сравнить с двумя вариантами журнальных рейтингов, рассчитанных на основе методики РИНЦ – старый (на 01.09.2023) и новый (на 24.10.2023) варианты SCIENCE INDEX¹¹. Результаты такого сопоставления представлены в таблице 7 , где содержатся три варианта ранжирования научных журналов, включенных в ядро РИНЦ .

Анализ таблицы 7 позволяет выделить несколько журналов, которые, согласно MW-анализу, улучшили свое положение в ядре РИНЦ по сравнению с принятой методикой. Назовем, к примеру, следующие журналы: «Journal of Institutional Studies» (на 2 и 8 пунктов), «Экономика и математические методы» (на 8 и 9 пунктов), «Регион: Экономика и Социология» (на 2 и 6 пунктов), «Вестник Санкт-Петербургского университета. Экономика» (на 2 и 12 пунктов). Следует отметить также журналы, которые, по версии MW-анализа, ухудшили положение в ядре РИНЦ: «Экономика региона», «Мировая экономика и международные отношения», «Форсайт», «Финансовый журнал», «Экономическая политика» и «Бизнес-информатика». В остальных журналах, входящих в ядро РИНЦ, изменения были незначительными.

Если же сравнивать ранги журналов, соответствующие старому и новому вариантам Science Index, то они вызывают определенное недоверие к результатам расчетов РИНЦ, особенно бросается в глаза резкое изменение позиции журнала «Форсайт», который буквально за один месяц «слетел» с 6 на 31 место. Понятно, что в такой ситуации любые субъективные решения в построении этого ядра журналов и не слишком корректная методика расчетов их ранжирования могут приводить к негативным последствиям для всей системы публикационной активности и, что важно, для действующей системы стимулирования научных работников. Далее рассмотрим выборку журналов, построенную на основе их связи с процессами производства знания.

Журналы Ядро.RU. Напомним, что в эту выборку, кроме журналов, представляющих академическую науку (Q₁ и Q₆), включены университетские издания, непосредственно участвующие в производстве знания (Q₂), и журналы других издателей (Q₃), регистрация которых в зарубежных базах данных Web of Science Core и Scopus является основанием для их включения в Ядро.RU. Таким образом, в Ядро. RU вошли 23 академических журнала, 14 университетских журналов и 4 журнала других издателей. Общее число научных изданий составило 41 .

Как и в случае с ядром РИНЦ, приведем результаты ранжирования научных журналов, включенных в Ядро.RU (табл. 8). Сопоставляя рейтинги журналов по Ядру.RU и ядру РИНЦ, рассчитанные с использованием одной и той же процедуры MW-анализа, нетрудно заметить, что ранги журналов, входящих в оба ядра, не имеют больших различий. При этом следует обратить внимание на то, что 6 из 11 журналов, входящих в первый квартиль Q1 общей журнальной базы База.RU – издания научных центров и институтов РАН. Вместе с тем нельзя пройти мимо другого факта: также 6, но уже из 10 журналов, входящих в четвертый квартиль Q4 общей журнальной базы, представляют институты и научные центры РАН, имеющие низкие рейтинги, которые занимают в Ядре.RU с 32 по 41 позицию.

Таблица 7. Ранжирование научных журналов, включенных в ядро РИНЦ

№	ЖУРНАЛ	Методика РИНЦ (Science Index, I вариант)	Методика РИНЦ (Science Index, новый вариант)	MW-анализ (4 индикатора, III вариант)
13	Вопросы экономики	1	1	1
21	Проблемы прогнозирования	2	2	2
5	Russian Journal of Economics	5	8	3
15	Журнал Новой экономической ассоциации	8	9	4
36	Экономика региона	3	3	5
3	Journal of Institutional Studies	14	13	6
6	Terra Economicus	9	10	7
34	ЭКО	7	7	8
23	Пространственная экономика	10	18	9
18	Мировая экономика и международные отношения	4	4	10
24	Регион: Экономика и Социология	17	15	11
33	Форсайт	6	31	12
26	Российский экономический журнал	15	17	13
16	Контуры глобальных трансформаций: политика, экономика, право	12	12	14
28	Современная Европа	19	11	15
22	Проблемы управления	18	6	16
37	Экономическая политика	13	16	17
35	Экономика и математические методы	27	19	18
9	Вестник международных организаций: образование, наука, новая экономика	11	21	19
8	Вестник МГИМО Университета	20	14	20
29	Университетское управление: практика и анализ	23	24	21
27	Север и рынок: формирование экономического порядка	29	26	22
30	Управленец	30	28	23
38	Экономический журнал Высшей школы экономики	16	22	24
20	Прикладная эконометрика	21	23	25
12	Вестник Санкт-Петербургского университета. Экономика	38	36	26
32	Финансы: теория и практика	28	25	27
4	Journal of Tax Reform	32	32.	28
19	Прикладная информатика	25	29	29
31	Финансовый журнал	24	20	30
7	Бизнес-информатика	26	5	31
2	Journal of Applied Economic Research	33	33	32
25	Российский журнал менеджмента	36	34	33
14	Деньги и кредит	22	27	34
17	МИР (Модернизация. Инновации. Развитие)	31	30	35
1	Ars Administrandi (Искусство управления)	34	37	36
10	Вестник Московского университета. Серия 6: Экономика	35	35	37
11	Вестник Санкт-Петербургского университета. Менеджмент	37	38	38
Источник: составлено авторами.

Таблица 8. Ранжирование научных журналов, включенных в Ядро.RU

N	ЖУРНАЛ	Учредитель	Входит в ядро РИНЦ	Квартиль в Базе.RU	РАНГ ЖУРНАЛОВ
					БАЗА.RU	ЯДРО РИНЦ	ЯДРО.RU
1	Вопросы экономики	Другой	-	Q1	1	1	1
2	Проблемы прогнозирования	РАН	ДА	Q1	2	2	2
4	Journal of Institutional Studies	Другой	-	Q1	4	4	3
5	Журнал Новой экономической ассоциации	Другой	-	Q1	5	5	4
6	Russian Journal of Economics	Другой	-	Q1	7	7	5
7	Экономика региона	РАН	ДА	Q1	6	6	6
8	Terra Economicus	Универ.	-	Q1	8	9	7
9	Экономические и социальные перемены: факты, тенденции, прогноз	РАН	-	Q1	9	-	8
11	Пространственная экономика	РАН	ДА	Q1	11	10	9
10	Мировая экономика и международные отношения	РАН	ДА	Q1	10	8	10
13	Контуры глобальных трансформаций: политика, экономика, право	РАН	ДА	Q1	13	13	11
14	Форсайт	Универ.	-	Q2	14	11	12
15	Региональные исследования	РАН	-	Q2	15	-	13
16	Регион: Экономика и Социология	РАН	ДА	Q2	16	14	14
17	Современная Европа	РАН	ДА	Q2	17	15	15
18	Экономическая политика	Универ.	-	Q2	18	16	16
19	Проблемы управления	РАН	ДА	Q2	19	17	17
20	Экономика и математические методы	РАН	ДА	Q2	20	18	18
24	Вопросы теоретической экономики	РАН	-	Q2	24	-	19
22	Вестник международных организаций: образование, наука, новая экономика	Универ.	-	Q2	22	19	20
25	Научные труды: Институт народнохозяйственного прогнозирования РАН	РАН	-	Q2	25	-	21
23	Бизнес-информатика	Другой	-	Q2	23	21	22
29	Север и рынок: формирование экономического порядка	РАН	ДА	Q3	29	27	23
28	Управленец	Универ.	-	Q3	28	25	24
31	Уровень жизни населения регионов России	РАН	-	Q3	31	-	25
30	Финансы: теория и практика	Универ.	-	Q3	30	26	26
33	Экономический журнал Высшей школы экономики	Универ.	-	Q3	33	24	27
34	Экономическая наука современной России	РАН	-	Q3	34	-	28
36	Journal of Tax Reform	Универ.	-	Q3	36	31	29
37	Прикладная эконометрика	Универ.	-	Q3	37	30	30
38	AlterEconomics	РАН	-	Q3	38	-	31
40	Регионалистика	РАН	-	Q4	40	-	32
41	Российский журнал менеджмента	Другой	-	Q4	41	33	33
43	Вестник Института экономики Российской академии наук	РАН	-	Q4	43	-	34
44	Проблемы развития территории	РАН	-	Q4	44	-	35
46	Вестник Московского университета. Серия 6: Экономика	Универ.	-	Q4	46	37	36
48	Проблемы рыночной экономики	РАН	-	Q4	48	-	37
47	Ars Administrandi (Искусство управления)	Универ.	-	Q4	47	36	38
49	Цифровая экономика	РАН	-	Q4	49	-	39
50	Вестник Санкт-Петербургского университета. Менеджмент	Универ.	-	Q4	50	38	40
51	Россия и новые государства Евразии	РАН	-	Q4	51	-	41
Источник: составлено авторами.

Рекомендации eLIBRARY.RU

В качестве заключения к данной статье мы посчитали целесообразным не только указать на критические замечания в отношении применяемой в РИНЦ методологии, но и сформулировать конкретные рекомендации, относящиеся к деятельности «Научной электронной библиотеки eLIBRARY.RU». Устранение ряда выявленных недостатков в используемой методике ранжирования научных журналов не только важно с точки зрения адекватного определения их рейтинга, но, что более существенно, может несколько смягчить для академических и университетских ученых, участвующих в производстве знания, ситуацию с насаждаемой «публикационной гонкой». Рекомендации можно сформулировать в виде следующих предложений.

• 1.    Необходимо сформировать общий массив исследуемых журналов База.RU, в состав которого входит 51 научный журнал. При этом в аналитических целях имеет смысл сохранять выборки ядро РИНЦ, Ядро.RU и РАН.RU.

• 2.    Следует предложить ВАК установить категорию K1 всем научным журналам, входящим в База.RU.

• 3.    Цитируемость публикаций, находящая соответствующее отражение в библиометриче-ских показателях, должна фиксироваться в РИНЦ, только если статья цитируется в журнале, входящем в состав общей журнальной базы База.RU.

• 4.    Принимая во внимание практическую важность учета при ранжировании журналов

• 5.    Следует поддержать предложение, требующее обсуждения, заместителя генерального директора Научной электронной библиотеки eLIBRARY.RU В. Глухова о загрузке в систему РИНЦ вместе с публикациями рецензий на статьи, что, кроме публичного доказательства рецензирования, может улучшить проводимую экспертизу журналов, сделав ее менее субъективной и более профессиональной.

• 6.    Необходимо внести принципиальные изменения в методику определения совокупного рейтинга журналов. Речь идет о применении MW-анализа, позволяющего на основе реальных данных, содержащихся в информационной базе «Научной электронной библиотеки eLIBRARY.RU», выявить статистически обоснованный вклад каждого библиометрического показателя в совокупный рейтинг, а также рассчитать величину этого рейтинга для каждого журнала.

• 7.    Целесообразно установить порядок, в соответствии с которым каждый год (не позднее 1 февраля) должны пересматриваться результаты ранжирования журналов на основе актуальной информации «Научной электронной библиотеки eLIBRARY.RU».

факторов цитируемости и «очищенной» цитируемости, целесообразно использовать оба варианта библиометрических показателей. Речь идет о базовом наборе, включающем пятилетний импакт-фактор, десяти- и трехлетние индексы Хирша, а также о расширенном наборе индикаторов, дополненном индексом Херфиндаля.