Временная динамика индекса Хирша

Индекс Хирша или h -индекс - количественная характеристика публикационной активности ученого [1]. h -индекс ученого равен N, если N его публикаций имеют по N II более цитирований, а остальные публикации имеют не более N цитирований. h -индекс и его различные модификации, например, учитывающие нескольких соавторов у публикации [2,3] или время научной активности ученого [1], широко используются в наукометрии (см. обзор и сравнение многочисленных модификаций h -индексов и родственных показателей [4]).

Индекс Хирша ученого меняется со временем. Хирш предположил, что h -индекс с годами растет приблизительно линейно [1]. Это предположение было подтверждено в рамках стохастической модели [5]. Однако, исследования наукометрических данных свидетельствуют, что линейный рост h -индекса - только одна из возможностей его временной динамики [6,7]. Линейный рост может замедляться вплоть до выхода h -индекса на постоянное значение; возможно и более сложное поведение [6]. В рамках концепции процесса производства информации было показано, что h = T ¹ /“, где T - полное число источников (публикаций), а - показатель Лотки [8]. В [9,10] была предложена модель, в которой рост h -индекса с течением времени замедляется, и h -индекс выходит на постоянное значение. В [11] проведено компьютерное моделирование динамики изменения h -индекса со временем для различных моделей распределения цитирований. В большинстве случаев модель продемонстрировала, линейный рост со временем h -индекса, в редких случаях наблюдалось замедление роста h -ппдекса.

Разнообразный характер зависимости h -индекса от времени [6, 7] заставляет задуматься о двух возможных альтернативах.

• •    Универсальное поведение h -индекса от времени отсутствует. Для каждого ученого динамика h -индекса уникальна.

• •    Динамика ^ -индекса является универсальной. В случае конкретного ученого эта динамика может не проявляться из-за низкой публикационной активности или ее незначительной продолжительности или быть замаскирована разнообразными факторами (например, радикальное изменение области научных исследований).

Целью настоящей работы является построение модели, которая позволила понять основные закономерности динамики ^ -индекса. В разделе «Экспериментальные данные» мы представляем результаты обработки данных о динамике ^ -индекса группы активно публикующихся ученых, представленных в базе данных Scopus. В разделе «Модель» описана математическая модель временной динамики ^ -индекса.

1.    Экспериментальные данные

Для анализа была использована база данных Scopus. Были проанализированы наукометрические данные 25 ученых. Среди них - лауреаты Нобелевской премии по физике Ж. Алферов (2000), В. Гинзбург (2003), А. Гейм (2010), К. Новоселов (2010) и лауреат Филдсовской премии С. Смирнов (2010). Для анализа отбирались те ученые, про которых было достоверно известно, что они активно и стабильно публикуют результаты своих исследований в течение продолжительного времени. Кривые зависимости ^ -индекса от времени не демонстрируют общих закономерностей (рис. 1), что согласуется с проведенными ранее исследованиями [6,7].

1,0

0,9

0,8

0,7

0,6

0,5

0,4

0,3

0,2

0,1

0,0

*

• ◄ ■

4 □

5*.

1Ц*М

Koonin, 139 Barabasi, 86 Novoselov, 76

Alferov, 45 Witten, 47

Ziff, 43 Zakharov, 36 Mandelbrot, 29 Lebovka, 26

Prosandeev, 22

Ramirez-Pastor, 20

Yuzyuk, 20

Ginzburg, 16

Brutin, 14

Pauchard, 14

Kabov, 14

Topolov, 14

Tarafdar, 13

Smirnov, 13

Arnold, 10 Tarasevich, 9

Dutta, 7   ►

1975   1980   1985   1990   1995   2000   2005   2010   2015

year

Рис. 1. Зависимость величины нормированного ^ -индекса от времени. После фамилии ученого через запятую указано значение его ^ -индекса по состоянию на 30 апреля 2015 года

Лишь некоторые кривые имеют почти линейные участки, соответствующие гипотезе Хирша [1], в большинстве случаев кривые вогнутые или выгнутые.

Кроме того, для каждого ученого была исследована динамика hs(t)-индекса. hs(t)-индекс - значение h-индекса в году t, который определяется работами, опубликованными до года s включительно [12]. Например, h2000(20 1 5) - значение h-индекса данного автора в 2015 году, определенное на основании цитирований его работ, опубликованных до 2000 года включительно. Естественно, что ht(t) совпадает с обычным h-ппдексом. В отличие от обычного h-ппдекса. зависимость hs (t)-ппдекса для группы рассмотренных нами ученых близка к сигмоидальной. Зависимость величины hs-индекса от времени аппроксимировалась функцией hs (t) =

him exp ( - 0)

¹ + ^exP ( ^{t —} 0 ) '

В качестве примера см. рис. 2.

Рис. 2. Зависимость от времени hs-индекса и общего числа публикаций и результаты аппроксимации исходных данных. В случае аппроксимации hs-индекса R2 = 0.99797, в случае аппроксимации числа публикаций R2 = 0.99622. По данным проекта «Корпус экспертов по естественным наукам» Е. Кунин имеет наибольший h-индекс среди российских ученых

В единственном случае (А. Гейм) была обнаружена зависимость h s -индекса от времени, резко отличающаяся от остальных наборов данных (рис. 3). Мы связываем такое поведение h s -индекса с началом работ по тематике графена. Для сравнения на том же рисунке представлены данные по К. Новоселову - соавтору А. Гейма, который к моменту начала «графенового бума» имел меньший период активной научной работы и меньшие значения наукометрических показателей.

Поскольку продолжительность активной работы ученых и максимальные значения h s -индекса в выборке сильно отличались ( h s -индекс изменяется от 7 до 137), данные для последующего анализа были отмасштабированы: для каждого набора данных h s -индекс по делили на h _max, время - на A t , кроме того, начало отсчета времени смещалось к значению t0. Данные представлены на рис. 4.

era of graphene

2010        2015

year

Рис. 3. Зависимость от времени hs-индексов Нобелевских лауреатов А. Гейма и К. Но воселова

E

1.0-1

0.8-

0.6-

0.4-

0.2-

0.0-

-6

Koonin h =137 max

Barabasi h =83 max

Novoselov h =72 max

Larson h =58 max

Alferov h

Witten h

I =45 max

= 43

max

Ziff h =40 max

Zakharov h =36 max

Mandelbrot h =26 max

Lebovka h =25 max

Prosandeev h =21 max

-5

-i

■4

-2

-1

(f-f>f

Ramirez-Pastor h =19 max

Yuzyuk h =17 ⁷ max

Brutin h =14

max

Pauchard h

Kabov h max

1 = 14

max

= 14

•w«

Topolov h =14

1          max

Tarafdarh =13 max

Ginzburg h =13

Smirnov h =13 max

Arnold h =10 max

Tarasevich h =9 max

Dutta h = 7 max

-3

Рис. 4. Зависимость величины нормированного h s -индекса от безразмерного времени по состоянию на 7 февраля 2015 года.

Естественно, чем меньше значение hs/hmax, тем заметнее дискретность hs. Если для ученых с большими значениями hmax графики гладкие, то для ученых с малыми значениями hmax графики ступенчатые. Во всех рассмотренных случаях имеется временной участок с почти линейным ростом hs-индекса. Снижением скорости роста hs-индекса и его выход на постоянное значение отражает тот факт, что недавно опубликованные работы не оказывают влияния на величину h-индекса. Начальные участки зависимостей hs-индекса демонстрируют в некоторых случаях заметное от- клонение от сигмоидальной кривой. Эффект может быть объяснен, во-первых, существенным влиянием дискретности при малых значениях hs, во-вторых, возможной неполнотой данных, поскольку относительно полная информация о цитированиях накоплена только после 1995 года (например, начало публикационной активности Ж. Алферова относится к 1973 году).

2.    Модель

Временная динамика h -индекса может зависеть от нескольких факторов.

• 1.    Временная динамика h -индекса связана с количеством статей, которые ученый публикует в течение года. Для активно работающего ученого эта величина не является постоянной: в начале научной карьеры ежегодное число публикаций растет, затем выходит на насыщение, в конце научной карьеры плавно (в случае постепенного отхода от дел) или резко (в случае смерти ученого) сокращается до нуля.

• 2.    Временная динамика h -индекса связана с распределением статей ученого по числу цитирований. Количество цитирований косвенно связано с импакт-фактором журналов, в которых публикует свои работы ученый. Для активно работающего ученого разумно ожидать, что средняя величина импакт-фактора журналов, в которых публикуется ученый, растет в течение научной карьеры ученого. Можно ожидать, что распределение статей ученого по цитированиям при t ^ то зависит от среднего импакт-фактора журналов, в которых опубликованы статьи. Так, для статей по биологии, химии и биохимии была найдена линейная связь между числом ссылок на статью и импакт-фактором журнала, в котором она была опубликована; для статей по математике и физике эта связь почти линейная [13]. Таким образом, ученый, который публикует свои результаты в журналах с высоким импакт-фактором, будет иметь большую долю высоко цитируемых статей.

• 3.    Временная динамика h -индекса связана с динамикой цитирования каждой конкретной статьи.

• 4.    Количество цитирований статьи линейно зависит от числа соавторов и числа ссылок [13]. Поскольку ученые обычно отслеживают публикации известных им коллег, увеличение числа соавторов приводит к увеличению вероятности того, что публикация будет замечена и использована. Кроме того, обычно ученые отслеживают ссылки на некоторые важные для них публикации. Увеличение списка цитированных источников, таким образом, увеличивает вероятность того, что работу заметят. Поскольку h -индекс зависит от числа цитирований, перечисленные факторы оказывают опосредованное влияние на динамику h -индекса.

В нашей модели мы постарались учесть первые три из перечисленных эффектов. Исследованию последнего эффекта посвящены, например, работы [14,15].

Для проведения моделирования необходимо знать, как меняется число цитирований конкретной статьи от времени. Число цитирований статьи в единицу времени меняется с годами и зависит от типа статьи [16]. В [16] предложена кривая, описывающая динамику числа ссылок на статью. Эта кривая имеет максимум, положение и высота которого зависит от типа статьи (обычная исследовательская статья, письмо редактору, обзор). Типичные кривые для различных типов статей приведены на рис. 5. По форме кривая, описывающая динамику цитирований, близка к логнормальному распределению [17]

f (x) = ---eXP (- (ln X 2 ^) ) •                      W xa х]^ п \     2 a2   /

Заметим, что x c = е ^ является медианой и соответствует широко используемой в наукометрии величине cited half-life. Для статей по физике эта величина приблизительно равна 7 годам, по химии и техническим наукам - около 8 лет [18]. Поскольку ∞

J f ( x ) dx = 1, то f ( x ) следует умножать на полное число цитирований i -й публикации 0

за бесконечно большое время с ™^ах. В [11] использован для моделирования упрощенный закон изменения цитирований с плотностью распределения в виде разностороннего треугольника. Для описания динамики затухания цитирований статьи (стадия после максимума цитирования) предложена иная математическая формула [19], однако мы будем опираться на формулу (1), поскольку нас интересуют все стадии цитирования статьи.

Рис. 5. Слева: типичные зависимости от времени числа цитирований различных типов научных публикаций [16]. Справа: типичная зависимость числа цитирований от времени (кривая) и ее приближенное представление (ломанная) [И]

Понятно, что конкретная статья цитируется лишь приближенно в соответствии с теоретической кривой. При моделировании для генерации числа цитирований статьи в момент времени t используем распределение Пуассона

λ ^k p k = н^е

с параметром А = с Д^lx f ( t ) (рис. 6).

Для конкретной статьи cited half-life может сколь угодно сильно отличаться от среднего значения. Например, в течение почти 40 лет число ежегодных цитирований статьи (Scopus eid=2-s2.0-0001155449) продолжает расти, таким образом cited half-life

Рис. 6. Число цитирований некоторой публикации с как функция времени, прошедшего с момента публикации: теоретическая кривая (1), моделирование с использованием распределения (2) и сравнение с реальной динамикой цитирования статьи по данным Scopus (eid=2-s2.0-0030732736)

для этой статьи заведомо превышает 40 лет, отличаясь от типичного значения в 6 или более раз (см. рис. 7); данные о цитированиях статьи (Scopus eid=2-s2.0-0030732736, рис. 6) также демонстрируют, что cited half-life существенно превосходит типичное значение.

Распределению публикаций по числу цитирований посвящены многочисленные работы. Обзор подходов, применяющихся при моделировании распределения публикаций по числу цитирований, с соответствующими ссылками можно найти в [20]. Экспериментальное установление реального закона распределения или проверка некой теоретической гипотезы невозможно, поскольку такая проверка предполагает наличие полных данных за весьма длительный (теоретически - бесконечный) промежуток времени после публикации, когда цитирования статей полностью прекращаются. Однако, относительно полные данные накоплены только о цитированиях статей после 1995 года, т.е. за 20 последних лет, а научные работы нередко цитируются многие десятилетия (рис. 7).

Зачастую считается, что при t ^ то распределение публикаций по числу цитирований соответствует модели Лотки [21]

а — 1 ф(x) = "а^г, где ф(x) - функция вероятности.

На основании данных Web of Science о цитированиях более 200000 статей по математике, физике, химии, биохимии и биологии было показано [13], что реальное распределение публикаций по числу цитирований хорошо аппроксимируется геомет-

70-,

60-

20-

10-

1975   1980   1985

1990   1995   2000   2005   2010   2015

ГОД

Рис. 7. Число цитирований статьи по данным Scopus (eid=s2.0-0001155449)

рическим распределением

Р к = E +Г ( E+l )‘ ■                      ¹⁴¹

где р _к - вероятность того, что статья будет процитирована к раз, к - ожидаемое число цитирований статьи, E - параметр. Для статей по физике, например, E = 9 , 72. Точность аппроксимации существенно улучшается, если использовать сумму двух геометрических распределений с разными параметрами. Следует иметь в виду, что проведенный анализ основан на данных о цитированиях за ограниченный промежуток времени, в пределе t ^ то результаты могут быть иными. Кроме того, при рассмотрении распределения статей конкретного ученого по цитированиям можно ожидать, что величина E зависит от уровня ученого - у выдающихся ученых E велико, у слабых -мало. Соответственно, у сильного ученого доля статей с малым числом цитирований меньше, зато имеются статьи с очень большим числом цитирований; у слабого ученого, напротив, доминируют статьи с нулевым или малым числом цитирований, высоко цитируемые статьи не встречаются. Тот факт, что данные по большому массиву статей хорошо аппроксимируются комбинацией двух геометрических распределений, может свидетельствовать о том, что в обрабатываемой совокупности представлены статьи, написанные авторами разного уровня.

Алгоритм

• 1.    Задаем время активной деятельности ученого. В приведенных в дальнейшем результатах этот параметр всюду равен 50. Задаем среднее число статей (n), которые ученый публикует за год. Считаем, что публикационная активность с годами меняется - предполагается сигмоидальный рост числа публикаций на начальной стадии научной карьеры. Принимая в качестве нулевого приближения,

• 2.    Число статей n(t), опубликованных в год t, генерируем случайным образом по закону Пуассона с А = (n). Таким образом, в среднем за год будут появляться (n) статей, но в конкретном году число статей может быть больше или меньше.

• 3.    В зависимости от выбранной модели распределения публикаций по числу цитирований с помощью распределения Лотки (3) или геометрического распределения (4) создаем последовательность N случайных чисел с™^ах- полное число цитирований i-й статьи за все время. Первые n(1) чисел из этой последовательности относятся к статьям, опубликованным в 1 год, следующие n(2) чисел относятся к статьям, опубликованным во второй год, и т.д.

• 4.    С помощью формулы (1) получаем распределение ожидаемого числа цитирований i-й статьи по годам. Параметры логнормального распределения для каждой статьи меняются в зависимости от максимального ожидаемого числа ссылок на статью. Логично предположить, что чем больше ссылок на статью, тем дольше продолжаются цитирования, и тем больше время, когда цитирования достигают максимума. Мы положили, что моде M соответствует время Дс™^ах, a cited half-life в полтора раза больше T1 /2 = 1, 5M. Тогда, ц = ln T1 /2, о² = ln T^p), что обеспечивает близость ожидаемой динамики цитирований к наблюдаемой. Таким образом, для i-й статьи ожидается число цитирований в год t > ti, где t. - год, в который была опубликована статья,

• 5.    Для года, t генерируем случайное число с. (t) - число шгтировашш i-й статьи в году t. Случайные числа должны соответствовать распределению Пуассона. Математическое ожидание числа цитирований i-й статьи в год t равно А = f.(t).

3.    Результаты моделирования

что на протяжении всей своей научной деятельности ученый работает с одинаковой активностью, то есть в среднем публикует ежегодно одно и то же число статей, оцениваем полное число статей, опубликованных за все время научной деятельности, как N = (n)t_maX'

c i^     exn ( ^(ln( t - t i ) - ^ ⁾² )

f ⁽ t ) = ( t - t . ) о , Т 2 Л ^exp I        2 0 2      )

Моделирование проводилось для двух распределений публикаций по числу цитирований. Использовалось распределение Лотки (3) с различными показателями а, геометрическое распределение (4), а, также сумма, двух геометрических распределений, параметры которых были определены по методу наименьших квадратов для данных по физическим журналам, представленным в [13]. Динамика h -индекса даже при одинаковых параметрах демонстрирует заметный разброс, поэтому представленные в настоящей работе результаты были получены путем усреднения серии из 10 экспериментов при каждом наборе параметров.

Результаты моделирования с использованием распределения Лотки для распределения статей по числу цитирований представлены на рис. 8. Уменьшение показателя в распределении Лотки приводит к увеличению максимального значения h -индекса при любой продуктивности.

(a)

50-, 45

1 article/year

3 article/year

6 article/year

12 article/year

24 article/year

0 10 20 30 40 50 60 70 80 90 100

year

(b)

50-, 45

1 article/year

3 article/year

6 article/year

12 article/year

24 article/year

0 10 20 30 40 50 60 70 80 90 100

year

Рис. 8. Результаты моделирования динамики ^ -индекса при различном числе публикаций в год с использованием распределения статей по числу цитирований в соответствии с распределением Лотки, (а) а = 1 . 8, (Ь) а = 2 . 0. Каждая кривая получена путем усреднения результатов по 10 реализациям

Результаты моделирования с использованием геометрического распределения представлены на рис. 9.

Рис. 9. Результаты моделирования динамики ^ -индекса: а) при различной продуктивности ученого (среднем числе публикаций в год) с использованием распределения статей по числу цитирований в соответствии с данными [13]; Ь) при средней продуктивности ученого 6 публикаций в год с использованием распределения статей по числу цитирований в соответствии с геометрическим распределением при разных значениях параметра распределения, p = (1 + E ) ~ 1. Каждая кривая получена путем усреднения результатов по 10 реализациям

year

Для обеих гипотез о характере распределения публикаций по числу цитирований кривые зависимости ^ -индекса от времени качественно согласуются с данными о динамике изменения ^ -индекса реальных ученых. Имеется согласие результатов моделирования с реальными данными и в случае ^-индекса (рис. 10).

Рис. 10. Результаты моделирования изменения ^-индекса при продуктивности 12 статей в год. Распределение статей по числу цитирований соответствует (а) распределению Лотки, а = 1 , 8; (Ь) геометрическому распределению, p = 0 , 1

(b)                          year

В нынешнем виде модель использует два упрощающих предположения. Отказ от этих предположений может обеспечить лучшее согласие результатов моделирования с реальными данными.

Нужно очень отчетливо осознавать, что наукометрические показатели в принципе не могут оценивать научный уровень получаемых ученым результатов. Наукометрические показатели характеризуют степень интеграции ученого в процесс обмена информацией внутри международного научного сообщества. Удостоенный Филдсов-ской премии Г. Перельман в базе данных Scopus вообще не представлен.

Следует учитывать, что число цитирований и динамика изменения числа цитирований зависят от числа соавторов публикации, а также от их известности в научных кругах [22]. Интуитивно понятно, что шансов привлечь к себе внимание при прочих равных условиях больше у той статьи, среди соавторов которой имеется известный ученый.

Можно было бы ожидать, что, имея данные о динамике ^-индекса на среднем этапе научной карьеры ученого, можно прогнозировать динамику дальнейшего роста ^-индекса. Такой прогноз можно было бы рассматривать как надежный, поскольку h-индекс является весьма инерционным показателем и зависит от всей предыдущей публикационной активности ученого [23].

h -индекс - интегральная величина, что одновременно является его достоинством и недостатком. Простота вычисления и интерпретации h -индекса делают его удобной количественной характеристикой. Интегральный характер h -индекса делает его непригодным для детального исследования публикационной активности ученого.

Индекс Хирша не является в чистом виде индивидуальным показателем ученого, т.к. большинство работ в настоящее время публикуется в соавторстве, а количество цитирований определяется не только научным уровнем публикации, но и известностью в научных кругах авторов, количеством ученых, работающих по тематике публикации, а также рядом других факторов, которые вообще трудно учесть.

В наши дни наука все более становится публичной деятельностью, и для нее оказываются справедливыми те же самые закономерности, что и для шоу-бизнеса. Если оценивать по количеству упоминаний в СМИ оперных певцов и певцов других жанров, то первые окажутся в проигрыше, что отнюдь не свидетельствует о незначительности вклада оперного искусства в мировую культуру.

При использовании любого формального критерия для оценки научной деятельности следует проявлять максимальную осторожность. Даже внутри весьма компактной и авторитетной группы ученых - действительных членов РАН - имеется весьма большой (десятикратный) разброс наукометрических показателей (рис. И).

Рис. 11. Значения h-индекса академиков РАН, имеющих не менее 100 цитирований работ, опубликованных за последние 7 лет. По данным проекта «Корпус экспертов по естественным наукам»