К вопросу об альтернативных способах оценки научных результатов
Автор: Артамонова Анна Станиславовна, Третьякова Ольга Валентиновна
Журнал: Социальное пространство @socialarea
Рубрика: Социогуманитарные исследования
Статья в выпуске: 5 т.6, 2020 года.
Бесплатный доступ
Проблема оценки научных результатов набирает актуальность с возрастанием их общественной значимости. Отсутствие общей позиции в научном сообществе относительно эффективности как традиционных наукометрических показателей, так и экспертизы, а также активное развитие информационных технологий привели к появлению нового подхода, основанного на использовании альтернативных показателей оценки - альтметрик. Поскольку альтметрики находятся еще только в стадии развития, необходимо направить усилия экспертного сообщества на изучение их возможностей применительно к оценке научных результатов. Настоящая работа призвана восполнить недостаток таких исследований. Эмпирическую базу составили данные сервиса Altmetric и международной наукометрической базы Web of Science. В ходе исследования был проведен анализ степени использования альтметрик в разрезе отраслей научного знания, стран и аффилиации авторов, предпринята попытка определить характер связей между индикаторами популярности научной статьи в интернет-пространстве и показателями цитирования в научной среде. Результаты исследования позволили сделать вывод о том, что применение альтметрик в качестве критериев оценки научной эффективности имеет ограничения, поскольку они являются в большей степени показателем временного внимания к публикации и не позволяют прогнозировать степень будущей цитируемости. Полученные выводыподтверждают формирующееся мнение ученых о том, что альтметрикам, скорее, соответствует статус «дополнительных метрик». В то же время потенциал альтметрик может быть реализован в процессе выстраивания научной коммуникации. Выводы исследования важны для осмысления походов к оценке научных результатов.
Оценка научной деятельности, научная эффективность, альтметрики, публикационная активность, продвижение научных результатов
Короткий адрес: https://sciup.org/147225556
IDR: 147225556 | DOI: 10.15838/sa.2020.5.27.7
Текст научной статьи К вопросу об альтернативных способах оценки научных результатов
В последние десятилетия заметно растут ожидания от научных исследований со стороны и государства, и общества. Организации, финансирующие науку, пытаются оценить, какое влияние поддерживаемые ими исследования оказывают на общество, насколько научное знание способствует удовлетворению человеческих потребностей и улучшению условий жизни. Однако запрос на оценку общественного влияния1 научных результатов представляет собой крайне сложный процесс в связи с недостатком задокументированных, эмпирических оценок [1, с. 227], отсутствием принятого набора адекватных исходных данных, критериев и методов [Bensing et al, 2003; цит. по: 2], особенно для фундаментальных и стратегических исследований [3, с. 11].
Вопросы оценки научных результатов остаются дискуссионными на протяжении десятилетий. Традиционные способы оценки результативности научной деятельности базируются на экспертизе либо на использовании библиометрических показателей: количество опубликованных работ, число цитирований и индекс Хирша (или h-индекс), отражающий «усредненную публикационную активность исследователей» [4, c. 196]. Оценка общественного влияния науки представляет собой довольно серьезную проблему в связи с недостатком адекватных общепризнанных критериев и исходных данных. Дискуссию между сторонниками наукометрического подхода и учеными, выступающими за экспертные методы оценивания, едва ли можно считать завершенной. Кроме этого, объем доступной научной информации настолько велик, что ученые и эксперты, оценивающие потенциал авторских коллективов, «просто не в состоянии прочитать даже все публикации по своей узкой специальности, не то что отслеживать публикации в смежных областях знаний, что крайне необходимо при постоянно повышающейся междисциплинарности исследований» [5, c. 116]. Это существенно осложняет процесс поиска релевантной информации и может привести к искажению общей картины состояния научной отрасли и оценки конкретного научного коллектива.
Несмотря на длительный характер обсуждения, эксперты до сих пор не пришли к общему мнению относительно эффективности как наукометрических показателей, так и экспертной оценки. На фоне этой дискуссии появился новый подход, основанный на применении альтернативных показателей. Одним из наиболее известных инструментов для оценки научного влияния стали так называемые «альтметрики» (altmetrics).
Альтметрики базируются на степени активности исследователей в использовании онлайн-инструментов и сред [6]. Первым исследованиям, посвященным альтернативной оценке научного влияния, не более 15 лет2. В настоящее время дискуссию о возможностях применения альтметрик в качестве инструмента для оценки эффективности научной деятельности нельзя считать завершенной. Сторонники альтернативного подхода проводят исследования, подтверж- дающие наличие корреляции альтметрик с числом цитирований [7], предлагают методические разработки по расчету интегрального онлайн импакт-фактора [8] или твимпакт-фактора (twimpact) [9]. При этом прогнозная функция альтметрик подвергается критике, поскольку они позволяют измерить внимание к публикации в определенный непродолжительный временной отрезок, то есть, по сути, измеряют не ее научное влияние (авторитет), а ее потребление [10]. Вышесказанное актуализирует проведение исследований, направленных на выявление потенциала альтметрик как альтернативного способа оценки научных результатов, что и составило цель нашей работы.
В ходе исследования проанализирована степень использования альтметрик в разрезе отраслей научного знания, стран и аффилиации авторов за период с 2014 по 2019 год. Предпринята попытка определить характер связей между индикаторами популярности научной статьи в интернет-пространстве и показателями цитирования в научной среде. Полученные выводы подтверждают формирующееся мнение ученых о том, что альт-метрикам, скорее, соответствует статус «дополнительных метрик» (“addmetrics”) [11]. Показано, что альтметрики имеют большое значение для исследователей. Применение их в качестве инструмента выстраивания научной коммуникации и использование сервисов, служащих источниками альтмет-рик, для продвижения результатов научной деятельности открывают новые горизонты для ученого. Итоги работы, позволившие сделать выводы о возможностях альтметрик, важны для осмысления походов к оценке научных результатов.
Теоретический обзор
Как отмечают исследователи, наука все теснее связывается с возможностью технологического применения получаемых результатов [12, с. 78] и воспринимается, в первую очередь, с позиций экономической целе- сообразности [13]. Новый виток актуальности получила дискуссия о том, должна ли наука прежде всего отвечать потребностям человека и запросу общества или ученые свободны в постижении научного знания ради него самого, без оглядки на его потенциальное применение. Этот вопрос активно обсуждается с момента публикации книги John D. Bernal «Социальная функция науки» («The Social Function of Science»3, 1939 год). Автор утверждал, что наука должна приносить конкретную пользу и находиться под контролем государства. Высказанная Берналем точка зрения активно критиковалась защитниками «либеральной» концепции, согласно которой развитие научного знания посредством исследований ценно само по себе [13].
Оценивание научных исследований с позиций экономической эффективности приводит к тому, что другие сферы применения знаний часто игнорируются. Это негативно сказывается на общем уровне грамотности населения. Так, согласно результатам опроса Eurobarometer в среднем только половина европейцев знает, что размер электрона меньше размера атома, почти треть респондентов думает, что Солнце вращается вокруг Земли, почти четверть уверена, что древнейшие люди жили в одно время с динозав-рами4. Именно наука призвана формировать фундаментальное понимание процессов развития мировой цивилизации [14].
Традиционными способами оценки результативности научной деятельности исследователей считаются количество опубликованных работ, число цитирований и индекс Хирша. В.В. Налимов и З.М. Мульчен-ко отмечали: «… талантливые долго жившие ученые, как правило, публиковали много работ. Но отсюда не следует обратное: что большое число публикаций есть показатель талантливости», в связи с этим «… надо научиться выделять полезные сигналы на том шумовом поле, которое создается посредственными публикациями. Мерой полезно- сти публикации является ее цитируемость. Если работа цитируется, то это значит, что она оказывает влияние на развитие науки как информационного процесса» [15, c. 116].
Цитирование прочно закрепилось в качестве признанного критерия оценки научной эффективности, выступая показателем для расчета h-индекса ученого или импакт-фактора журнала [16]. Вместе с тем как метрика цитирование имеет ряд недостатков, главный из которых – «медленное наращивание цитат из других источников, иногда проходит несколько месяцев с момента публикации до ее первого цитирования» [17, c. 71]. Кроме этого, основным условием для подсчета числа цитирований является наличие открытого доступа к публикациям. Поскольку указанная проблема до сих пор не решена в научном сообществе, она ведет к ограничению прозрачности процесса [18; 19]. Цитирования также не учитывают такие современные формы научного знания, как наборы данных, программное обеспечение, по сути, отражая только часть общей картины [20]. К тому же подсчет цитирований не позволяет определить степень влияния исследователя за пределами научного сообщества [21]. Это обусловило поиск новых методов оценки общественного влияния научной деятельности.
С методологической точки зрения разработка методов, основанных на применении альтернативных показателей оценки, гораздо сложнее, «поскольку в этом случае приходится полагаться на менее надежные данные» [22, c. 76]. В качестве примеров можно привести разработку австрийских ученых, которые предложили измерять «общественный импакт-фактор» («societal impact factor») публикаций путем разъяснений авторами конкретной цели и практической значимости их работы (в анкете-приложении для рецензента) [23]. Их методика требует серьезной ручной обработки материалов, что не позволяет использовать ее для проведения масштабных исследований. Galletta и соавторы предлагают дополнить H-индекс V-индексом, связанным с измерением ценности (value)
исследования ненаучным сообществом (nonacademic stakeholders). V-индекс основывается на самооценке, включающей пятибалльную систему по нескольким направлениям, в том числе освещение деятельности через публичные презентации, средства массовой информации, предоставление рекомендаций на основе исследований в сетях и вне академических кругов; работе в партнерстве с неакадемическими специалистами с целью решения социальных проблем и др. [24]. Как можно заметить, методики включают самооценку и активное участие ученых в освещении своей деятельности. Среди прочего это предполагает внедрение новых практик распространения информации об исследованиях. Стремительное развитие информационных технологий привело к изменению структуры научных коммуникаций. В настоящее время «эффективность общения между учеными становится в значительной мере зависимой от активного освоения и использования учеными электронных способов научной коммуникации» [25, c. 80].
Наука перешла на новый этап развития, где большую роль играют новые технологии производства и сбора данных. Так, например, для социологии большие данные предоставили возможность изучать социальное поведение, доступ к которому раньше был ограничен, а работа с онлайн-данными позволила продвинуться в решении теоретической проблемы, связанной с определением природы социального влияния [26, с. 214]. Кроме этого, все большее внимание уделяется вопросу взаимодействия ученых с обществом. Речь идет о популяризации науки, необходимой для того, чтобы демистифицировать науку и ученых и повысить научную грамотность общества [13].
В связи с активным развитием информационных технологий и постепенным усилением виртуального присутствия исследователей основное внимание привлекает анализ веб-цитирования публикаций [27]. Базовая идея заключается в том, что ученые, как и любые пользователи сети, оставляют интернет-следы: обращаются к различным источникам, читают определенные публи- кации, сохраняют некоторые из них в закладки, делятся ими со своими коллегами, высказывают свое мнение в комментариях и пр. Эти отклики открывают возможность для анализа и оценки, сеть «сделала измеряемым то, что ранее измерению не поддавалось» [28]. Заметную роль в разработке и распространении новых способов оценки влияния научных публикаций играет агрегатор Altmetric, основанный в 2011 году. Ресурс входит в портфолио высокотехнологичной компании Digital Science, которая разрабатывает программное обеспечение для упрощения исследовательских процессов. Главной целью деятельности Altmetric выступают сбор и анализ результатов сетевой исследовательской активности на многочисленных онлайн-платформах (табл. 1).
Следует отметить, что исследования, посвященные установлению корреляции альт-метрик с числом цитирований, осуществлялись ранее [6]. Так, Vaughan и коллеги провели ряд исследований, подтвердивших наличие связи между веб-ссылками и импакт-фактором в Web of Science [30] или упоминаниями в интернете и традиционными метриками [31; 32]. В.А. Маркусовой и коллегам удалось обнаружить существенную ранговую корреляцию по Кендаллу между метриками цитирования и метриками использования на уровне статей, особенно сильную для показателей более длительного периода использования [10, с. 818]. Канадский ученый G. Eysenbach предложил рассчитывать стандартные метрики на основе социальной платформы Twitter и назвал их твиндекс (twindex), твимпакт фактор (twimpact) [8]. Он пришел к выводу, что
Таблица 1. Онлайн-платформы, которые используются для сбора альтметрик
у статей, активно цитирующихся в Twitter, в 11 раз выше вероятность оказаться высоко-цитируемыми в признанных базах данных. В некоторой степени аналогичными разработками являются Alt-Index [33] или «интегральный онлайн импакт-индикатор» («integrated online impact indicator») [7], охватывающие несколько медиа-платформ и этим выгодно отличающиеся от предыдущей методики.
Вопрос установления корреляции альтмет-рик с числом цитирований является довольно дискуссионным. Австралийский исследователь C. Barnes отмечает, что прогнозная функция альтметрик вызывает большие сомнения, поскольку они позволяют измерить внимание к публикации в определенный непродолжительный временной отрезок, то есть, по сути, рассматривают не ее научное влияние (авторитет), а ее потребление [9]. Альтметрики оценивают популярность публикации, степень интереса, проявленного к ней интернет-сообществом, однако измерить потенциал влияния крайне трудно [34]. На фоне критического осмысления роли альт-метрик трансформируется отношение к ним научного сообщества. Тенденцией последних лет становится признание за ними статуса «дополнительных метрик» («addmetrics») [10]. В научной литературе наблюдается недостаток работ, посвященных выявлению возможностей альтметрик для прогнозирования будущего цитирования, что и обусловило проведение настоящего исследования.
Методы
Исследование состоит из двух этапов. Первый включает анализ использования альтметрик относительно отраслей научного знания и страновой принадлежности авторов, второй посвящен проверке гипотезы о наличии корреляции между цитируемостью публикации в международных базах данных и уровнем внимания к ней пользователей интернета.
Эмпирической базой исследования выступили данные, публикуемые сервисом Altmetric. Ежегодно ресурс составляет перечень ста статей, привлекших наибольшее внимание пользователей онлайн-платформ, которые используются для сбора альтметрик. В ходе первого этапа работы были отобраны данные за период с 2014 по 2019 год. Затем последовательно применялись фильтры по отрасли (subject area), стране/региону и принадлежности к организации (affiliation).
Для реализации второго этапа исследования использованы данные по интегральному показателю, отражающему объем внимания к публикации (Altmetric Attention Score), и цитированию в Web of Science (WoS). Автоматический алгоритм расчета Altmetric Attention Score базируется на весовом распределении источников. Информация о том, какие весовые коэффициенты присваиваются разным источникам, представлена в табл. 2.
Altmetric Attention Score всегда является целым числом, то есть упоминания, которые дают в сумме менее 1, иногда могут округ-
Таблица 2. Весовое распределение источников при расчете Altmetric Attention Score
ляться до 1. Также необходимо отметить, что кроме указанных индикаторов алгоритм для расчета интегрального показателя учитывает и другие факторы (например, дублирующие твиты). Это не позволяет влиять на его значение простым суммированием числа упоминаний.
Для того чтобы установить, есть ли соотношение между тем, как одна и та же статья оценивается ученым в научной среде и пользователями, в том числе и неспециалистами, в интернет-пространстве, была произведена выборка самых популярных публикаций с использованием инструментов Altmetric и определено число цитирований каждой из них по базе данных Web of Science. Данные о цитировании приводятся по состоянию на октябрь 2020 года.
Результатыи обсуждение
Для того чтобы установить степень использования альтметрик в различных отраслях научного знания и странах, отобраны соответствующие данные из перечня статей, вошедших в топ-100 в 2014–2019 гг. В ходе анализа установлено, что из 18 научных категорий работы в отрасли медицинских наук занимают однозначную лидирующую позицию на протяжении всего расчетного периода ( табл. 3 ; ранжирование осуществлено по 2019 году).
Исследования в медицине традиционно цитируются активнее, чем, к примеру, в гуманитарных науках [35]. С одной стороны, это связано со значительным количеством индексируемых медицинских публикаций. С другой стороны, речь идет о своеобразной культуре цитирования. В медицинских науках чрезвычайно важно своевременно публиковать результаты исследований.
Обозначенные аспекты оказывают влияние и на страновую представленность популярных публикаций. В ходе анализа рейтинга топ-100 были выявлены страны – лидеры по числу публикаций, привлекающих наибольшее внимание пользователей сети (табл. 4).
Таблица 3. Научные отрасли, лидирующие в топ-100 Altmetric
Категория |
Год |
|||||
2014 |
2015 |
2016 |
2017 |
2018 |
2019 |
|
Медицинские науки |
44 |
36 |
49 |
53 |
44 |
54 |
Исследования человеческого общества |
5 |
11 |
12 |
8 |
11 |
9 |
Геологические науки |
6 |
10 |
6 |
9 |
17 |
7 |
Биологические науки |
20 |
17 |
14 |
20 |
6 |
6 |
Естественные науки |
9 |
7 |
6 |
2 |
9 |
2 |
Источник: altmetric-top-100
Таблица 4. Страны, лидирующие в топ-100 Altmetric
Страна |
Год |
||||
2014 |
2015 |
2016 |
2017 |
2018 |
|
США |
68 |
65 |
75 |
70 |
72 |
Великобритания |
19 |
31 |
33 |
35 |
29 |
Австралия |
4 |
16 |
12 |
12 |
17 |
Германия |
1 |
21 |
14 |
14 |
17 |
Китай |
4 |
11 |
5 |
7 |
11 |
Канада |
10 |
15 |
6 |
11 |
10 |
Нидерланды |
3 |
12 |
5 |
9 |
9 |
Франция |
10 |
15 |
8 |
8 |
8 |
Швеция |
5 |
10 |
3 |
6 |
7 |
Швейцария |
5 |
9 |
6 |
8 |
6 |
Россия |
2 |
4 |
1 |
0 |
1 |
Источник: altmetric-top-100/
Лидирующие позиции занимают государства, где английский является официальным языком. Стабильный рост демонстрируют также страны, имеющие развитые связи на международном рынке. Это обусловлено тем, что большую часть социальных сетей и платформ, которые используются для сбора метрик, составляют американские и европейские ресурсы. В настоящее время представленность в них российской науки невелика [36], что отражается и в рейтингах Altmetric. В таких условиях процесс публикации для англоговорящих исследователей является несколько более легким (поскольку международные журналы, как правило, выпускаются на английском языке), особенно если авторы аффилированы с известными научными организациями. Так, по данным Altmetric, в 2019 году из 235 организаций лидируют публикации авторов из Гарвардского университета (11), Университетского колледжа Лондона (6), Оксфордского университета (5) и «Brigham and Women's Hospital» – учебной больницы Гарвардской медицинской школы (5), Университетов Мичигана (4), Калифорнии (4) и Вашингтона (4).
Для исследователей из других государств возможности публиковаться в высокорейтинговых журналах порой определяются наличием развитых связей с коллегами из Европы, США, Канады. Как правило, основная часть статей в топ-100 опубликована коллективами авторов из разных стран, что также отчасти обусловливает и популярность в интернет-пространстве – каждый из соавторов делится публикацией в своем аккаунте в социальных сетях, соответственно, расширяя читательскую аудиторию. В этом контексте роль современных онлайн-сервисов для выстраивания научной коммуникации значительно возрастает. Регистрация авторов в таких системах и активное использование их ресурса значительно улучшает их видимость, позволяет найти потенциальных коллег.
Можно отметить и другой важный аспект. В развитых странах финансирующие организации уделяют пристальное внимание эффективности деятельности ученых, оценивая их публикационную активность (от которой может зависеть как продление рабочего контракта, так и финансирование исследовательского проекта), зачастую в контексте конкретной пользы для общества. Этим обусловлено и развитие дополнительных метрик для такой оценки (с подачи самих исследователей), и активность ученых в виртуальном пространстве, где сосредоточена общественная жизнь значительного числа граждан.
Для того чтобы установить, есть ли корреляция между индикаторами популярности научной статьи в интернет-пространстве и показателями цитирования в научной среде, мы выявили десять статей-лидеров по рейтингу Altmetric за 2018 год и определили число цитирований каждой из них по базе данных Web of Science. Данные о цитировании приводятся по состоянию на октябрь 2020 года.
Ранжирование публикаций в рейтинге Altmetric произведено на основе интегрального показателя – Altmetric Attention Score, отражающего объем внимания к публикации в интернет-пространстве. Для уточнения результатов анализа определено, в каких журналах были опубликованы выбранные статьи. Далее на основе данных международной наукометрической базы Web of Science мы установили число цитирований каждой публикации и квартили журналов (табл. 5).
Сравнительный анализ альтметрик и показателей цитирования позволяет понять, влияет ли популярность статьи в момент ее публикации в пользовательской интернет-среде на ее дальнейшую оценку профессиональным научным сообществом.
При сопоставлении данных выявлено, что самые популярные статьи, согласно информации рейтинга Altmetric, как правило, имеют и высокое цитирование в Web of Science. При этом число цитирований в WoS у отдельных статей существенно различается. У одних публикаций – несколько сотен ссылок, другие – менее 100. Статья, которая занимает первое место в рейтинге Altmetric, не является самой цитируемой в WoS. В то же время анализ квартилей журналов показывает, что все самые популярные в сети научные статьи опубликованы в высокорейтинговых журналах, причисленных к первому квартилю (Q1). Это позволяет сделать вывод о том, что популярность отдельной публикации в интернет-пространстве во многом определяется рейтингом научного журнала, однако прямого влияния на цитируемость статьи в международных наукометрических базах данных не оказывает.
Таблица 5. Топ-10 статей по Altmetric Attention Score в 2018 году в распределении по журналам, с указанием цитирований в МНБД Web of Science
Статья |
Altmetric Attention Score |
Журнал |
Q |
Число цит. в WoS |
Статья 1 |
10724 |
New England Journal of Medicine |
1 |
126 |
Статья 2 |
8602 |
Science |
1 |
661 |
Статья 3 |
8525 |
The Lancet |
1 |
455 |
Статья 4 |
5694 |
Proceedings of the National Academy of Sciences of the United States of America |
1 |
401 |
Статья 5 |
5667 |
The Lancet Psychiatry |
1 |
127 |
Статья 6 |
4993 |
The Lancet Public Health |
1 |
121 |
Статья 7 |
4937 |
Scientific Reports |
1 |
224 |
Статья 8 |
4498 |
JAMA Oncology |
1 |
72 |
Статья 9 |
4335 |
Nature |
1 |
323 |
Статья 10 |
4237 |
Proceedings of the National Academy of Sciences of the United States of America |
1 |
305 |
Источник: данные Altmetric и Web of Science на октябрь 2020 года. |
Практически треть научных статей, вошедших в топ-100 рейтинга Altmetric за 2018 год, опубликована в журналах «Science», «Nature» и «Proceedings of the National Academy of Sciences of the United States of America». Мы проанализировали показатели цитирования этих статей в базе данных Web of Science, сопоставив их позиции в рейтинге Altmetric и места по числу цитирований среди других публикаций журнала в WoS (табл. 6).
В ходе анализа также было выявлено, что самые цитируемые в 2018 году статьи из журналов «Science» и «Nature» не вошли в топ-100 рейтинга Altmetric. Наиболее популярными среди пользователей сети являются, в том числе, и публикации из шестой и седьмой сотни по числу цитирований среди всех статей журнала, т. е. имеющие не очень высокий уровень цитирования по сравнению с другими статьями. Это подтверждает вывод об отсутствии прямой корреляционной связи между востребованностью научной публикации в пользовательской интернет-среде и научном сообществе. Полученные результаты позволяют согласиться с мнением о том, что альтметрики оценивают, скорее, социальную, прикладную либо образовательную значимость публикаций, а не фундаментальную, поскольку используются и не публикующимися социальными группами [36, с. 118]. Таким образом, следует заключить, что альтметрики не могут применяться в качестве самостоятельных показателей для оценки значимости научных публикаций.
Так как применение альтметрик в качестве инструмента оценки степени научного влияния имеет ограничения, представляет интерес вопрос, каким образом в исследовательской деятельности может быть использован их потенциал. Существует мнение, что информационные функции альтметрик особенно значимы «для социальных наук, продукция которых гораздо доступнее для понимания и популярнее у массового читателя и представителей других научных дисциплин», а возможности, предлагаемые интернет-ресурсами, позволяют в некоторой степени компенсировать недостатки информационного обеспечения научной деятельности [37, c. 12].
Поскольку интернет-платформы обеспечивают открытость публикации и облегчают процесс распространения научного знания, предоставляют возможность для обсуждения данных или результатов исследований и обмена ими [38; 39], потенциал альтметрик видится в их применении для дополнительной оценки, как отдельный документ был использован и какое влияние он оказал не только на научное сообщество, но и за его пределами.
Таблица 6. Сводные показатели статей из журналов
«Science», «Nature», «Proceedings of the National Academy of Sciences of the United States of America», вошедших в топ-100 рейтинга Altmetric за 2018 год
Статья |
Место в рейтинге Altmetric (из 100) |
Число цитирований в WoS, ед. |
Место по числу цитирований среди других статей журнала в WoS |
Science |
|||
Статья S1 |
2 |
661 |
6 |
Статья S2 |
11 |
98 |
174 |
Статья S3 |
22 |
727 |
5 |
Статья S4 |
28 |
481 |
10 |
Статья S5 |
37 |
121 |
135 |
Статья S6 |
53 |
24 |
690 |
Статья S7 |
57 |
280 |
29 |
Статья S8 |
63 |
101 |
170 |
Статья S9 |
67 |
171 |
71 |
Статья S10 |
72 |
280 |
28 |
Статья S11 |
79 |
18 |
762 |
Nature |
|||
Статья N1 |
9 |
323 |
21 |
Статья N2 |
26 |
201 |
56 |
Статья N3 |
50 |
80 |
260 |
Статья N4 |
55 |
105 |
168 |
Статья N5 |
62 |
37 |
589 |
Статья N6 |
87 |
433 |
12 |
Статья N7 |
96 |
93 |
212 |
Статья N8 |
99 |
319 |
23 |
Статья N9 |
100 |
91 |
222 |
Proceedings of the National Academy of Sciences of the United States of America |
|||
Статья P1 |
4 |
401 |
1 |
Статья P2 |
10 |
305 |
3 |
Статья P3 |
24 |
32 |
395 |
Статья P4 |
39 |
96 |
36 |
Статья P5 |
52 |
95 |
37 |
Статья P6 |
78 |
121 |
20 |
Статья P7 |
85 |
138 |
13 |
Статья P8 |
88 |
106 |
26 |
Статья P9 |
92 |
181 |
9 |
Источник: данные Altmetric и Web of Science на октябрь 2020 года. |
Заключение
Анализ использования альтметрик в разрезе отраслей научного знания показал, что наибольший интерес у пользователей сети вызывают публикации по медицине. Поскольку большую часть социальных сетей и платформ, которые используются для сбора альтметрик, составляют американские и европейские ресурсы, самыми популярными являются статьи из научных журналов, аффилированных со странами, где английский выступает официальным языком. Оценка публикаций российских авторов посредством альтметрик остается невысокой.
Результаты исследования позволили сделать вывод о том, что применение альтмет-рик в качестве критериев оценки научной значимости работ имеет ограничения. Выявлено, что популярность научных статей в пользовательской интернет-среде во многом определяется влиятельностью научных журналов. В то же время не удалось установить четкую корреляционную связь между востребованностью научной статьи в пользовательской интернет-среде и научном сообществе. Согласно итогам сопоставительного анализа популярность отдельной публикации в интернет-пространстве не оказывает прямого влияния на цитируемость статьи в международных наукометрических базах данных.
Полученные выводы подтверждают формирующееся мнение ученых о том, что аль-тметрикам, скорее, соответствует статус «дополнительных метрик» («addmetrics») [10]. Потенциал альтметрик видится в применении их для дополнительной оценки влияния научной публикации за пределами профессионального сообщества.
Следует отметить важное значение альт-метрик для исследователей. Их использование в качестве инструмента выстраивания научной коммуникации и применение сервисов, служащих источниками альтметрик, для продвижения результатов научной деятельности открывают новые горизонты для ученого. Кроме того, альтметрики могут быть полезны для редакторов журналов, журналистов в целях установления самых актуальных для общества научных тем и направлений.
Список литературы К вопросу об альтернативных способах оценки научных результатов
- Bell S., Shaw B., Boaz A. Real-world approaches to assessing the impact of environmental research on policy. Research Evaluation, 2011, no. 20 (3), pp. 227–237.
- Bornmann L. What is societal impact of research and how can it be assessed? A literature survey. Journal of the American Society for Information Science and Technology, 2013, no. 64 (2), pp. 217–233. DOI: 10.1002/asi.22803
- Van der Meulen B., Rip A. Evaluation of societal quality of public sector research in the Netherlands. Research Evaluation, 2000, no. 9 (1), pp. 11–25.
- Третьякова О.В., Кабакова Е.А. Возможности и перспективы использования индексов цитирования в оценке результатов деятельности научного учреждения // Экономические и социальные перемены: факты, тенденции, прогноз. 2013. № 6 (30). С. 189–200.
- Москалева О.В. Научные публикации как средство коммуникации, анализа и оценки научной деятельности // Руководство по наукометрии: индикаторы развития науки и технологии. Екатеринбург: Изд-во Урал. ун-та, 2014. С. 110–163. DOI: 10.15826/B978-5-7996-1352-5.0006
- Priem J., Groth P., Taraborelli D. The altmetrics collection. PLoS ONE, 2012, no. 7 (11): e48753. DOI: 10.1371/journal.pone.0048753
- Thelwall M., Haustein S., Larivie`re V., Sugimoto C.R. Do altmetrics work? Twitter and ten other social web services. PLoS ONE, 2013, no. 8 (5): e64841. DOI: 10.1371/journal.pone.0064841
- Kousha K., Thelwall M., Rezaie S. Using the Web for research evaluation: The Integrated Online Impact indicator. Journal of Informetrics, 2010, no. 4 (1), pp. 124–135. DOI: 10.1016/j.joi.2009.10.003
- Eysenbach G. Can tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact. Journal of Medical Internet Research, 2011, vol. 13, no. 4: e123. Available at: http://www.jmir.org/2011/4/e123
- Barnes C. The Use of altmetrics as a tool for measuring research impact. Australian Academic & Research Libraries, 2015, no. 46 (2), pp. 121–134. DOI: 10.1080/00048623.2014.1003174
- Показатель альтметрики как один из индикаторов научного влияния публикации / В.А. Маркусова [и др.] // Вестн. Рос. акад. наук. 2018. Т. 88. № 9. C. 811–818.
- Касавина Н.А. Наука в современном российском обществе. Аналитический обзор // Эпистемология и философия науки. 2014. Т. XLII. № 4. С. 77–91.
- Садовничий В.А. Стратегические вопросы развития науки и образования. Научные проблемы национальной безопасности Российской Федерации. Вып. 4. М., 2004.
- Rull V. The most important application of science. EMBO Reports, 2014, no. 15 (9), pp. 919–922. DOI: 10.15252/embr.201438848
- Налимов В.В., Мульченко З.М. Наукометрия: монография. М.: Наука, 1969. 192 с.
- Garfield E. The history and meaning of the journal impact factor. JAMA, 2006, no. 295 (1), pp. 90–93. DOI: 10.1001/jama.295.1.90
- Вахрушев М.В. Альтметрики, вебометрики и информетрики как взаимодополняющие направления в современной библиометрии // Науч. и технич. б-ки. 2019. № 8. С. 67–76. DOI: 10.33186/1027-3689-2019-8-67-76
- Rossner M., Van Epps H., Hill E. Show me the data. Journal of Cell Biology, 2007, no. 179 (6), pp. 1091–1092. DOI: 10.1083/jcb.200711140
- PLoS Editors. The impact factor game. It is time to find a better way to assess the scientific literature. PLoS Medicine, 2006, no. 3 (6): e291. DOI: 10.1371/journal.pmed.0030291
- De Solla Price D.J., Beaver D. Collaboration in an invisible college. American Psychologist, 1966, no. 21, pp. 1011–1018.
- Smith R. Measuring the social impact of research. BMJ, 2001, no. 323 (7312): 528.
- Осипов Г.В., Климовицкий С.В. К разработке качественных методов оценки результатов научной деятельности // Социально-гуманитарные знания. 2017. № 5. С. 76–88.
- Niederkrotenthaler T., Dorner T.E., Maier M. Development of a practical tool to measure the impact of publications on the society based on focus group discussions with scientists. BMC Public Health, 2011, no. 11: 588. DOI: 10.1186/1471-2458-11-588
- Galletta D., Bjørn‐Andersen N., Markus M.L., Straub D., Leidner D.E., McLean E.R., Wetherbe J. If practice makes perfect, where do we stand? Communications of the AIS, 2019, no. 45 (3). Available at: https://doi.org/10.17705/1CAIS.04503
- Бусыгина Т.В. Альтметрия как комплекс новых инструментов для оценки продуктов научной деятельности // Идеи и идеалы. 2016. Т. 2. № 2 (28). С. 79–87.
- Губа К. Большие данные в социологии: новые данные, новая социология? Социологическое обозрение. 2018. Т. 17. № 1. С. 213–237. DOI: 10.17323/1728-192X-2018-1-213-236
- Thelwall M. Introduction to webometrics: Quantitative web research for the social sciences. In: Synthesis Lectures on Information Concepts, Retrieval, and Services. San Francisco, USA: Morgan and Claypool Publishers, 2009.
- Eysenbach G. Infodemiology and infoveillance: Framework for an emerging set of public health informatics methods to analyze search, communication and publication behavior on the Internet. Journal of Medical Internet Research, 2009, no. 11 (1). DOI: 10.2196/jmir.1157
- Гончаров М.В., Колосов К.А. Использование статистических данных веб-серверов библиотек для вычисления альтметрик // Науч. и технич. б-ки. 2019. № 12. С. 25–33. DOI: 10.33186/1027-3689-2019-12-25-33
- Vaughan L. Web link counts correlate with ISI impact factors: Evidence from two disciplines. Proceedings of the American Society for Information Science and Technology, 2005, no. 39: 436. DOI: 10.1002/meet.1450390148
- Vaughan L., Shaw D. Bibliographic and Web citations: What is the difference? Journal of the American Society for Information Science and Technology, 2003, no. 54 (14), pp. 1313–322. DOI: 10.1002/asi.10338
- Vaughan L., Shaw D. Web citation data for impact assessment: A comparison of four science disciplines. Journal of the American Society for Information Science and Technology, 2005, no. 56 (10), pp. 1075–1087. DOI: 10.1002/asi.20199
- Saeed-Ul Hassan, Sehrish Iqbal, Naif R. Aljohani, Salem Alelyani, Alesia Zuccala. Introducing the “alt-index” for measuring the social visibility of scientific research. Scientometrics, 2020, no. 123, pp. 1407–1419. Available at: https://doi.org/10.1007/s11192-020-03447-z
- Holmberg K., Bowman S., Bowman T., Didegah F., Kortelainen T. What is societal impact and where do altmetrics fit into the equation? Journal of Altmetrics, 2019, no. 2 (1). DOI: http://doi.org/10.29024/joa.21
- Marx W., Bornmann L. On the causes of subject-specific citation rates in Web of Science. Scientometrics, 2015, no. 102, pp. 1823–1827. DOI: 10.1007/s11192-014-1499-9
- Мазов Н.А., Гуреев В.Н. Альтернативные подходы к оценке научных результатов // Вестн. Рос. акад. наук. 2015. Т. 85. № 2. С. 115–122.
- Юревич М.А., Цапенко И.П. Перспективы применения альтметрики в социогуманитарных науках // Информ. общ-во. 2015. № 4. С. 9–16.
- Chavda J., Patel A. Measuring research impact: Bibliometrics, social media, altmetrics, and the BJGP. British Journal of General Practice, 2016. DOI: 10.3399/bjgp16X683353
- Osterrieder A. The value and use of social media as communication tool in the plant sciences. Plant Methods, 2013, no. 9 (1): 26.