О показателях публикационной активности в медицине труда

Таким образом, чтобы иметь аналог западной системы для количественной оценки научных результатов в России, в 2005 г. был создан Российский индекс научного цитирования (РИНЦ) – инструмент оценки результативности и эффективности деятельности научно-исследовательских организаций. РИНЦ сегодня содержит библиографическую базу данных почти по 3500 российским научным журналам (более 2,3 млн. статей за 2005-2012 гг.), более чем по 6000 российским организациям, в РИНЦ зарегистрированы свыше 600 тысяч ученых. Ежегодно в неё добавляется более 330 тысяч статей российских авторов; при этом в Web of Science и Scopus попадает лишь десятая часть публикаций российских ученых, а некоторые направления российской науки (в основном общественногуманитарные) там практически не представлены. Поскольку РИНЦ является системой автоматической обработки библиографической информации, она также не полностью охватывает отечественные источники. Решение этого вопроса было благополучно переложено на сами научные организации через подключение к «специально разработанному аналитическому инструментарию «ScienceIndex». Образовался замкнутый круг – научные учреждения должны отчитываться по данным РИНЦ, и они же должны вносить эти данные в РИНЦ. Как и предполагалось, после заключения договоров, оплаты подключения к «ScienceIndex», добавления пропущенных данных и внесения исправлений в имеющиеся, «показатели» научной результативности значительно возросли.

Например, анализ публикационной активности ФГБУ «НИИ медицины труда» РАМН в системе РИНЦ показал, что изначально большинство сотрудников Института не были представлены в РИНЦ в качестве авторов, и была учтена только часть их статей. Общие показатели ФГБУ «НИИ медицины труда» РАМН в РИНЦ составили: общее число публикаций организации в РИНЦ 401 (2011 г.), 877 (2014 г.); суммарное число цитирований публикаций организации 167 (2011 г.), 1659 (2014 г.); число авторов 50 (2011 г.), 149 (2014 г.). При этом показатели за последние 5 лет (2005-2009 г.г. и 20082012 гг. соответственно) составили: общее число публикаций за пять лет – 196 / 348; число авторов – 33 / 100; индекс Хирша – 8 / 16.

Таким образом, после подключения к системе «ScienceIndex» в 2013 г. формально все показатели резко улучшились, хотя фактически не изменились – в РИНЦ о них не было известно. При этом если система учета периодических изданий относительно отработана, полной картины научной продуктивности увидеть не удастся, пока не будет в полной мере решен вопрос учета других форм научной продукции (монографии, патенты, свидетельства и пр.). Недостаточность, неоднозначность и относительность «оценки результативности и эффективности научной деятельности» на основе такой количественной оценки, без учета особенностей каждой конкретной сферы, например, здравоохранения и ее разделов, например, медицины труда, искажает реальную картину и создает дополнительные трудности для научных сотрудников и специалистов. Табл. 1 и 2 на примере сравнения показателей организаций РАМН демонстрируют условность такого ранжирования.

Таблица 1. Сравнение организаций РАМН по числу публикаций в РИНЦ за 5 лет (2008-2012 гг.)

Таблица 2. Сравнение организаций РАМН по числу цитирований в РИНЦ за 5 лет (2008-2012 гг.)

В настоящее время появляется все больше статей зарубежных ученых [3], отмечающих, что использование библиометрических методов (в первую очередь, показателей цитируемости) привело к появлению целого ряда проблем, т.к. использование показателей цитирования дает неполную, а иногда и искаженную оценку уровня и результатов научного исследования, тем более что во многих странах экспертная оценка качества научных работ подменяется статистическим анализом данных цитирования [2]. Данные о цитировании могут быть некорректно истолкованы как при определении рейтинга журналов, так и статей, издающихся в них, что в свою очередь ведет к ошибкам при использовании показателей цитирования и создает возможность влияния на данный показатель, так как авторы, редакторы и издатели найдут способы управлять этим показателем [1, 7, 10]. Утверждение Хирша, что можно использовать h-индекс для сравнения двух ученых, не в ладах со здравым смыслом [4]: «Я утверждаю, что два человека c одинаковой величиной h сопоставимы с точки зрения их научного вклада, даже если их общее число статей или их общее число цитирований очень разные» [6]. Иногда h-индекс или его варианты используются государственными органами, оценивающими исследования. Это не что иное, как использование данных не по назначению. К сожалению, слишком велик соблазн определить рейтинг ученого, оперируя всего одним числом [4]. Растущее использование h-индекса, который основан на числе цитирований и пытается дать количественное выражение сразу и производительности и влиятельности ученого, приведет к зависимости от цитирования и к одержимости им, «вылавливание цитирований» (citation-fishing) и «цитатный обмен» (citation-bartering) станут обычной практикой [8].

Импакт-фактор – способ измерения ценности журналов путем вычисления среднего числа цитирований на статью за определенный промежуток времени на основе данных Thomson

Scientific (бывший Институт научной информации), который при этом предупреждает, что «Импакт-фактор не может быть использован без учета многочисленных показателей, влияющих на цитируемость и должен быть дополнен компетентной экспертной оценкой [12]». Однако этот совет слишком часто игнорируется. Наиболее существенная критика импакт-фактора в том, что при его использовании для сравнения журналов нет никакой априорной модели, определяющей, что означает, что какой-то журнал «лучше». Единственная модель исходит от самого импакт-фактора – журнал с большим импакт-фактором и считается лучше [4]. Сравнение основных журналов, публикующих статьи по медицине труда, показывает, что определяющим является не импакт-фактор, а тематическая направленность журнала (табл. 3).

Измерение научной производительности – дело трудное, а используемые показатели (им-пакт-фактор журнала, цитируемость работы) грубы, но сейчас они настолько повсеместно приняты, что определяют большинство значимых вещей [7]. Так как ученые теперь оцениваются не столько по их профессионализму или качеству работы, сколько по импакт-факторам журналов [11], многие тратят слишком много времени и усилий на стратегию опубликования. Как следствие, научная деятельность деформировалась, а полезность, качество и объективность статей ухудшились.

Таблица 3. Распределение публикаций ФГБУ «НИИ МТ» РАМН по журналам

Для исследователей в науке всегда было крайне важным опубликовать свою работу в целях: 1) распространения новой информации; 2) возможности повторения исследования другими учеными или использования их как основы; 3) оправдание финансовой поддержки ученого в глазах заинтересованных сторон. Третья цель была вспомогательной, но более это не так; опубликование стало главной целью, потому что это – путь выживания ученого [9]. Эта кардинальная смена приоритетов нанесла вред научной практике, трансформировала мотивацию исследователей, изменила способ представления результатов и уменьшила точность и доступ- ность научной литературы. Хотя библиометрия может быть использована как источник дополнительной информации для определения качества исследований в определенной области, основным способом для анализа качества научноисследовательского проекта или отдельного ученого должна быть экспертная оценка, которая в первую очередь учитывает научное содержание работы» [5].

На третьей экспертной сессии «Оценка эффективности деятельности научных организаций и перспективы развития», проведенной ФАНО России совместно с РАН 16 сентября 2014 г. в Москве в вопросе формирования экспертного сообщества в интересах проведения оценки эффективности деятельности научных организаций среди наиболее популярных критериев отбора экспертов научными организациями 2 место занимает публикационная активность (количество и уровень публикаций) (1 место – наличие ученой степени доктора наук). Среди 25 показателей оценки эффективности деятельности научных организаций, предложенных Министерством образования и науки РФ, в большей степени (более 50% научных организаций) поддержано лишь 6 показателей, причем это: 1) число публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования; 2) совокупная цитируемость публикаций организации, индексируемых в российских и международных информационно-аналитических системах научного цитирования.

Выводы: основа адекватной оценки эффективности и результативности деятельности научных организаций – это мнение экспертов о научных результатах, их новизне, актуальности, соответствии целям и задачам инновационного развития страны; библиометрические методы могут играть лишь вспомогательную роль при оценке результативности и эффективности науки, а предложения использовать библиометриче-ские показатели для управления наукой устарели, т.к. не учитывают негативные оценки ведущих зарубежных научных организаций и экспертов [2].