Совершенствование мониторинга научной деятельности учреждений МЧС России

В последнее время постоянно возникает вопрос о повышении эффективности отечественной науки, проработки четких и понятных критериев оценки ее работы, включая комплексное реформирование всей системы и механизмов ее финансирования, а также приемов управления и структуры производственных отношений. В условиях внешних санкционных обстоятельств данный вопрос приобрел еще большую остроту. Все это в одинаковой степени относится как к фундаментальной, так и прикладной науке [1]. В системе МЧС России в рамках функционирования научно-образовательных учреждений (далее – НОУ) на сегодняшний день мониторинг научной деятельности осуществляется в соответствии с критериями, определёнными Минобрнауки, что не удовлетворяет потребностям ведомства [2]. Построение новой системы оценки эффективности научной деятельности должно включать показатели, важные для ведомства и стимулирующие развитие НОУ в нужном направлении, при этом, не обосабливаясь от общемировой научной повестки. Рассмотрим возможные подходы.

МЕТОДИКА ИССЛЕДОВАНИЙ

Определенно в профильной науке при решении прикладных задач могут появиться трудности, которые не позволят наработать необходимый результат в заявленный срок, или, в конечном итоге, результат окажется отрица-

тельным. Жесткое планирование времени и средств не всегда возможно. При этом финан- совая поддержка научно-исследовательских работ, в соответствии с моделью (1.1), должна осуществляться непрерывно, если не принято решения о выявившейся бесперспективности разработки [3].

(1.1)

В модели (1.1) х(0 – опубликованные труды ученых (статьи, монографии, препринты и др.); y(t) – текущее финансирование деятельности ученых; a^xy — накопление идей ученых с учетом финансирования их труда; «а^У — теоретическая и экспериментальная деятельность ученых на основе финансирования; —a3x – моральное старение публикаций ученых;

– общее финансирование деятельности ученых; -P2x2y – теоретическая и экспериментальная деятельность ученых при освоении финансирования; -РзхУ – освоение финансирования при экспериментальной деятельности —P^x2 – освоение финансирования при теоретической де- ятельности ученых.

(1.2)

-а^4+«г^1-«зР₂ 2^204

Величины σ и ∆ равны a = a2xy — p2x —p3x,

(1.3)

(1.4)

Д= х²у(а_гР₂ - а₂р_з\ (1.5)

Ранее было показано [1] что, для науки хорошо, когда она неустойчива и поглощает все больше и больше средств. В выражении (1.5) существует седловая неустойчивость при а2Р3 > агр2. (1.6)

Выражение (1.6) означает, что главное – экспериментальная деятельность ученых, а потом уже теоретическая интерпретация экспериментальной деятельности ученых. Поэтому главное – финансирование экспериментальной деятельности, а потом уже теоретической. Для ведомственной науки поддержка прикладных исследований особенно актуальна.

Вопрос, который может возникнуть в объективном оценивании эффективности исследований в науке, увеличении или остановке материальной поддержки, непосредственно связан с созданием и проработкой системы критериев, по которым будет оцениваться результат деятельности научных и исследовательских групп и обособленных ученых.

В отечественных и зарубежных подходах к оцениванию эффективности научной работы можно выделить наиболее часто используемые показатели [4]:

• 1.    Финансовые – бюджет, закладываемый на науку и имеющаяся техническая база.

• 2.    Кадровые (в том числе показатели признания, включающие членство в академии, советах и работу над грантами) – количество исследователей, количество вспомогательного персонала, а также подготовка кадров.

• 3.    Инновационные – показатели оценки инновационной активности организации и ее инновационной конкурентоспособности в отечественной и зарубежной практике.

• 4.    Библиометрические – число публикаций в международных журналах; индикатор цитирования и индекс Хирша – показывают степень значимости проводимых исследований и признание научных школ мировым сообществом; «публикационная нагрузка» ученых – продуктивность ученых; наличие патентов; соавторство с зарубежными учеными – показатель международной кооперации [5, 6].

Предполагается, что поиск и подбор информативных критериев и проведение объективных результатов позволит улучшить качество управленческих решений в научной сфере, а также повысит эффективность механизмов стратегического и оперативного устройства системы мониторинга; приведет к увеличению эффективности распределения бюджетных грантов в сфере науки; повышению вклада ведомственной науки в рост конкурентоспособности национальной экономики. Цели этого оценочного процесса: обозначить, утвердить и повысить качество научных работ, проводимых НОУ, увеличить число проводимых работ, значимых, в первую очередь, на ведомственном уровне. Оценить и выявить слабые и сильные стороны научной политики учреждения и дать советы по усилению слабых моментов и укреплению сильных сторон.

Одним из важных критериев эффективности деятельности учёного, работающего в системе МЧС России, должна стать возможность оценить внедряемость разработок. В используемом в мире принципе наукометрии, на сегодняшний день одной из самых важных составляющих является библиометрия, но в существующем виде ее метрики не подходят для оценки ведомственной науки, которая преимущественно должна носить и носит прикладной характер. Количество монографий и научных работ в международных и отечественных научных журналах может быть большим, но возникает проблема, если они ни во что не воплощаются. А если речь идет о проектировании новых продуктов и технологий для рынка, то такие публикации могут стать настоящим преимуществом для промышленного шпионажа, который получает в мире популяризацию. Кроме того, не оправдан подход, который основывается на количественных оценках опубликованных научных работ, появившихся ввиду важности увеличения числа публикаций вне зависимости от реальных научных результатов. «Достигаторские» ориентиры приводят к неоправданному расходованию ресурсов (трудозатраты, время, материалы) вследствие публикации промежуточных результатов, многочисленных повторных публикаций одних и тех же материалов исследований (что формально запрещено, но часто обходится путем незначительной модификации текстов), происходит отвлечение ученых на подготовку ряда формальных публикаций вместо издания качественной полноценной работы, излагающей результаты законченных исследований.

Важно рассмотреть критерии, которые будут учитывать, сколько исследований доведено до конкретной разработки, а также ввести критерий создания научно-технического задела, который позволит перейти впоследствии к опытно-конструкторским работам и участию в конкурсах на научные гранты различных фондов. Детальная оценка результатов исследования и разработок, готовых к применению или реализованных на практике войдет в категорию экспертных.

При построении комплексной оценки НОУ с учетом передового опыта [5, 6] и всего отмеченного выше в начале должна быть подвергнута анализу научно-исследовательская программа в плане ее актуальности и инновационной направленности. На первом этапе оценивается количество публикаций, участие НОУ в конференциях, а также полученные и получаемые патенты. На втором этапе оценивается привлекаемое финансирование средств на деятельность ведомства с учётом внутренних и внешних спонсоров. Это покажет насколько учреждение привлекательно в плане партнёрства в совместных проектах. На третьем этапе, оценивается взаимодействие с другими НОУ, в том числе привлечение иностранных образовательных учреждений и или партнёров, а также репутацию в сфере деятельности НОУ на внутреннем и международном рейтинге. С помощью перечисленных критериев оценки научной деятельности будет определяться значимость работы НОУ на национальном и международном уровнях, его вклад в развитие ведомства. По результатам экспертной оценки делается вывод об эффективности работы НОУ и даются рекомендации. По итогам оценивания НОУ, ему даётся несколько лет на реорганизацию своей деятельности. В соответствии с оценками НОУ будет формироваться рейтинговый лист всех учреждений, участвовавших в оценке. Методы, которые предполагается использовать как основные в процессе оценки научной деятельности НОУ – это качественная оценка экспертной группой и библио-метрический метод.

Недостатком экспертной оценки являются большие затраты времени на подготовку отчетов и привлечение к этому процессу значительного числа экспертов. Для упрощения работы все данные о научной работе организации должны быть доступны специалистам в общей информационной системе (например, Едином навигационном научном портале МЧС России), который имеет разделение на модули и аккумулирует сведения о научных результатах (публикации, патенты), анкеты исследователей, данные о научных проектах, получении грантов российских и зарубежных фондов, наград, присуждении ученых степеней и присвоении ученых званий, сведения о научных подразделениях, показатели международного сотрудничества, международной мобильности, передачи знаний (в промышленный сектор и подразделения МЧС России, в сектор образования), значимости научных результатов для решения задач ведомства.

Следует отметить, что во всем мире идут дебаты о том, насколько релевантны библио-метрические методы в оценке деятельности НОУ, потому что каждая научная организация и направление имеет свою предысторию и ряд существенных особенностей, которые не могут не учитываться. Под продуктивностью библио-метристы традиционно понимают количество публикаций и рассматривают этот критерий отдельно от значимости научной работы. Данный подход был бы безусловно допустимым, если бы все научные публикации имели одинаковую ценность или степень влияния, а это не так [4]. Однако в случае сравнения схожих НОУ, таких как ВУЗы МЧС России, библиометрические методы являются более оправданными, чем в иных, ныне применяемых случаях и могут быть включены в показатели оценки научной деятельности для решения задач, о которых будет сказано ниже.

Также следует иметь в виду, что для исследователей не представляется возможным получить настоящую библиометрическую картину по зарубежным библиографическим базам, так как они не охватывают весь спектр научных публикаций. Оценку публикационной активности ученых ведомства по библиометрическим индикаторам можно было бы проводить по базе Российского индекса научного цитирования РИНЦ и Google Scholar. Однако Google Scholar недостаточно полная база данных, а РИНЦ часто критикуют за неточные и неполные сведения [5, 6]. Обе базы располагаются на зарубежных серверах. Практика цитирования, взятая с чисто количественной точки зрения (и тем более учтенная с не раз упоминаемой высокой неточностью существующих систем), может скорее усложнить, затруднить получение реальной картины эффективности труда ученых. Возможно, в скором времени появятся более адаптированные к отечественной научной деятельности библиометрические базы на собственных платформах, но до этого момента целесообразно оценить какие данные существующих библиографических баз наиболее корректно использовать. Для начала установим наиболее информативные показатели.

Пусть известность (ценность) ученого измеряется числом ссылок на него, приходящихся на единицу публикаций ученых в данной области знания. Исходя из этого, может быть записана следующая модель [3]:

(1.7)

где – число публикаций ученого;      – число публикаций ученого, цитируемых другими авторами в данной области науки; – поток публикаций ученого; и – обменные члены;     – рост публикаций других ав торов.

Положения равновесия равны

(1.8)

Величины σ и ∆ следующие:

.           (1.9)

Модель (2.1) всегда устойчива. Следователь- но, автор всегда известен и его ценность равна:

Pi Р2Т

(1.10)

Учтем теперь моральное старение публикаций автора - _y _: у и поток _;‘ " публикаций других авторов в данной области науки:

Положения равновесия теперь принимают

(1.11)

вид:

(1.12)

(1.13)

Величины ст и А оказываются следующими: J = -У< - У: - ' JY - ^    (1.14)

(1.15)

Таким образом, положение равновесия - седло, ;^ /'^ — фокус (устойчивый при ст <0 и неустойчивый при ст >0).

Известность ученого теперь равна

(1.16)

* Pi Рз+Р2У

Она тем больше, чем меньше моральное старение публикаций ученого; тем больше, чем больше пишет ученый и-и чем меньше пишут другие ученые ;.^? и у ..'.

Выводы, полученные в результате моделирования, свидетельствуют о целесообразности учета библиометрических показателей, одна- ко в несколько ином разрезе, чем это принято сейчас. Очевидно, что ученый должен регулярно публиковать свои труды в авторитетных научных изданиях. Регистрируемыми показателями будут выступать количество публикаций и рейтинг изданий. Учесть моральное старение публикаций объективно сложно, поэтому принимается некоторый период времени учета публикаций, как правило - пять последних лет. Целесообразно ввести критерий, позволяющий ранжировать ученых по их известности, а лучше значимости их вклада в соответствующее научное направление. Исходя из полученных рейтингов ученых, можно формировать суммарный показатель, позволяющий сравнивать близкие научные организации по значимости их научной деятельности. В настоящее время эту информацию получают по совокупности данных.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Проиллюстрируем, как библиометрические показатели могут быть использованы при срав- нении деятельности схожих по профилю и ресурсам НОУ на примере ВУЗов МЧС России.

По состоянию на 01.01.2022 в системе образования МЧС России функционируют 5 ВУЗов пожарно-технического профиля, которые в рамках государственного задания готовят кадры для федеральной противопожарной службы Государственной противопожарной службы МЧС России. Это Академия ГПС МЧС России г. Москва (АГПС); Санкт-Петербургский университет ГПС МЧС России г. Санкт-Петербург (СПбУГПС) с филиалом в г. Владивосток; Ивановская пожарно-спасательная академия ГПС МЧС России г. Иваново (ИПСА); Уральский институт ГПС МЧС России г. Екатеринбург (УрИГПС); Сибирская пожарно-спасательная академия г. Железногорск, Красноярский край (СПСА). Академия гражданской защиты и НИИ имеют свою специфику, поэтому в данном анализе не представлены [7]. Ранее нами был выполнен детальный анализ публикационной активности всех НОУ МЧС России за период 2010-2019 гг. [8], здесь мы используем более общий подход.

Оценивая библиометрические показатели рассматриваемых ВУЗов можно сделать выводы о том, что ученые ориентированы на отечественную аудиторию. Из-за ведомственной принадлежности и специфики публикаций, индексируемых международными базами, относительно мало, это же относится и к публикациям в соавторстве с зарубежными учеными (рис. 1, 2). Общее количество публикаций, приходящееся на долю национальных авторитетных изданий, также мало и не достигает 10% (рис. 3, 4), а средневзвешенный импакт-фактор журналов не превышает 0,4 (рис. 5). При ближайшем рассмотрении изданий, в которых публикуют свои труды ученые ВУЗов МЧС России, выясняется, что большую часть составляют собственные издания организаций и ведомства в целом. При этом уровень самоцитирования высок (рис. 6), а цитируемости в расчете на одну публикацию мал и не достигает значения 2 (рис. 7). При этом индекс Хирша для данных НОУ (рис. 8) нельзя считать информативным показателем ввиду большого разброса его значений для разных групп публикаций и высоких значений самоци-тирования.

С одной стороны совокупность приведенных выше данных позволяет ранжировать НОУ по отдельным категориям показателей и выявлять мишени для экспертной проверки, с другой стороны - не учитывает интеллектуальный потенциал организации, насколько продуктивной является ее деятельность с учетом имеющихся ресурсов. При ближайшем рассмотрении становится видно, что выявленные при анализе низкие показатели цитируемости и узость спектра научных изданий являются свидетельством не низкой эффективности НОУ, а того, что для ве- домственной науки характерна иная культура осуществления научной деятельности. Очевидно, что широкой научной, в том числе международной, общественности не интересны результаты решения узконаправленных, при этом не менее важных, прикладных задач. Следовательно, нужно вводить показатели, отражающие значимость научных результатов, главным образом, для решения задач обеспечения пожарной безопасности. Например, сформировать список авторитетных ведомственных изданий, фиксировать количество уникальных обращений к публикациям (скачиваний, просмотров и т.п.), количество и характер поступивших рецензий и замечаний, регистрировать реальные внедрения научных результатов.

Исходя из базовых экономических законов, при равных ресурсах более эффективный исполнитель — тот, кто больше производит, при равном объеме выпуска — тот, кто затрачивает меньше ресурсов. Следовательно, более информативным выглядит усредненный показатель, например, число уникальных обращений к пу- бликации в расчете на одного автора, среднее число публикаций и рецензий в расчете на одного автора.

Можно предложить следующий критерий значимости научной деятельности при сравнении схожих организаций:

X = -t, (1.17) p где d – среднее число уникальных обращений к публикации в расчете на одного автора, p – среднее число публикаций в изданиях из некого утвержденного списка в расчете на одного автора, i – рейтинговый коэффициент издания из некого утвержденного списка авторитетных научных изданий.

Отдельно есть смысл учитывать количество полученных организацией патентов, особенно внедренных, а также рецензируемых монографий.

ВЫВОДЫ

При подготовке к оценке ведомственных НОУ необходимо чтобы действовала ком-

Рис. 1. Распределение по виду публикаций ВУЗов МЧС России за 5 лет (с 2016 по 2020гг.)

Рис. 2. Показатели научной коммуникации с 2016 по 2020гг.

■ Число гуйлледцлй из сбЬгагуЛ|

■ Число ГТ^ЛНеиДиИЛ 3 РИНЦ

■ Число гуйлюдцлЛ, зжада^ке з »д^э Римц

• ■    ПОКАЗАТЕЛИ ЗА 5 ЛЕТ (2016-2020) Число публикаций, входящих в ядро РИНЦ

• ■    ПОКАЗАТЕЛИ ЗА 5 ЛЕТ (2016-2020) Число публикаций в РИНЦ

  Рис. 4. Публикации ВУЗов МЧС России, зарегистрированные на elibrary.ru с 2016 по 2020гг.

Рис. 5. Средневзвешенный импакт-фактор изданий, в которых были опубликованы статьи

• ■    Суде 3330^.0 имиА имги*тфд«тоо ХУРНЗЛЭ». 3 • ОТ»»ЫМ быЛИ ОГуйЛИаОДДИМ стзтии

Рис. 6. Цитируемость публикаций ВУЗов МЧС России за 5 лет (с 2016 по 2020 гг.)

СП6УГТХ          НОСА            АПК           CDCA           УдИГПС

Рис. 7. Среднее число цитирований в расчете на одну публикацию за 5 лет с 2016 по 2020 гг.

Рис. 8. Индекс Хирша ВУЗов МЧС России по данным elibrary.ru плексная система, позволяющая уверенно и всеобъемлюще выстраивать иерархию и рейтинги участников научного процесса. В этой системе количественные наукометрические индикаторы должны быть лишь одним из критериев, который, главным образом, позволяет получить «скрининг» деятельности субъектов науки с целью проведения дальнейшей более направленной экспертной оценки. Окончательное принятие решений осуществляется на базе многоаспектного анализа, учитывающего качественный уровень НОУ и целый ряд характеристик, которые отражают различные стороны научной деятельности и фазу развития учреждения. Научные учреждения должны оцениваться не по какому-то стандартному комплексу критериев. Для каждого направления науки должен быть разработан определенный перечень критериев оценки, для каждой из которых будет предложена своя совокупность критериев, имеющих определенный «вес».

На основе итогов общего анализа можно принимать решение об увеличении или сокращении финансирования. Финансирование должно быть напрямую связано с результатами анализа. Так как данная процедура намного сложнее, чем проведение некоего статистического обследования, то предполагается инициировать экспертную оценку научных учреждений ведомственной комиссией – вначале в случаях, когда организация попадет в категорию «отстающих» по низким результатам показателей.

Таким образом, адекватная оценка эффективности работы научных коллективов и отдельных ученых ведомства представляет собой весьма сложную задачу. Необходимо сочетать экспертную оценку работы организации и анализ ключевых наукометрических показателей. Тем не менее, комбинирование приведенных выше критериев позволяет сделать выводы на качественном уровне, для перехода к более строгим количественным оценкам потребуется более четкая формализация приведенных критериев, а также формирование однозначных алгоритмов их применения.