Оценка значимости квалификационных характеристик экспертов исполнителями научно-технических проектов

Неотъемлемой составляющей механизма реализации федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы»1 (далее – Программа) является проведение независимой экспертизы, позволяющей осуществлять отбор наиболее перспективных проектов для финансирования и эффективную проверку качества результатов этих проектов. Ключевыми субъектами независимой экспертизы являются квалифицированные эксперты, привлекаемые для проведения оценки конкурсных заявок и качества результатов проектов на всех этапах их реализации. Для оценки уровня профессиональной квалификации эксперта чаще всего используют документарный метод, основанный на формализованных сведениях о специалистах, таких как наличие высшего образования, ученой степени и ученого звания, число публикаций, индекс цитирования, членство в профессиональных объединениях, должностное положение, перечень областей практической деятельности и стаж работы в каждой из них, область научных знаний и т.п. Уровень значимости и степень влияния каждой из этих характеристик на качество проводимых экспертиз можно определить двумя способами:

– посредством статистического анализа результатов экспертиз, проведенных экспертами с тем или иным набором характеристик;

– путем проведения опроса представителей экспертного сообщества для выявления их мнений относительно значимости каждой характеристики для обеспечения надлежащего качества экспертизы.

Поскольку практическая реализация первого из указанных способов требует, с одной стороны, наличия у эксперта значительного опыта проведения экспертиз и соответствующей информации о результатах их проведения, а с другой – связана с необходимостью проведения оценки качества этих экспертиз, установления влияния на него той или иной квалификационной характеристики эксперта и статистической обработки этой информации, что само по себе является весьма непростой задачей, чаще всего принято использовать второй способ, основанный на проведении опроса представителей экспертного сообщества с целью определения наиболее значимых характеристик квалификации экспертов, привлекаемых для проведения экспертизы.

С этой целью был проведен опрос представителей научно-технологической сферы в лице руководителей и ответственных исполнителей проектов, выполняемых в рамках Программы. Выбор респондентов был обусловлен следующими соображениями:

– при подготовке конкурсной заявки и отчетов по проектам, финансируемым в рамках Программы, исполнители неизбежно учитывают то обстоятельство, что подготовленные ими материалы будут оценивать независимые эксперты, и наделяют экспертов квалификационными характеристиками, которые, по их мнению, необходимы для проведения экспертизы;

– исполнители проекта сами являются экспертами в той области, которой этот проект соответствует, и имеют собственный взгляд на значимость тех или иных характеристик квалификации эксперта, оценивающего их проект;

– исполнители проектов зачастую обладают собственным опытом проведения научно-технической экспертизы, что позволяет считать их квалифицированными экспертами в этой области;

– как активные участники Программы, исполнители проектов хорошо знакомы с требованиями к этим проектам, что позволяет им адекватно оценить значимость характеристик квалификации экспертов, привлекаемых к проведению экспертизы.

Для проведения опроса была разработана анкета, в которой респондентам предлагалось оценить значимость характеристик квалификации экспертов, привлекаемых для проведения экспертизы. Перечень характеристик был сформирован, исходя из существующих подходов к подбору экспертов для проведения экспертизы научно-технических проектов1 [Дивуева 2014: 186; Плетнев, Лазаренко 2003: 88-107].

Опрос проводился в форме интернет-анкетирования с использованием специализированного веб-сайта opros.fcntp.ru . Всего в опросе приняли участие 530 респондентов, являющихся представителями научных организаций, учреждений высшего образования и производственных организаций, осуществляющих внедрение инновационных разработок.

В рамках опроса респондентам было предложено оценить по 10-балльной шкале значимость перечисленных в анкете характеристик квалификации экспертов для проведения экспертизы двух видов проектов, выполняемых в рамках Программы:

• 1)    проекты, предусматривающие выполнение прикладных научных исследований и экспериментальных разработок (далее – ПНИЭР);

• 2)    проекты, предусматривающие выполнение работ, связанных с обеспечением функционирования сектора исследований и разработок (далее – ФСИР), включая развитие материально-технической и информационной инфраструктуры, системы демонстрации и популяризации достижений науки, системы коммуникаций научной общественности и т.п.

Исходя из специфики проектов, предусматривающих выполнение ПНИЭР, значимость некоторых характеристик квалификации экспертов было предложено оценить только применительно к проектам этого вида. К таким характеристикам были отнесены наличие у эксперта высокого индекса научного цитирования (индекс Хирша), опыта работы в организациях, осуществляющих внедрение результатов ПНИЭР, и опыта внедрения собственных результатов ПНИЭР. Значимость других характеристик квалификации экспертов респонденты оценивали применительно к проектам как первого, так и второго вида.

Предлагая респондентам оценить значимость характеристик квалификации экспертов отдельно для каждого вида проектов, авторы исходили из предположения, что для проведения экспертизы проектов первого вида (выполнение ПНИЭР) квалификационные характеристики, отражающие опыт работы эксперта в области научных исследований, могут оказаться более значимыми, чем для проведения экспертизы проектов второго вида (обеспечение ФСИР). В частности, предполагалось, что такие характеристики, как наличие у эксперта ученой степени, ученого звания, публикаций в предметной области объекта экспертизы и зарегистрированных прав на результаты интеллектуальной деятельности могут оказаться более значимыми для проведения экспертизы проектов, предусматривающих выполнение ПНИЭР, чем проектов, предусматривающих выполнение работ по обеспечению ФСИР. Однако результаты опроса, представленные в табл. 1, показывают, что респонденты в своих оценках практически не делали разницы между этими видами проектов, и лишь в некоторых случаях их оценки несколько различались.

Представленные в табл. 1 результаты показывают, что опыт работы в научнотехнической сфере и наличие ученой степени, по мнению респондентов, являются относительно более значимыми для проведения экспертизы проектов первого вида (выполнение ПНИЭР) по сравнению с проектами второго вида (обеспечение ФСИР), тогда как оценки значимости других характеристик квалификации экспертов от вида проектов практически не зависят. Примечательно также, что около 80% респондентов считают наличие ученого звания и наличие премий и наград за выполнение работ в предметной области объекта экспертизы наименее значимыми для проведения экспертизы проектов как первого, так и второго вида. Это говорит о том, что большинство респондентов напрямую не связывает эти характеристики с опытом работы эксперта в научно-технической сфере, наличием публикаций, наличием опыта выполнения проектов и опыта руководства проектами, значимость которых была оценена более высоко.

Что касается характеристик, которые респондентам было предложено оценить только применительно к проектам первого вида (выполнение ПНИЭР), то результаты опроса показывают, что, по мнению большинства респондентов, значимость этих характеристик относительно невелика.

Таким образом, результаты проведенного опроса позволяют ранжировать характеристики квалификации экспертов по уровню их значимости и могут быть

Таблица 1

Распределение характеристик квалификации экспертов в порядке убывания их значимости, основанное на результатах опроса, %

Характеристики квалификации экспертов Доля респондентов, давших максимальные оценки значимости (от 7 до 10 баллов) проекты 1-го вида проекты 2-го вида Опыт работы в научно-технической сфере не менее 5 лет 91 82 Умение работать с современными источниками информации (поисковые системы, библиографические и патентные базы данных и т.п.) 87 88 Хороший уровень владения персональным компьютером и современными средствами коммуникации 84 88 Наличие опыта выполнения проектов в предметной области объекта экспертизы 77 74 Уровень владения английским языком, достаточный для работы с зарубежными источниками информации 72 75 Наличие публикаций в предметной области объекта экспертизы 70 69 Наличие ученой степени 71 57 Наличие опыта руководства проектами в предметной области объекта экспертизы 61 56 Наличие опыта внедрения собственных результатов ПНИЭР 49 — Наличие предыдущего опыта проведения экспертизы аналогичных проектов 48 51 Наличие зарегистрированных прав на результаты интеллектуальной деятельности 42 40 Высокий индекс научного цитирования (индекс Хирша) 39 — Наличие опыта работы в организациях, осуществляющих внедрение результатов ПНИЭР 36 — Наличие ученого звания 24 21 Наличие премий и наград за выполнение работ в предметной области объекта экспертизы 21 16 использованы при подборе экспертов, привлекаемых к проведению независимой экспертизы проектов в рамках Программы.