Как оценить работу вуза?

нимать управленческие решения по распределению и оптимизации использования ресурсов (финансовых, человеческих и др.). Желательно, чтобы они были рациональными. Если руководители не претендуют на правильные решения (понятия «правильное решение» в теории решений просто не предусмотрено), то при определенных условиях к вполне приемлемым рациональным решениям можно прийти на основе разумно подобранных прокси-индикаторов.

Для университетов единство научного и учебного процессов является непременным условием результативности. Дискуссии об обязательности такого единения возникали периодически и в советское время. В качестве контраргумента утверждали, что преподаватель – эрудит, хотя и не занимающийся исследовательской деятельностью, может дать студентам более сбалансированное представление об изучаемой дисциплине, чем ученый, сосредоточенный на конкретной проблеме. Действительно, любое научное исследование, которое мы проводим – это лишь небольшая точка в пространстве знаний по преподаваемой дисциплине. Но она обеспечивает эмоциональность преподавания всей дисциплины, демонстрирует студентам причастность преподавателя к делу и, соответственно, повышает моти- вацию студентов. «Профессор, который занимается только исследованиями, вовсе не профессор, а исследователь, работающий в вузе. Профессор, который только учит, – не профессор, а учитель в вузе. Только тот, кто исследования и учебный процесс ведет в единстве, является действующим профессором» [10, с. 22].

Вместе с тем единение учебного и научного процессов нельзя доводить до абсурда: любой преподаватель должен заниматься наукой и каждый научный сотрудник вуза должен проводить занятия со студентами.

Лет тридцать назад руководством Томского политехнического института из благих намерений (высвобождения времени преподавателей кафедр для научной работы и более широкого вовлечения студентов в научную работу) было принято решение о привлечении к учебной работе сотрудников трех вузовских научно-исследовательских институтов. Им было поручено обеспечить выполнение учебных задач на кафедрах института исходя из 80-часовой нагрузки в расчете на каждого научного сотрудника. Ничего хорошего из этого не вышло. Далеко не каждый научный сотрудник обладал необходимым набором компетенций для преподавательской деятельности, и не все преподаватели проявили склонность к научной деятельности.

ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ

Законы, управляющие природными и социальными системами, показывают, что увеличение усилий повышает результат только при определенных условиях и только до определенного предела. За этими пределами эффект уменьшается и может стать отрицательным. Иначе говоря, существует предел, при котором повышение вложений в научноисследовательские и опытно-конструкторские работы не увеличивает результат. Если все средства государства вложить в научно-исследовательские и опытно-конструкторские работы, государства сразу не станет. Если ничего не вкладывать, то через некоторое время оно не будет способно обеспечить развитие экономики. Отсюда следует, что необходима постоянная оптимизация системы научно-исследовательских и опытно-конструкторских работ.

Стандартизованного, простого и общепринятого метода оценки результатов научно-исследовательских и опытно-конструкторских работ пока не существует и в ближайшее время не предвидится. Количественная финансовая оценка результатов фундаментальных исследований просто невозможна, а оценка результатов прикладных исследований и разработок наталкивается на труднопреодолимые сложности. В последние годы опубликовано много статей, посвященных экономической оценке инвестиций в научноисследовательские и опытно-конструкторские работы. В качестве примера можно привести работу Б.Д. Вертия «Определение показателей эффективности научно-исследовательских и опытно-конструкторских работ» [2]. Однако при всей логичности доводов и формул неопределенными, например, остаются вопросы о том, как наполнить их конкретным содержанием, кто и как будет определять предлагаемые ко- эффициенты и баллы. Дорогостоящие разработки методик и программных продуктов для оценки интегрального эффекта вложений в научно-исследовательские и опытно-конструкторские работы на основе количественных подходов успеха пока не имели. Появляются и совершенно новые идеи по оценке результатов научно-исследовательской деятельности, но они выглядят скорее утопией [7].

Качественная оценка результатов фундаментальных исследований базируется на том, что его результатом (продуктом) является новое знание, и чтобы оно проявило свою ценность, результат должен быть опубликован. Для такой оценки привлечение возможностей библиометрии было логичным.

Библиометрия основана на предположениях о том, что прогресс в науке базируется на обмене научными открытиями и что научная публикация является хорошим индикатором научной продукции в единицах знаний. Первым и самым простым подходом к оценке научно-исследовательских работ был учет числа опубликованных работ, но он имеет ряд очевидных недостатков. Главным является то, что число публикаций не является мерой качества знаний, в них содержащихся. Масса сборников трудов студенческих конференций даже в библиотеку своего вуза не попадают, и мало кто их читает. Это яркая тому иллюстрация. Несмотря на это, этот подход при оценке качества ученого, группы или лаборатории по-прежнему остается самым распространенным.

На карьеру ученого в значительной степени влияет число его публикаций. Предполагается, что список трудов подтверждает научную продуктивность ученого. При этом подразумевается, что все они одинакового качества. Чтобы в какой-то степени увеличить правдоподобие этой предпосылки, этот список часто под- разделяется на «статьи в рецензируемых изданиях», «заказные работы», «труды конференций».

Существенно лучшим и постоянно совершенствующимся благодаря возможностям информационных технологий способом оценки качества публикуемых результатов исследований является анализ цитируемости. Высокий индекс цитируемости свидетельствует о том, что новые знания, содержащиеся в опубликованных работах автора, востребованы научным сообществом. Создан целый ряд международных систем цитирования: Web of Science, Scopus, Springer, Web of Knowledge, Mathematics, Chemical Abstracts и др. Самыми авторитетными из них, чьи индексы признаются во всем мире, являются Web of Science и Scopus. Неплохим инструментом оценки результативности научно-исследовательских и опытно-конструкторских работ обещает стать и быстро развивающаяся отечественная система – Российский индекс научного цитирования. Хотя и индексы цитируемости совершенствуются (например, индекс Хирша, учет импакт-фактора журналов), но некоторые недостатки являются для них «врожденными» [12]:

– значимость опубликованных результатов далеко не всегда может быть понята и правильно оценена научным сообществом;

– изучение публикаций во всем мире и на всех возможных языках пока невозможно;

– исследования часто софинан-сируются предприятиями реального сектора экономики, которые зачастую требуют секретности;

– ученые очень быстро адаптируются к системе: используют са-моцитирование или взаимное цитирование;

– цитирование не означает положительной оценки. Работа может цитироваться в порядке критики или указания на ошибки.

К примеру, ученый, публикующий результаты своих исследова- ний на английском языке, имеет гораздо больше шансов быть процитированным, чем когда он публикуется на кириллице. Но если публикация направлена прежде всего на русскоязычного читателя (на русском языке), то она может быть более целесообразной.

При использовании индексов цитирования предполагается, что чем выше качество, влияние или важность конкретной публикации, тем чаще она будет цитироваться в научной литературе. Также и наличие в вузе ученых, обладающих высоким индексом, говорит о высокой эффективности и результативности научной деятельности вуза в целом. Высокие значения индексов, несомненно, свидетельствуют об активной деятельности ученого, но тем не менее ценность результатов его работы для науки и практики характеризуются индексами лишь условно. Особенно затруднительно использовать их для сравнительной оценки ученых, работающих в разных отраслях науки или в существенно различающихся условиях (например, секретность, высокий уровень учебной нагрузки и др.). Диапазоны численных значений индексов при использовании различных систем и в разных дисциплинах отличаются в разы. Поэтому высказываемые предложения о привязке уровня заработной платы к величине этих индексов представляются опасными и по крайней мере пока преждевременными [6]. Наибольшие возражения вызывает ставший в последнее время модным индекс Хирша. К примеру, академик Г. Георгиев, имеющий индекс Хирша, равный 41, считает, что этот показатель при проведении конкурсов следует полностью исключить из оценки ученых [3].

Следует отметить, что прямолинейное применение показателей для принятия управленческих решений, особенно связанных с финансовыми или персональными последствиями, неизбежно приводит к демотивации персонала и обходным маневрам. К примеру, в советский период одним из наиболее важных показателей оценки результативности научной деятельности был экономический эффект от внедрения научно-исследовательских и опытно-конструкторских работ. Он входил в министерские и внутривузовские рейтинги, его требовали от диссертантов, обсуждали на партийных собраниях всех уровней. Поэтому он начал быстро расти, и только когда суммарный расчетный экономический эффект превысил валовой внутренний продукт страны, этот показатель отменили. Можно не сомневаться, что у вузов, вступивших в борьбу за попадание в топ-100 ведущих университетов мира, в ближайшие годы индексы цитируемости будут расти, но не благодаря расцвету науки, а в связи с вниманием к этой проблеме и давлением администрации вузов. Возможно, это и неплохо, поскольку будет способствовать повышению престижа российской науки на мировом уровне и желанию вузовских ученых позиционировать себя среди зарубежных коллег. Слабым вузам это будет не под силу, а для сильных высших учебных заведений с высоким кадровым потенциалом вполне реально.

Патенты, например, в отличие от научных публикаций, получают главным образом с целью защиты интеллектуальной собственности и зарабатывания денег, хотя для российских вузовских ученых они засчитываются и как публикации. Нередко это и вопрос престижа. Многообразие подходов к оценке ценности патента и влияющих факторов показывает, что создать приемлемый способ определения ценности патента для экономики вряд ли удастся. Оценка ценности патента как публикации связана с теми же проблемами, что и в библиометрии.

Еще одним важным показателем результативности научной работы вуза и подготовки кадров высшей квалификации является число защит кандидатских и докторских диссертаций. В советский период этот показатель был действительно одним из наиболее надежных показателей активности научной деятельности и общего уровня вуза. Фальсификация его была практически невозможной. Хотя и в то время иногда проходили слабые диссертации, особенно в 1980-е годы (когда, по меткому выражению, в аспирантуру «повалил середняк»), но доля откровенно плохих диссертаций была незначительной. Это обеспечивалось не только четко налаженной экспертизой Высшей аттестационной комиссии, но и более высоким уровнем морали общества. Повышение имиджа и высокая зарплата, конечно же, были серьезными стимулами для поступления в аспирантуру, но все же многие молодые люди видели в ней путь в науку, а не только к материальному благополучию. Сегодня, например, говорят не «хочу заниматься наукой», а «хочу сделать диссертацию». Продажа диссертаций поставлена на поток (порой вместе с комплектом ваковских статей). Эти диссертации не всегда плохи. Их пишут и квалифицированные «бывшие» ученые, потерявшие этические ориентиры под давлением рынка. Слово «бывшие» взято в кавычки не случайно – настоящие ученые наукой не торгуют. Следствием подобного развития событий является и то, что многие способные молодые люди, стремящиеся заниматься наукой, не имеют такой возможности. Если они не имеют богатых или/и сановных родителей, то высокие цены на публикации в журналах, на проезд, поборы в диссертационных советах становятся для них труднопреодолимой преградой. Эти обстоятельства привели к тому, что число защит диссертаций в вузе и наличие ученой степени у его сотрудника уже не всегда отражают уровень научной работы высшего учебного заведения и квалификацию преподавателя.

Оценка научной деятельности университетов, факультетов, кафедр, научных групп и отдельных ученых становится все более частой, почти непрерывной. В литературе даже пишут об эпидемически распространяющейся болезни «Оценка» (Evaluitis) [8]. Так как создание какого-то единого показателя результативности не представляется возможным, применяются системы ключевых показателей (Key Performance Indicator). И, как водится, появился и рынок обучения этим системам. Подробный анализ комплексных систем показателей результативности научно-исследовательских и опытно-конструкторских работ приведен в работе Т. Самсоновой [11]. Кроме очевидных потерь времени и затрат как для оцениваемых, так и для оценивающих, возникают тяжелые дополнительные издержки, связанные с демотивацией. В зарубежной литературе развернулась активная дискуссия о пользе и вреде измерений результативности исследований. Самым весомым аргументом против жестких систем таких измерений является то, что они убивают творчество.

Тот факт, что производительность системы научно-исследовательских и опытно-конструкторских работ нельзя выразить количественно, не означает, что она не может быть повышена. Эффективным подходом для повышения продуктивности научно-исследовательских и опытноконструкторских работ является выявление, а также устранение факторов, снижающих результативность работы научных коллективов и отдельных ученых. Из них главными для вузов являются:

– неэффективное планирование, управление и контроль;

• –    недостаточное внимание руководства к идентификации и устранению контрпродуктивных факторов внутри организации;

• –    плохая внутренняя коммуникация;

• –    отсутствие эффективной системы признания и обратной связи;

• –    оперативная переусложнен-ность – давящие процедуры и бюрократизм;

• –    неадекватные инвестиции в основное оборудование и неудовлетворительное его обслуживание.

В последние годы уровень бюрократизма в системе высшей школы вырос настолько, что совершенно лишает преподавателей возможности полноценно заниматься научной работой. К этому надо еще добавить главный фактор для России – недостаточность и краткосрочность финансирования научных проектов как по программам и грантам, так и по заказам промышленности, что не позволяет гарантировать молодым ученым длительное трудоустройство и сильно усложняет выполнение серьезных исследований. Другим важным фактором является стимулирование внутри-вузовской конкуренции, которое затрудняет междисциплинарное сотрудничество. Системы вознаграждения за достигнутые показатели в конкурсах типа «лучшая научная разработка» только обостряют традиционную защиту своего хутора. К сожалению, даже благодарности помощникам в работе стали в отечественных статьях редкостью, хотя они являются существенным фактором поддержки их мотивации.

Одним из препятствий на пути оптимизации научно-исследовательских и опытно-конструкторских работ вуза является трудность смены направления исследований. Ученый, работающий в определенной области, по необходимости становится в ней экспертом. Эта компетенция является результатом напряженной работы и обеспечивает ему уважение коллег и руководства. Если ему приходится прекратить работу по направлению, то ученому придется все начать с нуля. Это означает, что он становится новичком и будет иметь трудности во взаимодействии с коллегами, которые работали по новому направлению уже длительное время. Поэтому неудивительно, что ученые стремятся сохранить направление, которое они лучше всего знают, и находят массу аргументов в пользу важности своей работы и необходимости ее продолжения [12].

ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ УЧЕБНОЙ ДЕЯТЕЛЬНОСТИ

В законе «Об образовании в Российской Федерации» цели системы высшего образования сформулированы фактически с позиции законодателя, хотя их в соответствии с принципами системного анализа следовало бы сформулировать в терминах конечного результата. Они могли бы быть представлены примерно так: высшее образование должно дать человеку возможность и готовность своей профессиональной деятельностью и образом жизни эффективно участвовать в обеспечении сохранения страны и высокого качества жизни в ней, в том числе и своей собственной .

Следует отметить, что, вопреки установкам бывшего руководителя Министерства образования и науки Российской Федерации А.А. Фурсенко готовить «грамотных потребителей» и обязательно согласовывать образовательные программы с работодателями, основной состав преподавателей, особенно его старшее поколение, руководствуется именно этими целями.

Вуз в целом может быть адекватно оценен только через много лет после выпуска студентов. Можно с уверенностью утверждать, что в 1950–1970-х годах прошлого столетия Томский политехнический университет выпускал хороших специалистов. Именно этот фактор был главным доводом для включения университета в список особо ценных объек- тов культурного наследия народов России. Каков результат деятельности вуза в настоящее время, будет ясно к 2030 году. При этом результат (специалист – личность – гражданин) зависит не только от вуза, но и от состояния общества, школы, наследия прошлого. Вклад отдельного преподавателя в него оценить, в принципе, невозможно. Это связано не только со множеством факторов, зависящих от преподавателя, но и от факторов, на которые он практически повлиять не может (общее состояние среднего и высшего образования в стране, состояние экономики, уровень нравственности, политика средств массовой информации и др.) либо располагает лишь призрачными возможностями влияния (политика руководства вуза, условия проведения занятий и др.). В то же время можно утверждать, что конечный результат включает в себя частичку результата (положительного, а иногда и отрицательного) сегодняшней деятельности каждого преподавателя.

Поскольку преподаватель играет центральную роль в учебном процессе (хотя порой возникают сомнения в том, что это положение разделяется остальной частью коллектива вуза), оценка его деятельности, безусловно, желательна, но крайне проблематична. Принципиальная невозможность оценки эффективности работы преподавателя по конечному результату вынуждает использовать для оценки его деятельности прокси-индикаторы, которые предположительно связаны с результатом деятельности вуза. Такой подход рационален и может дать некоторый объем информации для принятия управленческих решений, если не забывать об ограниченности моделей, применяемых для отбора прокси-индикаторов. Их условность очень ярко проявляется при проведении конкурсов типа «Лучший доцент» и др.

Применяемые количественные индикаторы практически все имеют главный порок – трудность или невозможность учета качества. Применяемые числовые оценки могут указать лишь на количество часов аудиторных занятий разных видов и на число подготавливаемых методических материалов. Оценка их качества желательна и отчасти возможна, но, к сожалению, этому уделяется незаслуженно мало внимания. Разработанные критерии оценок лекций и методических материалов большинству преподавателей не известны. На многих кафедрах вышли из моды плановое посещение занятий заведующим кафедрой и взаимные посещения коллег.

В целях переизбрания на очередной срок и под давлением администрации, стремящейся обеспечить высокое место в рейтинге вуза и/или его подразделения, преподаватели готовят массу учебно-методических материалов, в том числе и никому не нужных. Рецензии на методические материалы чаще всего пишет автор. Характерно, что отправляемые на получение грифа учебники и учебные пособия рецензии зачастую не проходят. Если в грифе отказывают, то отказ обычно формален, если он присваивается, можно сделать вывод, что работа автора идеальна. Это наталкивает на мысль о том, что присвоение грифа представляет собой просто «кормушку». В то же время рецензия грамотного, добросовестного эксперта могла бы помочь преподавателю существенно улучшить качество пособия.

Большие проблемы у преподавателей возникают и при организации самостоятельной работы студентов. Главная причина – отсутствие желания у немотивированных студентов добросовестно учиться. В то же время достаточно много студентов (особенно магистрантов), у которых просто нет возможности для нормальной учебы, поскольку они работа- ют полный день (40 часов на работе, 2 – в транспорте, 2 – на личные потребности плюс 40 часов, предусмотренных учебным планом, в итоге – 84 часа в неделю). Поскольку длительно выдержать такой режим невозможно, время на самостоятельную работу выделяется студентом по остаточному принципу. Кроме того, многие студенты не понимают (или не хотят понимать), что нормальная учеба требует напряженного труда. Если привычка к труду не привита в семье и школе, это требует от личности определенного насилия над собой. Принуждение к труду для студентов, у которых отсутствует или недостаточно выражена внутренняя мотивация, хотя и не элегантный, но эффективный способ мотивирования. Он позволяет обеспечить минимально адекватную производительность труда (в нашем случае это означает соответствие федеральным государственным образовательным стандартам). Формы принуждения, эффективные в советский период, – снятие со стипендии и угроза отчисления – имеют в настоящее время ограниченное применение. Демографический провал и значительная доля платной формы обучения сводят эти меры к минимуму, тем более когда администрация постоянно напоминает преподавателю, что студент – это желательный клиент. Отчисление приводит к сокращению фонда заработной платы кафедры, а руководителя – к срыву плана по зарабатыванию внебюджетных средств.

Одним из возможных проксииндикаторов для оценки эффективности работы преподавателей является оценка со стороны студентов. Такая оценка получила широкое распространение во многих зарубежных вузах. Ее использование при адекватном ее восприятии может быть полезно как для студентов, так и для преподавателей и руководства кафедры и вуза. Противоречивость оценки связана с двумя факторами: недостаточной компетентностью студента как эксперта и возможной его необъективностью, которая психологически обусловлена. Опыт инженерно-экономического факультета университета г. Карлсруэ (Германия) подтверждает, что при грамотной формулировке анкет и развернутой оценке противоречия могут быть практически сняты.

Характерное для российских менеджеров прямолинейное применение традиционного метода «кнута и пряника» хотя и может обеспечить кратковременное повышение некоторых текущих показателей результативности труда работников умственного труда, но в дальней перспективе создает глубокую демотивацию персонала и явление внутреннего увольнения [4]. Поэтому более перспективным представляется применение комплексных систем оценки эффективности труда преподавателей с помощью модели Джонса – Чанга [9] и оценки на ее основе компетенций [5]. Общим достоинством этих подходов является вовлечение в процедуру оценки значительного числа факторов, влияющих на эффективность труда. Общими проблемами являются: сложность и трудоемкость разработки моделей; проблемы валидации и поддержки эксплуатации систем.

Что же делать «бедным» руководителям разного ранга в вузах, которые в соответствии со своими должностными обязанностями должны принимать решения, направленные на обеспечение и повышение эффективности работы своих вузов, их подразделений и отдельных сотрудников?

Вот несколько рекомендаций.

• 1.    Корректно определять цели и задачи вуза, подразделения. Согласовывать их с коллективом, чтобы он мог их рассматривать как свои. Сотрудники с сильной мотивацией труда обладают самодисциплиной, привычкой до-

• бросовестно выполнять свои обязанности и относятся к ним как к собственным нормам поведения.

• 2.    Проводить тщательный отбор кадров, способных и готовых выполнять весь тот набор функций, который может обеспечить достижение целей и выполнение сформулированных на их основе задач.

• 3.    Обеспечивать регулярную обратную связь с подчиненными на всех ступенях иерархии управления: ректор – проректор – заведующий кафедрой; заведующий кафедрой – преподаватель, начальники отделов – сотрудники. Кстати, в Массачусетском технологическом институте вопросы обратной связи поставлены в центр работы по развитию персонала.

• 4.    Вести кадровую политику, обеспечивающую минимальную демотивацию персонала, организовать регулярный мониторинг факторов демотивации и принимать меры по их устранению.

• 5.    Обеспечивать позиционный баланс «академиков» и «бюрократов». Исключить «смещение ролей: центральной фигурой в университете должен быть не преподаватель (и не студент), а администратор независимо от уровня его профессионализма, и смещение критериев профессионализма: посещаемость вместо содержания, дисциплина гипертрофированной отчетности вместо реального качества учебного курса и т.д. Если преподаватель главный в университете, то все бюрократические службы работают на то, чтобы создать ему условия, ведь он обучает, воспитывает, создает научный продукт» [1, с. 130].

• 6.    Организовать выборочный хронометраж рабочей недели преподавателей и студентов, что позволит более реалистично планировать их работу, а также дает ценную информацию о потерях времени.

• 7.    Создать культуру настоящей, а не формальной обратной связи между коллегами. В науке – совершенствованием процедур предварительного рассмотрения диссертаций, статей, оппонирования, подготовки рецензий на монографии и статьи, а в учебной деятельности – реальным обсуждением лекций и рецензированием учебных пособий. При этом работа рецензента должна оцениваться так же высоко, как и подготовка рецензируемой работы.