Процедура оценки и сертификации квалификаций в области туризма и сервиса: верификация измерительных материалов и критериев оценки

При реализации процедур оценки и сертификации квалификаций в области туризма и сервиса важным направлением деятельности является оценка квалификаций. Для этого необходимо разработать и провести верификацию методов, измерительных материалов и критериев оценки квалификаций, осуществить их экспертизу и последующую актуализацию с привлечением заинтересованных работодателей. Рассмотрим названные направления деятельности более подробно.

Под оценкой в рамках системы сертификации квалификаций чаще всего понимается создание и сбор свидетельств деятельности работников для вынесения на основе этих свидетельств заключения о наличии или отсутствии требуемых компетенций, определяющих профессиональную квалификацию, на основе заранее определенных критериев.

В рамках данного проекта под верификацией методов и инструментов оценки следует понимать комплекс мер по подтверждению соответствия предлагаемых методов, измерительных материалов и критериев оценки квалификации каким-либо заранее выбранным (установленным) эталонным требованиям.

Процесс верификации может выполняться с различными степенями независимости исполнителей. Степень независимости исполнителей может распределяться как между различными субъектами в самой организации, так и субъектами в другой организации с различными степенями распределения обязанностей. Этот процесс называется процессом независимой верификации, если организация-исполнитель не зависит от разработчика методов и инструментов оценки квалификации.

Поскольку ключевой механизм регулирования качества оценки квалификаций — использование в качестве стандарта признанного и утвержденного профессиональным сообществом стандарта деятельности, то наиболее правильным было бы использование положений стандартов профессиональной деятельности в области туризма и сервиса в качестве эталонных требований, используемых в данной оценке.

Профессиональный стандарт представляет собой многофункциональный нормативный документ, устанавливающий в рамках конкретного вида (области) профессиональной деятельности [4]:

• •    требования к содержанию и качеству труда;

• •    требования к условиям осуществления трудовой деятельности;

• •    уровень квалификации работника;

• •    требования к профессиональному образованию и обучению, необходимому для соответствия данной квалификации.

Профессиональный стандарт устанавливает требования к тому, что специалист должен знать и уметь делать в определенной области трудовой деятельности. Он состоит из структурных единиц, каждая из которых относится к определенному квалификационному уровню и содержит описание:

• •    необходимых знаний и умений;

• •    уровня ответственности и самостоятельности;

• •    уровня сложности выполняемой трудовой функции.

Центр развития профессиональных квалификаций Государственного университета — Высшей школы экономики с 1999 года разработал ряд профессиональных стандартов в нескольких областях профессиональной деятельности, из которых к области туризма и сервиса относятся следующие стандарты: туризм и гостиничный бизнес, информационные технологии, образование, индустрия питания. Однако большая часть стандартов все еще не разработана.

При отсутствии полноценных профессиональных стандартов возможна разработка проектов стандартов, так называемых «квази-стандартов» на основе методики, базирующейся на функциональном анализе и принятой Национальным агентством развития квалификаций при РСПП.

В любом случае для разработки процедур оценки и диагностических средств необходимо ориентироваться на трудовые функции, которые подлежат выполнению на современном предприятии туризма и сервиса, ориентированном на развитие, и требований к качеству выполнения этих функций.

Эти требования формулируются по следующим параметрам: действия, подлежащие выполнению в рамках каждой трудовой функции, необходимые для этого знания и умения. Другими словами, оценка направлена на вынесение суждения относительно того, что кандидат знает, понимает и умеет делать.

Свидетельства, необходимые для принятия решения по оценке, рассматриваются по следующим критериям:

• •    достоверности — они должны быть непосредственно связаны с объектом оценки;

• •    достаточности — требуется достаточный объем свидетельств для демонстрации устойчивого качества деятельности в течение определенного периода времени.

В основу оценки компетенций положены следующие принципы:

• •    оценка основана на четких критериях. Критерии оценки формулируются в терминах результатов деятельности в рамках трудовой функции;

• •    оценка основана на представленных свидетельствах освоения компетенций/про-фессиональной квалификации.

В процессе оценки осуществляется поиск ответа на вопрос: может ли кандидат выполнять конкретную деятельность/еще не может выполнять/недостаточно данных для формирования суждения об оценке.

Это особенно важно для процесса сертификации профессиональных квалификаций, поскольку при отрицательном результате кандидат должен получить четкие рекомендации, что ему нужно делать для того, чтобы успешно пройти оценивание: либо что еще ему нужно освоить (и где и как это можно сделать), либо какие еще свидетельства необходимо представить.

Признаками качественной оценки являются:

• •    обоснованность — средства/формы/ме-тоды оценки должны оценивать именно ту деятельность или компетенцию, которая является задачей обучения, причем оценка проводится согласно установленным критериям, единым для тех, кто проводит оценку, и для кандидатов;

• •    достоверность — должны быть созданы одинаковые условия для оценки всем кандидатам (единые задания), а лица, проводящие оценку, должны убедиться, что результат достигнут именно данным кандидатом. Достоверность также означает проверку не механической памяти, а умение использовать приобретенные знания и опыт для выполнения конкретных трудовых функций;

• •    обеспеченность — при планировании оценки необходимо убедиться, что методы оценки подкреплены необходимыми ресурсами (оборудованием, материалами, инструментами и т. д.).

Во избежание субъективности при оценивании рекомендуется применять проверочные листы для экзаменаторов, содержащие четкие ответы на вопросы и критерии оценки выполнения практических заданий, а также проводить оценку с участием минимум двух экспертов (оценщиков).

При планировании процесса оценки следует учитывать следующие стоимостные показатели:

• •    временные затраты экспертов (оценщиков);

• •    ресурсы, необходимые для оценки (материалы, оборудование);

• • временные затраты обучающихся.

Процедура оценки профессиональной компетенции включает в себя следующие этапы [2]: 1) информационная поддержка кандидата

(процедуры, формы проведения оценки, критерии оценки, требования к кандидатам, роль оценщиков и т. д.);

• 2)    сбор и предоставление кандидатом установленного перечня документов (документов об образовании, обучении, рекомендации работодателей, дипломы, сертификаты, портфолио, самоописания);

• 3)    проведение экспертом по оценке собеседования с кандидатом для анализа предоставленных документов;

• 4)    составление плана проведения оценки (для проверки теоретических знаний и практических умений);

• 5)    комплексный анализ результатов проведенной оценки, данных самоописания и портфолио.

К основным возможным формам оценки относятся:

• •    тесты и экзамены;

• •    самоописание (основанное на самооценке кандидата, в рамках которой он описывает собственные компетенции. Обычно эта самооценка подписывается третьими лицами для подтверждения ее правильности);

• •    «портфолио» (использование в качестве доказательств различных свидетельств наличия компетенций);

• •    наблюдение (получение доказательств наличия компетенций у определенного человека при наблюдении за его ежедневной работой);

• •    имитационные задания (доказательства, собранные в ситуации, максимально приближенной к трудовой среде);

• •    другие методы оценки квалификации.

При этом тесты/экзамены, наблюдение, имитационные задания относятся к основным методам, а самоописание и «портфолио» — к дополнительным, обеспечивающим объективность и обоснованность оценки.

Оптимальным методом оценки компетенций может служить наблюдение за демонстрацией умений и знаний (компетенций) на рабочем месте. При невозможности провести оценивание на рабочем месте альтернативным способом является имитация трудовой ситуа-ции/рабочего места, которая должна быть организована тщательным образом. При этом имитация условий реальной трудовой деятельности должна включать в себя среду, оборудование и материалы, используемые в реальных условиях трудовой деятельности на рабочем месте.

Оценка должна, естественно, по возможности, быть направлена на интегрированную диагностику теоретических знаний и практических умений. Это важно именно потому, что в реальной деятельности работник целостно актуализирует компетенции, представляющие собой совокупность знаний, умений, опыта, ценностных установок.

Отдельная оценка знаний может рассматриваться как дополнение к интегрированной оценке компетенций. При этом при оценке знаний должно оцениваться не запоминание определенного объема теоретического материала, а когнитивные компетенции.

Рассмотрим перечисленные методы подробнее. Однако до их рассмотрения необходимо еще раз подчеркнуть, что выбор методов должен диктоваться содержанием тех трудовых функций, которые подлежат оценке. Как известно, проверка памяти кандидатов вряд ли может отражать качество выполняемой деятельности.

Экзамены и тесты являются способом оценки способности кандидата применять умения, знания и понимание в ситуации ограниченного времени четко заданных условий.

Несмотря на то, что использование тестов и экзаменов считается надежным методом признания, применимым в разнообразных условиях, эти методы подходят лишь как дополнение к практическим заданиям. Здесь важно учитывать два момента: 1) уровень квалификации, на получение которой претендует кандидат; 2) психологические факторы: у взрослых кандидатов может быть сформирована (в рамках их предыдущего опыта в системе формального образования) негативная реакция на экзамены, что будет являться демотивирующим фактором, вместо того, чтобы привлекать кандидатов прой- ти оценку собственной квалификации. Для таких кандидатов больше подойдут менее «официальные» подходы — такие, как описательный метод или использование «портфолио» компетенций.

Экзамены могут быть:

• •    устными, оценивающими способность сделать устное сообщение;

• •    в форме интервью, когда результаты обучения оцениваются посредством устных вопросов, задаваемых кандидату;

• •    в форме аудирования (для оценки умения слушать и интерпретировать);

• •    письменными (в виде тестов) для оценки понимания теоретических знаний и их использования.

Письменные экзамены могут включать в себя различные типы вопросов. Вопросы могут требовать кратких ответов, выбора правильного ответа из нескольких с обоснованием выбора, а также структурированные вопросы, требующие развернутых ответов типа эссе. Структурированные вопросы предполагают проверку углубленных знаний и понимания какого-либо вопроса. Вопросы, предполагающие развернутые ответы типа эссе, также предполагают проверку углубленных знаний и понимания какого-либо вопроса и оценку когнитивных компетенций — таких, как способность обсуждать, сравнивать, анализировать, оценивать или находить решение какой-либо проблемы. Они отличаются от структурированных вопросов более развернутой формой ответа.

Экзамены могут использоваться в дополнение к практическим заданиям по демонстрации компетенций.

Метод «демонстрация выполнения практической деятельности/практических заданий на рабочем месте» заключается в «определении» доказательств наличия компетенций во время выполнения кандидатом непосредственной трудовой деятельности, за которой наблюдает третье лицо с целью оценки наличия компетенций требуемого уровня.

Используется также метод «демонстрация выполнения практической деятельно-сти/практических заданий в имитационных ситуациях». Имитация означает, что компетенции проверяются не в условиях реальной трудовой деятельности, а кандидат помещается в обстоятельства, похожие на условия ежедневной практической работы для оценки его компетенций. При использовании этого метода оценки необходимо наличие требований к оцениваемым компетенциям, т. е. профессиональных стандартов или указанных выше проектов стандартов («квазистандартов»).

Демонстрация выполнения практических заданий на рабочем месте или в имитационной ситуации направлена на комплексную оценку как технических, так и ключевых компетенций.

Наблюдение за демонстрацией компетенций осуществляется индивидуально. При его организации необходимо обеспечить [1]:

• •    наличие ясных и точных инструкций по выполнению практического задания;

• •    четкое соответствие задания компетенциям, подлежащим оценке;

• •    понимание кандидатом содержания и процедур выполнения задания и критериев оценки;

• •    необходимые материалы и ресурсы.

Демонстрация компетенций может проводиться в одной из следующих форм:

• •    устная демонстрация (например, при оценке коммуникативных умений);

• •    комплексная демонстрация компетенций на рабочем месте или в имитационной среде. Для проведения устной демонстрации умений необходимо:

• •    разработать вопросы, четкие и понятные, соотносящиеся с теми компетенциями, которые подлежат оценке;

• •    создать обучающимся возможность продемонстрировать требуемые компетенции при ответе на вопросы;

• •    объяснить обучающимся, какие результаты оцениваются и по каким критериям;

• •    обеспечить единые требования проведения оценки для всех кандидатов.

Основным требованием к организации комплексной демонстрации компетенций, необходимых для выполнения определенной трудовой функции, является создание такой среды, в которой кандидат сможет продемонстрировать весь спектр компетенций, соответствующих требуемой трудовой функции.

Самоописание предполагает письменное заявление кандидата, в котором он подробно описывает имеющиеся у него компетенции. Такое описание компетенций должно быть заверено третьим лицом, которое подтверждает наличие указанных компетенций у кандидата.

Структура описания компетенций включает в себя следующие разделы:

• •    личные данные, биография;

• •    области деятельности, в которых имеется опыт у кандидата. Этот раздел должен содержать соответствующие подтверждающие документы.

• •    описание кандидатом имеющихся у него компетенций;

• •    видение кандидатом своего дальнейшего профессионального развития и роста;

• •    рекомендации.

«Портфолио» позволяет избежать субъективности, характерной для описательных методов, поскольку является «смесью» методик и инструментов оценки компетенций и включает оценку третьими лицами. При составлении портфолио компетенций используется набор различных методов и инструментов для создания комплекта доказательств, демонстрирующих умения и компетенции с разных сторон. В самом общем смысле портфолио компетенций представляет собой комплект «материальных» свидетельств, подтверждающих наличие требуемых компетенций. Эти материальные свидетельства могут включать в себя образцы конкретной продукции, произведенной кандидатом; видеозаписи; чертежи; рисунки; эскизы; расчеты; схемы; выполненные проекты и т. д., каждый из которых должен быть заверен третьими лицами (работодателями).

Формирование «портфолио» осуществляется в течение всего периода предыдущего обучения (формального или неформального) и/или трудовой деятельности кандидата в форме накопления фактических данных о результатах деятельности, доказывающих освоение кандидатом требуемых компетенций.

К формированию «портфолио» предъявляются следующие требования:

• •    соответствующие инструкции для кандидатов, написанные четкими понятным языком;

• •    типы и формат свидетельств;

• •    описание примерного формата представления свидетельств;

• •    критерии оценки.

Указанный формат оценки также может быть отнесен к дополнительным методам.

При планировании организации оценки необходимо соблюдать важнейший принцип, согласно которому содержание и методы оценки должны соответствовать оцениваемой компетенции.

Не менее важно ясно и понятно формулировать все задания, которые кандидат должен выполнить в ходе оценки. При этом некоторые методы оценки оказываются более надежными, чем другие. Так, например, структурированные вопросы или вопросы, предполагающие краткие ответы, дадут результаты, которые легко оценить согласно принятым критериям, однако они не позволят оценить реальные целостные компетенции кандидата.

Однако такие методы, как наблюдение за выполнением практических заданий, позволяют реально оценить компетенции кандидата, хотя и требуют при этом повышенного внимания к интерпретации результатов и выработки четких критериев оценки, сводящих к минимуму субъективные мнения оценщиков.

Критерии оценки включают в себя:

• 1)    для интегрированной оценки прикладных компетенций:

• •    правильную последовательность выполнения всех требуемых действий согласно требованиям производственного или технологического процесса (технологических карт);

• •    выполнение действий с соблюдением требований техники безопасности, охраны труда, требований санитарии и гигиены (в зависимости от области деятельности);

• •    темп выполнения (задается в указании продолжительности времени на выполнение);

• •    соответствие требуемым моделям поведения (вежливо, своевременно, оперативно и т. д.);

• 2)    для оценки отдельных действий или умений:

• •    правильную последовательность элементов действия согласно требованиям производственного или технологического процесса (технологических или операционных карт);

• •    выполнение действия или демонстрации умения с соблюдением требований техники безопасности, охраны труда, требований санитарии и гигиены (в зависимости от области деятельности);

• •    темп выполнения (задается в указании продолжительности времени на выполнение).

Для обеспечения комплексной оценки теоретических знаний и практических умений в рамках наблюдения за выполнением кандидатом практических заданий (трудовых функций) целесообразно просить кандидата комментировать или обосновывать сделанное, что позволяет косвенно проверить пони- мание им теоретических положений (знаний) и способность их использовать, а также наличие коммуникативных компетенций, что особенно важно для сферы сервиса.

Как уже говорилось, наиболее эффективным способом оценки компетенций является наблюдение за выполнением практических заданий, если важен сам процесс их выполнения, или оценка выполнения комплексно- го практического задания, которое приводит к созданию какого-либо продукта, качество которого является основой для вынесения суждения об оценке.

После определения основных параметров оценки, следует разработать собственно оценочные задания. Они должны обеспечивать проверку всех заранее определенных (выбранных) параметров. Задания должны быть составлены таким образом, чтобы кандидат мог

Таблица 1

Соответствие активных глаголов и форм оценок, которые могут быть использованы в работе по сертификации квалификаций персонала в области туризма и сервиса

Активные глаголы Формы оценки Определять, описывать, перечислять, устанавливать, называть, выделять, узнавать. Краткий ответ (устно или письменно), дополнение недостающей информации, выбор из нескольких вариантов, одного варианта из двух, сопоставление, таблица, односложный ответ. Объяснять, различать, оценивать, обосновывать, доказывать, приводить пример, пояснять, сделать вывод, предсказывать, обобщать. Выбор из нескольких вариантов, односложный ответ (устно или письменно), развернутый ответ, выбор одного варианта из нескольких, сопоставление, таблица, структурированные вопросы. Применять, использовать, решать, соотносить, предсказывать, подготавливать, вычислять, выполнить операцию, показывать, делать. Анализировать, выбирать, проводить различие, отделять, решать. Планировать, проектировать, разрабатывать, создавать, распределять по категориям, придумывать, сочинять, организовывать, составлять, собирать. Оценивать, обосновывать, растолковывать, делать вывод, дать оценку, сравнивать. Выбор из нескольких вариантов, односложный ответ, структурированные вопросы, таблица, краткий ответ, проект, анализ ситуации, практическое задание, упражнение. Выбор из нескольких вариантов, односложный ответ, развернутый ответ, анализ ситуации, утверждение/отстаивание точки зрения. Развернутый ответ, проект, анализ ситуации, практическое задание. Развернутый ответ, проект, анализ ситуации, интервью, Собирать, измерять, выполнять, создавать, разбирать, манипулировать, использовать. Демонстрация практических умений, имитационная ситуация, практическое задание, проект. Сотрудничать, участвовать, работать, соблюдая меры безопасности, демонстрировать, соотносить, слушать, вести разговор, имитировать, играть. Практическое задание, имитационная ситуация, ролевая игра, анализ ситуации, интервью. четко понять, что он должен выполнить, какими инструментами, материалами, оборудованием он может воспользоваться, где он должен выполнять задание, в каком виде должен быть представлен результат, каковы критерии оценки и в какое время он должен выполнить задания. Другими словами, получив листок с заданиями, кандидат должен сразу приступать к их выполнению — у него не должно возникать никаких дополнительных вопросов.

Общие требования, которыми следует руководствоваться при разработке оценочных заданий [3]:

• •    четкое описание задания с указанием времени, отводимого на выполнение задания, места выполнения, формы представления результата, критериев оценки,

инструментов, материалов, оборудования, которыми он может воспользоваться;

• •    практические задания должны быть направлены на проверку выполнения конкретных действий и интегрированных профессиональных и ключевых компетенций;

• •    выполнение задания должно быть обеспечено ресурсами/или материалами.

Поскольку оценочные задания предназначены для проверки всех групп компетенций и способности актуализировать в деятельности, как когнитивные, так и практические аспекты компетенций, при разработке оценочных заданий рекомендуется употреблять глаголы в неопределенной форме. В таблице 1 приведены примеры активных глаголов и соответствующего им формата оценки.

Таблица 2

Оценка соответствия требованиям оцениваемого эталонным требованиям (на примере социальнокультурного сервиса и туризма)

Требования к профессиональной подготовке выпускника (должен):	1	Е В	1 в
знать задачи своей профессиональной деятельности, их характеристики (модели), методы, средства, технологии и алгоритмы решения этих задач
знать и быть приверженным принципам рыночной экономики в сфере сервиса и туризма
знать основные подходы к организации сервисной деятельности
владеть основными инструментами управления социально-культурной и туристской деятельностью
знать основы законодательства по государственному и техническому регулированию и регламентации деятельности в сфере сервиса и туризма
уметь проводить оценку результатов деятельности предприятий (организаций) социально-культурного сервиса и туризма, принимать управленческое решение, разрабатывать перспективные инновационные проекты
уметь делать обоснованные, доказательные выводы
уметь моделировать и проектировать процессы социально-культурного сервиса и туризма

Рассмотрим вопрос об экспертизе методик оценки квалификаций с привлечением заинтересованных работодателей. Экспертизу предлагаемых методов, измерительных материалов и критериев оценки квалификаций и их актуализация наиболее целесообразно проводить с привлечением заинтересованных работодателей, как отдельных представителей бизнеса, так и представителей общественных организаций конкретных сфер деятельности в области туризма и сервиса.

На первом этапе отбора лиц, которые могут дать экспертное заключение по предлагаемым методикам оценки квалификаций, в качестве критериев целесообразно использовать два признака: род занятий и стаж работы по интересующему профилю. При необходимости следует учитывать также образование, опыт общественно-политической деятельности, возраст и др. Первый список экспертов может быть весьма широким, однако в последующем его целесообразно сузить, потому что не каждый человек способен выступить в роли эксперта.

Центральный среди всех критериев отбора экспертов — компетентность. Для ее определения применимы (с той или иной степенью точности) два метода: самооценка экспертов и коллективная оценка авторитетности экспертов. При отборе экспертов методом самооценки возникает опасность ее завышения. Однако, как отмечают специалисты, опыт мно- гочисленных экспертиз и у нас, и за рубежом показывает, что группы с высокой самооценкой, как правило, ошибаются в своих суждениях при проведении экспертизы меньше других. Метод коллективной оценки применяется для формирования группы экспертов в том случае, когда они знают друг друга как специалисты.

Практика привлечения работодателей показывает, что многие из них имеют собственное, отличное от других мнение о том или ином вопросе. Поэтому для повышения объективности проведения экспертизы и согласования ее результатов предлагается проводить не только тщательный предварительный отбор работодателей, проводящих экспертизу, а также использовать методики обеспечения согласованности полученных результатов за счет приведения экспертных заключений к единому мнению. Для этого может быть использована методика парных сравнений. При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению.

Актуализация методик оценки квалификаций с привлечением заинтересованных работодателей необходима для своевременного обновления методик и конкретных оценочных средств в соответствии с изменениями требований представителей отрасли. Рекомендуется проводить частичное (до 25%) обновление фонда оценочных средств ежегодно, а обновление более чем на 50% — раз в три года.

Использование вышеуказанных положений при разработке фонда оценочных средств для оценки квалификаций в сервисе и туризме позволит нивелировать имеющиеся недостатки данной методики и повысить объек- тивность и комплексность оценки персонала.

При этом рекомендуется использовать оценки соответствия оцениваемого эталонным требованиям в рамках определенной квалификации (пример представлен в табл. 2).