Разработка теста оценки ситуаций на основе модели ситуационного руководства

Компетенционный подход, активно применяемый в современном бизнесе и образовании, меняет требования к оценочному инструментарию организационной психологии. Ядром методологии компетенций является ситуационный подход [24]. Можно утверждать, что именно системное обращение к ситуационному и предметному контексту поведения работников дало компетенциям такое важное преимущество и успех2 по сравнению с традиционными подходами, основанными на оценке способностей и черт. Формирование нового подхода на уровне критериев оценки влечет за собой коренные изменения в прикладном оценочном инструментарии. Однако в России ситуация с развитием методик оценки продолжает оставаться неопределенной [10].

С одной стороны, нельзя не отметить бурного развития технологий экспертной оценки, реализованных, в первую очередь, в методе Assessment Center - Центров Оценки [8, 13]. Они уже приобрели заслуженную популярность в нашей стране, хотя качественных исследований Центров Оценки в России по-прежнему не хватает. Заметим при этом, что задачи диагностики персонала явно шире возможностей этого метода. Назовем лишь главные из ограничений Центра Оценки, особенно явно проявившихся в период последнего экономического кризиса:

• •    высокая стоимость качественно разработанных Центров Оценки;

• •    жесткие требования к уровню квалификации наблюдателей-экспертов;

• •    логистические и организационные издержки и ограничения.

Эти особенности Центров Оценки ограничивают возможность их использования, например, в ситуации массового подбора персонала или при первичном отборе в кадровый резерв крупных компаний. А в посткризисный период всё чаще встречаются именно такие запросы на дешевые и короткие технологии оценки.

Спрос на них выявил дефицит в России стандартизированных психодиагностических инструментов, предназначенных для прогноза компетенций [9]. Существующие личностные и мотивационные опросники предоставляют традиционные данные о диспозициях [14]. Однако кросс-ситуативная оценка черт обладает, как известно, «пределом ... надситуативной устойчивости» величиной 0,30 [19]. Этого недостаточно для надежного прогноза в целях отбора персонала. Наиболее распространенные тесты способностей предназначе- ны для оценки академического интеллекта [4,

• 12]. Поэтому и их очевидная и содержательная валидность вызывает серьезные нарекания из-за слабого соответствия специфики заданий особенностям конкретной профессиональной деятельности [12].

В связи с этим представляется особо значимым поиск качественных альтернатив, позволяющих, с одной стороны, приблизиться к валидной оценке компетенций, а с другой -обеспечить оперативность и дешевизну оценки. Одним из перспективных решений этих проблем является выбор тестов достижений, точнее их разновидности - тестов оценки ситуаций3 [23, 27].

Тесты оценки ситуаций

В последние 20 лет исследователи обратили особое внимание на важные преимущества тестов оценки ситуаций (ТОС). По структуре получаемых данных и по содержанию ТОС ближе всего подходят к оценке компетенций и представляют собой стандартизированный метод оценки, в котором респонденту предлагаются ситуации, моделирующие значимые компоненты работы, и варианты возможных действий в них [9; 23, с. 427]. Ситуации могут быть представлены в различном виде: видеосюжеты, изображения и анимационные стимулы, текстовые описания и т. п. В основе моделирования ситуаций лежит метод критических инцидентов Фланагана, который широко применяется и при создании моделей компетенций, и при конструировании Центров Оценки [15]. Современный подход к ТОС был оформлен в работах американских ученых Мотовидло и Стернберга.

Специалисты отмечают высокую значимость данного метода для современной психологической практики [12, 20, 25]. Отметим основные преимущества ТОС:

• •    высокая очевидная и содержательная валидность метода при удовлетворительных показателях его прогностической критериальной валидности⁴;

• •    большие возможности их стандартизации по отношению к другим методам, на

правленным на моделирование ситуаций (например, по сравнению со стандартизацией групповой дискуссии);

• •    удобство и дешевизна администрирования и обработки при проведении массовых оценочных проектов;

• •    большая устойчивость по отношению к эффектам дискриминации [23].

Несмотря на отмеченные преимущества, ТОС распространены главным образом, в США [27]. В России существуют интересные разработки и отдельные публикации по данной проблеме, однако пока они отражают скорее эпизодический характер исследований в этой области [11, 20]. В настоящей статье представлены результаты разработки теста оценки ситуаций, направленного на оценку навыков ситуационного руководства.

Тест «2Ф»

Описание теории и конструкта

В течение 2008-2009 гг. нами был разработан тест оценки ситуаций «2Ф», предназначенный для оценки навыков ситуационного руководства у менеджеров начального и среднего звена управления. Теоретической основой методики является широко известная в теории менеджмента модель ситуационного руководства Херси и Бланшара [5, 21, 22]. В её основе лежит идея управления подчиненными на основании использования менеджером двух ключевых факторов - мотивации и квалификации сотрудника по отношению к определенной задаче. Комбинация двух этих факторов формирует матрицу размером 2x2, в которой представлены 4 базовые ситуации: сотрудник «хочет», но «не может»; «может», но «не хочет»; «не может и не хочет»; «может и хочет». Каждую из этих ситуаций авторы модели предлагают определить как отдельные стили руководства, имеющие соответствующие названия («Наставничество», «Вовлечение», «Инструктирование» и «Делегирование»), В поведении менеджера эти стили различаются по степени выраженности двух факторов - ориентации на задачу и ориентации на отношения (см. рисунок).

В соответствии с этой моделью от эффективного менеджера требуется точно выявить готовность сотрудника к решению задачи и, в зависимости от результата диагностики, применить один из четырех стилей руководства. Модель носит «нормативный» характер, предписывая руководителям выбирать определенное поведение в зависимости от ситуации. Такая особенность модели делает её удобной основой для проектирования оценочного инструментария для измерения ситуационно заданных переменных.

Вовлечение Сотрудник Мотивация -       / Квалификациям /	Наставничество Сотрудник: \ Мотивациям \ Квалификация - \
,/Сотрудник: Мотиегщия * Квалификация* Делегирование	\ \ Сотрудник. \ Мотивация - Квалификация - Инструктирование

Низкая

Ориентация на задачу         Высокая

Модель ситуационного руководства Херси и Бланшара

Выбор модели Херси и Бланшара в качестве «точки отсчета» для разработки теста «2Ф» обусловлен несколькими важными обстоятельствами:

• •    модель опубликована в научной литературе, теоретически обоснована и валидизиро-вана [5, 22];

• •    модель достаточно популярна в современном российском бизнес-образовании и в среде HR-менеджеров, формирующих заказ на него [17];

• •    модель нормативная и при этом ориентирована на изучение трудно нормируемой предметной области управления людьми;

• •    модель наглядна и убедительна даже для людей, не имеющих управленческого опыта, хорошо согласуется со здравым смыслом, проста в обучении и практическом применении.

Однако для разработки ТОС автору потребовалось в определенной мере уточнить каноническую модель, предложенную американскими исследователями. Одним из спорных мест в теории Херси и Бланшара является её применимость к ситуации управления группой сотрудников, поскольку по отношению к определенной задаче у каждого из подчиненных может быть свой уровень готовности, что, в свою очередь, порождает необходимость применения менеджером разных стилей одновременно5. При разработке ТОС применялось моделирование только ситуации «руководитель - подчиненный». По нашему мнению, такое сужение предметной области методики оправдано и даже необходимо. Во-первых, это согласуется с наблюдением за ежедневной деятельностью руководителей, которые сталкиваются со взаимодействием на индивидуальным уровне чаще, чем с групповой работой [25, с. 97-98]. Во-вторых, чем более четко задана моделируемая предметная область, тем больше шансов представить её ключевые характеристики в коротких кейсовых заданиях.

Другим важным уточнением канонической модели стала операционализация двух ключевых факторов готовности сотрудника к решению определенной задачи - факторов мотивации и квалификации6. Для уточнения понятия мотивации предлагается различать три её вида:

• 1)    мотивация сотрудника к выполнению конкретной рабочей задачи;

• 2)    мотивация сотрудника по отношению к рабочему месту, к выполняемой профессиональной деятельности, лояльность к компании в целом;

• 3)    личностная мотивация сотрудника (например, мотивация достижений).

Как можно заметить, виды мотивации располагаются в условном континууме «Ситуативное - Индивидуальное». Такое представление видов мотивации связано со стремлением ограничить моделируемую предметную область (как и в случае отказа от ситуаций «руководитель - группа») и получить более «прозрачную» модель принятия решения при обработке данных о правильности/непра-вильности ответов тестируемыхт Результаты апробации теста «2Ф» показали, что включение в модель этих видов мотивации позволяет уменьшить возникающие у руководителей проблемы при обучении и использовании модели.

Итак, на готовность работника решать определенную задачу решающее влияние оказывает мотивация первого вида. Такая ситуа- различали готовность группы и готовность сотрудника, предлагая в тесте часть ситуаций для первого и второго случая [17, 21].

ционная мотивация определяется как желание сотрудника выполнять конкретную рабочую задачу, складывающееся из интереса к данной задаче; уверенности, что он эту задачу выполнит; готовности взять на себя обязательства за её выполнение. Именно мотивация этого вида маркирует ключевую информацию в заданиях теста, а остальные уровни маркируют дист-ракторы. Например, сотрудник может иметь высокий балл по тесту мотивации достижений (дистрактор), но из этого впрямую не следует его желание выполнять конкретную рабочую задачу по составлению объемного и неинтересного для него отчета (ключ).

Аналогичная схема разделения ситуационного и личностного контекстов была реализована и для второго фактора. Представления о квалификации работника позволили предложить разделение ее на три вида:

• 1)    опыт и компетентность в решении подобных задач в данной организации;

• 2)    опыт работы в определенной должности;

• 3)    профессиональное образование, сертификации, «красивое» резюме.

Готовность работника зависит, в первую очередь, от квалификации первого вида. Ситуационная квалификация - это профессиональный опыт и компетентность сотрудника, позволяющие ему качественно выполнить конкретные виды работ в организации.

Подготовительный этап разработки теста

После проведения содержательной работы по определению конструктов была использована типовая схема для разработки заданий и апробации инструмента [2, 3]:

• •    подготовительный этап (авторская разработка, экспертный отбор и редакция пунктов - описаний кейсов, компоновка рабочей версии теста);

• •    исследовательский этап (первичная апробация, коррекция пунктов, проверка внутренней согласованности и проведение основного пилотажного исследования, уточнение процедуры тестирования и поиск оптимальной схемы скоринга баллов). Отдельным шагом на этом этапе стало изучение и проверка надежности и валидности теста;

• •    стандартизация и разработка интерпретаций (формирование выборки стандартизации, проведение сбора данных и стандартизация инструмента, утверждение схемы скоринга и описание принципов интерпретации).

Спецификация разработанного теста «2Ф» представлена в табл. 1.

Авторами-разработчиками кейсов и экспертами являлись 7 бизнес-тренеров, активно ведущих обучающие курсы по менеджменту и использующие модель ситуационного руководства в практике преподавания и консультирования управленческого персонала, имеющих собственный опыт работы руководителем.

Итоговый набор пунктов теста «2Ф» представлен 9 описаниями ситуаций, согласованно отобранных экспертами из первоначальной совокупности 14 ситуаций. Для диагностики каждого из четырех стилей руководства предназначены по 2 ситуации. Кроме того, в тест включена 1 ситуация-дистрактор, в которой определение уровня мотивации и квалификации сотрудника не предусматривалось. Окончательная редакция описаний была выполнена после сбора 20 протоколов и содержательной обратной связи от участников тестирования.

Для всех кейсов был разработан одинаковый набор ответов, моделирующий цикл управленческих функций [7, с. 22]:

• •    функция «планирование» соответствовала задаче определения уровня мотивации и квалификации подчиненного по отношению к описанной в кейсе задаче;

• •    функция «организация» моделировалась выбором способа постановки задачи сотруднику;

• •    функция «мотивация» (частный случай функции регулирования) и «контроль» моделировались выбором оптимальных действий по мотивации и контролю подчиненного в конкретной ситуации.

Важным преимуществом использования такого подхода к моделированию функций управления является описание деятельности менеджера в динамике (от анализа ситуации до контроля выполнения задачи). Это повышает содержательную и очевидную валидность инструмента, делает бланк к тесту удобным дидактическим материалом в обучении ситуационному руководству.

Формат работы с тестом - «карандаш и бумага», среднее время работы с тестом - 25 минут (при условии отсутствия в инструкции каких-либо временных ограничений при выполнении теста). Инструкция предлагает поиск лучшего («наиболее правильного», а не «наиболее привычного») варианта ответа, по-

Таблица 1

Спецификация теста оценки ситуаций «2Ф»

Параметры	Характеристики	Основания для выбора характеристик
Тип теста	Тест оценки ситуаций	•    Широкие возможности по стандартизации. •    Соответствие компетенционному подходу
Формат пунктов: описания ситуаций	Ситуации, важные в деятельности менеджеров начального и среднего звена («критические инциденты»). Содержание не привязано к отрасли организации, деятельности в организации. Объем описания - 1/2 листа формата А4	•    Требования, предъявляемые к качественным ТОС [23]. •    Необходимость создания универсального инструмента для менеджеров с различным опытом руководства сотрудниками. •    Дидактическая значимость для целей развития тестируемых респондентов
Формат пунктов: описание действий в ситуациях	Одинаковые для всех ситуаций. Основанные на функциях управления. Выбор из заданных альтернатив возможного поведения руководителя	•    Обоснованность с точки зрения конст-руктной валидности. •    Соответствие управленческой деятельности. •    Расширенные возможности по интерпретации и обратной связи
Количество шкал	Одна - основная (ситуационная управленческая эффективность), 4 вспомогательных (эффективность использования 4-х стилей руководства)	•    Результаты психометрической проверки. •    Контроль содержательной валидности
Количество пунктов	9 кейсов (по 2 - для диагностики каждого стиля плюс 1 дистрак-тор); 5 блоков ответов - для каждого кейса (по 8 пунктов на каждую из 4-х субшкал, 32 пункта в основной шкале)	•    Баланс времени работы и надежности измерения показателей. •    Борьба с фактором знания модели ситуационного руководства (дистрактор). •    Моделирование управленческого действия в динамике (от планирования до контроля)
Процедура тестирования	Тест типа «карандаш - бумага»: ситуации описаны в виде текста, ответы регистрируются на бланке. Без ограничения по времени (среднее время 25 мин). «Знаниевая» инструкция	•    Сохранность стимулов и ответов, защита интеллектуальной собственности; •    Отсутствие значимых аргументов в пользу лимитирования времени тестирования. •    Контроль надежности и достоверности
Обработка результатов, принцип построения ключей	Смешанный тип: построение ключей на основе теоретической модели и стат, данных выборки стандартизации	• Большая универсальность выводов. Возможность построения обоснованных дидактических рекомендаций по развитию. Соответствие разнородной выборке (управленцы российских и международных компаний)
Области применения	Оценка потенциальных и действующих менеджеров начального и среднего звена управления. Развитие управленческих навыков	•    Результаты психометрической проверки. •    Опора на теоретически проработанную модель. •    Положительная обратная связь от практиков в оценке и развитии персонала, от руководителей

скольку тест «2Ф» предназначен для оценки эффективности действий, а не для выявления диспозиционных черт или стилевых предпочтений респондентов7.

Результаты исследовательского этапа Сбор данных и разработка ключей

В выборку исследования вошли результаты тестирования 317 чел., менеджеров различного уровня управления (от начального до высшего). Кроме того, проводилось тестирование сотрудников, не имеющих опыта руководства. Тестирование проводилось как в ситуации «клиента» (на бизнес-тренингах), так и в ситуации «экспертизы» (при оценке персонала). Фактор осведомленности о модели ситуационного руководства был сведен, по возможности, к минимуму: на тренингах испытуемые сначала заполняли тест, а затем изучали лежащую в его основе модель. В случаях наличия достоверной информации о знакомстве респондентов с теоретической моделью Херси и Бланшара результаты таких испытуемых исключались из дальнейшего исследования.

В ходе анализа результатов была уточнена методика построения ключей теста, разработанных на основе модели Херси и Бланшара. В спорных случаях решение о принятии ключа принималось на основе результатов частотного анализа. Таким образом, для диагностики каждого из четырех стилей имеется два кейса, в каждом из них требуется определить мотивацию и квалификацию, а также выбрать три действия (поставить задачу, мотивировать и проконтролировать). За правильное применение действия в соответствии с уровнем готовности подчиненного респондент получает 2 балла, за выбор действия, являющегося условным антагонистом в рамках модели ситуационного руководства - 0 баллов, выбор действий, лежащих между двумя этими оппозитными действиями, приносит испытуемому 1 балл.

Для расчета сырых баллов по каждой субшкале использовались «штрафы», начисляемые за выбор действий, относящихся к стилю, неуместному для той или иной ситуации.

Проверка надежности и достоверности

Одним из важнейших требований к психодиагностической методике является обос- нование её надежности. Основной шкалой, прошедшей проверку надежности, стала шкала «ситуационной управленческой эффективности» (СУЭ), объединяющая результативность ответов во всех 8 заданиях. В данном исследовании применялся расчет показателей внутренней надежности-согласованности [16]8. Рассчитывались значения коэффициента альфа Кронбаха (а=0,55 при количестве измерений п=32), коэффициент надежности параллельного расщепления Гутмана при разделении заданий на 2 группы, в каждую из которых вошло по 1 заданию на стиль (Guttman Split-half=0,4 при п=16 для каждой из групп). Значения коэффициента альфа Кронбаха составили: для первой группы заданий а=0,43, для второй - а=0,47.

Проверку надежности прошли также 4 субшкалы, характеризующие эффективность применения каждого из 4-х стилей руководства. Расчет «сырых» баллов для субшкал производился путем определения суммы баллов за решение двух ключевых заданий для каждого стиля за вычетом баллов, начисленных за «неуместное» использования в других шести заданиях действий, относящихся к этому стилю. Рассчитанные значения коэффициента альфа Кронбаха составили: для шкалы «Инструктирование» а=0,44 при п=17, «Наставничество» а=0,43 при п=14, «Вовлечение» а=0,35 при п=8, «Делегирование» а=0,53 при п=23.

Для проверки устойчивости полученных данных было проведено сравнение распределений случайным образом разделенной выборки (двухвыборочный критерий Колмогорова-Смирнова). Проверка показала достаточный уровень устойчивости данных (р>0,63 для шкалы СУЭ, р>0,79 для субшкал). Проверка шкал на нормальность распределения показала отрицательный результат (для всех шкал р<0,01 по одновыборочному критерию Колмогорова-Смирнова).

Далее был проведен анализ показателей связи результатов тестирования по разработанным шкалам с дополнительными переменными, использованными для установления параметров достоверности и устойчивости теста «2Ф» к различным характеристикам потенциальных выборок и ситуаций тестирования. Значимых взаимосвязей шкал с возрастом (г<0,03 при N=230) и полом (р>0,1 по U-критерию Манна-Уитни при N=317) обнаружено не было. Однако по шкале СУЭ и субшкале «Инструктирование» данные о корреляции результатов в женской части выборки (N=118) оказались несколько выше мужской (N=199) при уровне значимости р=0,19 и р=0,1 соответственно.

Проверка устойчивости шкал к различным ситуациям тестирования производилась на выборке N=442. Полученные результаты свидетельствуют о достаточной устойчивости результатов тестирования по отношению к этому фактору (р>0,15 для шкалы СУЭ по U-критерию Манна-Уитни). Из пяти шкал только показатели по шкале «Наставничество» значимо отличались в двух выборках: участники оценки персонала получили значимо более высокий средний ранг по данной шкале по сравнению с участниками тренингов (р<0,01).

Проверка валидности

Критериальная валидность теста «2Ф» проверялась посредством оценки связи результатов по тесту с оценками по компетенциям, полученными в ходе Центров Оценки, а также общим оценочным рейтингом (OOP), построенным на основе этих оценок9 [25]. Разработанный инструмент (тест «2Ф») хорошо показал себя в ситуациях оценки персонала без предварительного отсева участников. Значения коэффициентов корреляции Спирмена для показателей по шкале СУЭ с данными OOP в двух проектах Центра Оценки составили: г=0,64 при р<0,05 (для первого исследования с численностью испытуемых N=10) и г=0,46 при р<0,05 ( для второго исследования с N=25). Анализ характеристик взаимосвязей СУЭ и 3-х субшкал (кроме субшкалы «Делегирование») с отдельными компетенциями выявил значимые корреляции этих шкал с показателями компетенции

«Управление исполнением» (владение базовыми управленческими навыками) (г=0,46 при р<0,05 (N=38).

При оценке персонала, проводимой после многоэтапного предварительного отбора участников перед попаданием на Центр Оценки, что проявилось относительно малой численностью выборки очевидно успешных испытуемых (N=19), корреляционный анализ не выявил значимых связей между шкалами теста «2Ф» и успешностью при отборе.

Изучение конструктной валидности осуществлялась посредством поиска наличия / отсутствия связей показателей теста «2Ф» с результатами обследования по профессиональным психологическим тестам, сходным / различным по содержанию измеряемых конструктов. С этой целью применялись профессиональные психологические методики лаборатории «Гуманитарные технологии». В ходе проверки конвергентной валидности была обнаружена значимая связь показателей по субшкалам теста «2Ф» с данными обследования по шкале теста «Индивидуальный деловой стиль-3», наиболее близкого по содержанию и по принципу построения инструмента [6] (табл. 2). Также получены значимые корреляции с показателями по мотивационному опроснику ТИМ (N=140), отражающие направленность деятельности успешных (по данным теста «2Ф») руководителей на работу по заданным шаблонам [1].

При этом не обнаружено связей результатов теста «2Ф» с данными по личностному опроснику ТОП-ЮНИТ, основанному на модели Майерс-Бриггс (N=101) и с показателями по тест-опроснику эмоционального интеллекта 3mIQ (N=43). Результаты корреляционного анализа связей данный исследования по методике «2Ф» с данными по другим тестам и опросникам представлены в табл. 2.

Обсуждение результатов

Результаты оценки показателей надежности-согласованности (значения коэффициента альфа Кронбаха а=0,55 для основной шкалы СУЭ) свидетельствуют, что полученные показатели являются недостаточно высокими по сравнению с типовыми требованиями к тестам [16, с. 140]. Однако для методик типа ТОС этот уровень можно считать приемлемым и в какой-то мере типичным [27, с. ISOMO]. В отличие от личностных опросников, в которых пункты, относящиеся к одной шкале, должны быть содержательно очень близки, а ситуации максимально обобщены и усредне-

Таблица 2

Сводная таблица связей шкал «2Ф» с тест-опросниками

Методика	Шкалы	Ситуац. тестир.	Кол-во респонд.	Инструкт.	Настав.	Вовлеч.	Деле-гир.	Сит. управл. эффективн.
идс	Команда	Общ	90	-0,24*
	Задача	Общ	90	0,18(р=0,09)
	Невмешательство	Оценка	49	-0,3*
	Соц. желательн.	Оценка	49			0,29*		0,29*
	Команда	Клиент	41	-0,4**
	Соц. желательн.	Клиент	41	-0,53**
	Невмешательство	Клиент	41			0,32*
топ-юнит		Общ	101	Связей не обнаружено
ЭмЮ		Общ	43	Связей не обнаружено
ТИМ	Творч. / Независ.	Общ	140		-0,23**
	Познан. / Интерес	Общ	140			0,18*
	Творч. / Независ.	Оценка	70		-0,33**			-0,27*
	Преодолен. / Рост	Клиент	70		0,24*
	Престиж	Клиент	70	-0,22 (р=0,06)
	Взаимоотношения	Клиент	70	-0,31*