Обзор моделей IRT для тестирования сотрудников предприятия

Каждая компания стремится быть лучшей среди своих конкурентов. Поддержание хорошей репутации может быть достигнуто благодаря высококвалифицированным сотрудникам и грамотным руководителям, которые с каждым днем преподносят свой вклад в развитие фирмы. Каждый Team Lead проекта и менеджер по подбору персонала понимает, что процесс отбора кандидата достаточно обширен и сложен. Кроме всего прочего, при оценке рядового или при отборе нового сотрудника необходимо исключать человеческий фактор, связанный с личным отношением к тому или иному соискателю. Поэтому одним из важных аспектов при определении подготовленности испытуемого в той или иной отрасли является проведение профессионального тестирования персонала, - форма оценки квалификации сотрудников компании, при которой уровень их подготовки определяется по результатам анализа ответов на заранее подготовленные тематические вопросы[1].

Большинство фирм предпочитает проводить устные опросы, касающиеся квалификации и профессиональных знаний в определенной отрасли. Важной особенностью данного тестирования является отсутствие испытуемым возможности получить стороннюю помощь при ответах на заданные вопросы. Однако такая методика обладает существенными недостатками: данное тестирование занимает много времени, особенно если необходимо провести опрос нескольких сотрудников, а также возможен человеческий фактор – ситуация, при которой лицо, проводящее тестирование, будет преследовать личные цели и опираться на свое внутреннее отношение к испытуемому.

Следующим распространенным методом является письменное анкетирование. Такой вид тестирования сокращает время его проведения, так как его могут проходить сразу несколько человек. Однако руководителю понадобится больше ресурсов на обработку результатов.

Вышеуказанные методы обладают существенными недостатками. Поэтому возникает необходимость в применении систем автоматизированного тестирования, построенных на математических моделях Item Response Theory[2] – теории, основанной на оценке вероятности успешного ответа испытуемых на задания различной сложности. В таких моделях производится анализ не суммы балов испытуемого, а баллов, которые были получены по каждому заданию. Интересующее свойство личности, достигаемое аксиомами измерений, характеризуется следующим образом:

• -    существует в латентном состоянии;

• -    обладает устойчивостью;

• -    имеется у данных испытуемых в каком-либо количестве;

• -    измеряемо.

IRT обеспечивает решение трех ключевых задач тестирования:

• -    Найти параметры заданий;

• -    Найти параметры испытуемых;

• -    Подобрать функцию:

P j (e-) = f(e - Sj),                                                     (1.1)

где 9 - значение исследуемой латентной переменной,  Sj - уровень трудности j-го задания.

Однако не каждая модель способна должным образом справиться с поставленными задачами, в связи с чем возникает проблема выбора системы тестирования, основанной на том или ином методе.

При рассмотрении систем тестирования важно найти точное аналитическое решение функции P j (0} = f(6 — S j ) с помощью одного из методов теории латентных переменных.

Теория нечётких множеств успешно применяется при решении многих экспертных задач. Использование систем тестирования персонала, основанных на теории нечётких множеств, позволяет проводить контроль и оценку знаний сотрудников так, как если бы это делал опытный руководитель, вместе с тем оставляя такое важное преимущество, как объективность оценки.

Однако рассуждения нечеткими понятиями, естественный язык, заключения в нечетких терминах, которыми пользуется человек, значительно затрудняют применение компьютера для снятия рутинной нагрузки с человека в данном случае. Такие рассуждения далеки от классической логики и основываются на логике с нечеткими значениями истинности, с нечеткими связками и нечеткими правилами вывода[3]. Ко всему прочему данный метод не дает решения функции (1.1).

Довольно часто в теории тестирования применяется двухпараметрическая модель Бирнбаума, основанная на той же функции (1.1), в которую добавлен коэффициент дискриминации задания d, позволяющий охарактеризовать способность задания измерять уровень подготовленности испытуемого, т.е. другими словами, параметр d является качеством задания[4]:

ру(0) =/(«К» - Ф)) (1.2)

В этой модели первичные баллы не являются достаточными статистиками, т.е. соискатели, прошедшие один и тот же тест, получат разные оценки. Тестовый балл зависит не только от количества правильных ответов, но и от того, какие именно задания решил испытуемый. Отсюда получим, что оценка испытуемого будет определяться первичным баллом, взвешенным по качеству решенных заданий, определяемому их коэффициентами дискриминации. Однако сложность вопросов, решенных в тесте, в рамках модели Бирнбаума не влияет на тестовый балл, а также не учтены такие важные факторы, как внимательность испытуемых и уровень их подготовленности для занимаемой ими должности[4].

В главный смысл IRT положено предположение о существовании некой функциональной связи между полученными результатами тестирования и латентными параметрами испытуемых. Независимо от того, что именно скрытые качества участников тестирования приводят к наблюдаемым результатам, на практике ставится обратная задача.

Датский математик Георг Раш предложил наиболее удачную модель решения поставленной задачи, которая получила название Rasch measurement.

Модель Раша, в основе которой лежит статистическая обработка полученных результатов проведения тестирования, характеризуется важными достоинствами. Следует отметить некоторые из них.

Данная модель позволяет преобразовывать измерения, проведенные в дихотомических и порядковых шкалах в измерения линейные, - это позволяет анализировать качественные данные с помощью линейных методов. В связи с этим расширяется спектр статистических процедур.

Следующей особенностью можно считать независимость оценки трудности тестовых заданий от выборки членов группы испытуемых. Отсюда можно сделать вывод, что оценка уровня знаний испытуемых не зависит от трудности заданий теста. Ко всему прочему модель Раша обладает наименьшим числом параметров: уровень знаний конкретного испытуемого трудность конкретного задания характеризуется только одним параметром каждый.

Основными понятиями модели являются «трудность тестового задания» и «уровень подготовленности испытуемого». Одно задание будет считаться наиболее трудным в отличие от другого, если вероятность правильного ответа на первое задание меньше, чем на второе, вне зависимости от того, кто выполняет. Также испытуемый, имеющий более высокую подготовку, обладает большей вероятностью корректно ответить на все задания в отличие от менее подготовленного.

В связи с тем, что структура модели достаточно проста, можно воспользоваться существующими удобными вычислительными процедурами проверки адекватности модели. Например, для всего набора тестовых результатов, для конкретного испытуемого и для каждого ответа.

С учетом вышесказанных достоинств можно сделать вывод, что при проектировании систем тестирования сотрудников предприятий будет оптимальным и достаточным использование модели Раша.