Подходы реализации психометрической проверки методики при проведении оценки человеческих ресурсов организации

A.S. Shcherbakov1, , V.A. Kabanov2, ,

Развитие современных информационных систем как ответная реакция на усложнение производственных процессов и становлении индустрии 4.0 [5, с. 83; 7, с. 1] всё активнее способствует увеличению требований к структуре человеческих ресурсов, которые представлены: физиологическими способностями, когнитивными знаниями и навыками (hard skills), социально-эмоциональными особенностями поведения (некогнитивные, soft-skills) [13; 17].

Следовательно, актуальность настоящего исследования обусловлена возрастанием важности планирования, контроля и оценки человеческих ресурсов, которые в настоящее время уже общепризнано выступают главной ценностью организации [1, с. 54; 10, с. 127; 14, с. 48]. Такая оценка невозможна без использования надежных и валидных методик.

В рамках данной работы основной акцент будет сделан на формировании классификации подходов психометрической проверки анкетирования при проведении оценки человеческих ресурсов, что является целью данного исследования. Раскрытие данной тематики позволит увеличить релевантность собираемых качественных и количественных данных о структуре человеческих ресурсов, что будет способствовать увеличению эффективности управления человеческими ресурсами и устойчивости формирования гудвилла организации.

Цель исследования заключается в формировании классификации подходов психометрической проверки анкетирования при проведении оценки человеческих ресурсов.

Поставлены следующие задачи исследования:

• 1.    Проанализировать зарубежную и отечественную литературу в области проведения анкетирования при оценке человеческих ресурсов.

• 2.    Выявить и описать подходы психометрической проверки методики при оценке человеческих ресурсов.

• 3.    Предложить графическую модель позволяющую визуализировать классификацию подходов психометрической проверки методики при проведении оценки человеческих ресурсов.

Гипотеза исследования: в современных динамично меняющихся условиях реализацию психометрической проверки методики при проведении оценки человеческих ресурсов организации более эффективно определять традиционным подходом, основанным на оценке ретестовой надежности с использованием непараметрических критериев оценки достоверности различий эмпирических данных.

Теория и методология

Методологическую основу исследования составили исследования в области оценки человеческих ресурсов и капитала [12–14; 17], работы специалистов о использовании анкетирования при проведении оценки [1; 9; 15], математические методы оценки надежности анкеты [2; 3; 4; 11; 18].

Основа понятийного аппарата данного исследования представлена, в большей степени, категориями: человеческие ресурсы, физиологические способности, когнитивные знания и навыки, социально-эмоциональные особенности поведения, надёжность опросника (анкеты). В работе были использованы такие научные методы, как индукция, дедукция, анализ, синтез, математический. Для визуализации подходов анкетирования при проведении оценки человеческих ресурсов использовался частно-научный метод моделирования, представленный графической моделью.

По мнению отечественных и зарубежных исследователей сотрудники должны обладать знаниями и навыками, которые будут постоянно и прогрессивно совершенствовать их, чтобы соответствовать ожиданиям и целям организации [16, с. 8], а эффективное отслеживание навыков возможно только с помощью баз данных, системы управления персоналом и хранения данных [19, с. 137]. В то же время исследователи отмечают, что информационные технологии большинства предприятий являются отсталыми [18, c. 3], что повышает интерес к данной области исследования не только научных организаций, но и государства и бизнеса.

Технологичное управление человеческими ресурсами с учётом физиологических способностей, когнитивных знаний и навыков, социальноэмоциональных особенностей поведения основано из потребностей экономических субъектов в: оптимизации процессов управления человеческими ресурсами и сокращении административного бремени, более эффективному привлечению профессиональных и талантливых сотрудников; улучшению обслуживания и доступа к данным для сотрудников и менеджеров; предоставлении показателей в режиме реального времени, позволяющее лицам, принимающим решения, выявлять тенденции и более эффективно управлять человеческими ресурсами и человеческим капиталом [15].

Для того чтобы осуществить технологичное управление человеческими ресурсами, необходимо провести оцифровку качественных и количественных данных о человеческих ресурсах, что возможно сделать благодаря проведению анкетирования [9; 12; 15, с. 21; 18, с. 4]. Прежде чем провести анкетирование, исследователи чаще всего выполняют два этапа.

Первый этап. Определение вида данных, которые будут использованы в анкете (опроснике). Эти данные могут быть объективными и субъективными [4, с. 306], поддающимися валидизации и не поддающимися [18, с. 4], натуральными или синтетическими (интегральными) [13, с. 89]. При этом под объективными данными понимается такая совокупность информации, которая измерима единственно возможным способом и не может иметь иных форм и значений при использовании иного метода измерения (например, количество отработанных сотрудником часов измеряется с помощью хронометра и отражается в табеле учета рабочего времени – объективный показатель, не имеющий альтернативного выражения).

Под поддающимися валидизации понимается такая совокупность измерителей и шкал, которую можно соотнести по характеру конструкта с аналогичными методиками (полностью или частично), которые уже прошли процедуру стандартизации. В данном случае речь идет о перекрестной валидности, как, например, происходит с новыми тестами интеллекта, валидность которых проверяется корреляцией параметров измерения с предшествующими методиками измерения.

Под натуральными данными понимаются величины, благодаря которым возможно описать какой-либо объект напрямую посредством взвешивания, измерения, пересчета. Интегральные данные – это величины, благодаря которым возможно описать какой-либо объект опосредованно, через сопоставление нескольких натуральных величин [12].

Второй этап. Оценка анкеты на надежность и валидность. Надёжность позволяет определить постоянство результатов исследования во времени. На уровне анкетирования наиболее рациональной будет оценка ретестовой надежности (test-retest reliability). Валидность позволяет определить соответствие получаемых в ходе измерения результатов заявленному конструкту, то есть гарантия того, что исследователь измеряет именно тот конст- рукт, который указан как целевой. Современные исследователи отмечают, что сначала проверяется надежность опросника с использованием коэффициента Кронбаха. Валидность опросника измеряется критерием Бартлетта [18, с. 4].

Таким образом, авторы пришли к выводу, что современное анкетирование, проводимое при оценке человеческих ресурсов, не должно уступать по серьезности и научности получаемых выводов специально подготовленным тестам [6] и опросникам с высокими значениями психометрических показателей. Чем тщательнее исследователи подходят к процедуре стандартизации методик, тем большее доверие вызывают полученные с помощью них результаты, а полученные результаты могут считаться релевантными.

Существует несколько методов измерения ретестовой надежности, в данном случае авторы выбирали из двух схем: использование коэффициента интеркорреляции К. Пирсона [8, с. 273] между двумя замерами с интервалом в 6 месяцев, либо использование непараметрического критерия оценки достоверности различий эмпирических данных с интервалом в 3 месяца. Учитывая сферу научного интереса, авторы остановили свой выбор на трехмесячном интервале по причине того, что подвижность и динамичность организационных процессов очень велика. Для оценки достоверности различий авторами использовался U-критерий Манна-Уитни [2, с. 70].

Результаты

Проведённый анализ отечественной [1–4; 6; 8; 9; 11–13] и зарубежной литературы [15; 16; 18; 19] позволил выявить два наиболее значимых подхода к реализации психометрической проверки методики анкетирования при проведении оценки человеческих ресурсов организации.

Первый подход – интегральный. Он основан на определении перекрестной валидности. Его использование возможно, если результаты анкетирования можно соотнести по характеру конструкта с аналогичными методиками, которые уже прошли процедуру стандартизации. Следовательно, при оценке новой методики, основанной на инновационных показателях, применение данного подхода невозможно.

Второй подход – традиционный. Подход основан на оценке ретестовой надежности с использованием непараметрических критериев оценки достоверности различий эмпирических данных. Для его применения не требуется сопоставление с аналогичными методиками, а исследованию подвергается только предложенная методика в различные временные отрезки. Следовательно, при оценке новой методики, основанной на инновационных показателях, применение данного подхода является возможным.

В качестве реального эмпирического примера реализации процедур психометрического анализа авторами представлен фрагмент оценки внутренней ретестовой надежности опросника (анкеты) из комплексной модели оценки человеческих ресурсов, ранее предложенной А. С. Щербаковым [12; 13]. В структуре данной методики есть часть объективно измеряемых показателей, а также интегральные шкалы, рассчитывающиеся по авторским формулам, сопоставление которых невозможно с аналогичными методиками: «уровень здоровья сотрудника», «качество образования», «эффективность и результативность деятельности», «экономическая эффективность труда», «уровень лояльности», «информационная грамотность».

Так как сопоставление интегральных шкал из комплексной модели оценки человеческих ресурсов невозможно (по причине отсутствия аналогичных комплексных опросников, анализирующих человеческие ресурсы на микроуровне), авторы склоняются к использованию традиционного подхода (второго) к реализации психометрической проверки методики анкетирования при проведении оценки человеческих ресурсов организации с трёхмесячным интервалом до повторного анкетирования. Для оценки достоверности различий авторами использован U-критерий Манна-Уитни [2]. Измерения проводились на базе пилотной организации ГУП ВО «ДСУ-3», г. Владимир. В данной организации в этот период не велось формирующей работы с персоналом основного исследования. В оценке использовались данные анкетирования восьми сотрудников (n = 8) по нескольким измерениям, оценка достоверности различий эмпирических данных с использованием непараметрического U-критерия Манна-Уитни возможна, согласно таблицам критических значений, начиная с величины выборки в количестве 6 испытуемых [11].

В таблице показаны результаты первого и контрольного замеров по интересующим параметрам, а также итоги оценки достоверности различий эмпирических данных. Uэмп. рассчитывалось в программе Microsoft Excel с помощью объединения эмпирических значений выборки испытуемых при первом и повторном замерах, с последующим ранжированием и перегруппировкой данных по стандартной методике Манна-Уитни [11].

При этом U-эмпирическое рассчитывалось по формуле:

U эмп. = n ! ∙ n₂+ n_x ∙( ^ ⁾ -Т к , (1) где U эмп. – эмпирическое значение U-критерия Манна-Уитни; n 1 – количество испытуемых в выборке 1; n2 – количество испытуемых в выборке 2; Tl_x – количество испытуемых в группе с большей суммой рангов; Т_x – большая из двух ранговых сумм; 1 и 2 – постоянные величины в формуле.

Ориентируясь на данные, показанные в таблице, а также на критические значения на рис. 1, можно заключить, что ни по одной из шести шкал

Результаты оценки ретестовой надежности шкал методики «Анкета модели оценки специальных человеческих ресурсов»

№	Шкала	Первый замер (среднее по выборке)	Повторный замер (через 3 месяца) (среднее по выборке)	U эмпирическое	Уровень достоверности различий
1	Уровень здоровья сотрудника	0,58	0,56	26	Не значимо
2	Качество образования	0,54	0,59	36	Не значимо
3	Эффективность и результативность деятельности	2,73	2,68	45	Не значимо
4	Экономическая эффективность труда	0,76	0,76	35	Не значимо
5	Уровень лояльности	0,98	0,99	25	Не значимо
6	Информационная грамотность	1,13	1,15	33	Не значимо

Источник: составлено авторами методики не показано достоверных различий эмпирических данных при сравнении двух замеров показателей с интервалом в 3 месяца.

Достоверные различия эмпирических данных определяются определенным статистическим выводом, который следует из анализа распределения значений в выборке между измерениями признака. В данном исследовании целевое состояние – выявление недостоверных различий признака при первом и повторном замере показателя – это свидетельствует о стабильности и неизменности результатов с течением времени. Критические значения U-критерия Манна-Уитни, при n1 = 8 и n2 = 8, описываются формулой [11, с. 49]:

13 (р ≤ 0,05)

^Uкр ⁼   7 (р ≤ 0,01)

где U кр. – критические значения U-критерия Манна-Уитни, определенные в соответствии с таблицами критических значений [11, с. 315].

Критические значения необходимы для того, чтобы определить пороговые величины, отделяющие диапазоны статистической значимости при анализе достоверности различий эмпирических данных. Следовательно, ось значимости, изображенная на рис. 1, позволяет визуализировать три диапазона устанавливаемой значимости различий:

высокая степень достоверности (!), средняя степень достоверности (?) и степень недостоверности различий (–).

Исходя из вышеперечисленной информации, можно сделать вывод, что показатель ретестовой надежности методики А.С. Щербакова «Анкета модели оценки специальных человеческих ресурсов» – высокий, а результаты, получаемые во временном интервале, устойчивы и неизменны.

Применение традиционного подхода психометрической проверки методики при проведении оценки человеческих ресурсов позволило получить данные, позволяющие оценить надёжность анкеты и стабильность получаемых на её основе результатов при невозможности использования интегрального подхода.

Выявленные подходы психометрической проверки методики авторы классифицировали в виде графической модели (рис. 2).

Согласно предложенной авторами графической модели возможно определить, что были установлены два наиболее значительных подхода, влияющих на реализацию психометрической проверки методики при оценке человеческих ресурсов.

Рис. 1. Критические значения U-критерия Манна-Уитни при n = 8

Источник: составлено авторами на основе [11, с. 49]

Подходы психометрической проверки методики при проведении оценки человеческих ресурсов

Интегральный подход к определению перекрестной валидности

Традиционный подход к оценке ретестовой надежности с использованием иепараметрических критериев оценки достоверности различий

Признак можно соотнести по характеру конструкта с аналогичными методиками, которые уже прошли процедуру стандартизации

Признак

Нельзя соотнести по характеру конструкта с аналогичными методиками в связи с их отсутствием

Рис. 2. Классификация подходов психометрической проверки методики при проведении оценки человеческих ресурсов организации и их признаки

Источник: составлено авторами

Интегральный подход характерен тем, что при оценке человеческих ресурсов может возникать ситуация, в которой отсутствует объективная возможность измерить уровень перекрестной валидности из-за невозможности сравнения методики с аналогичными (их нет), а также из-за обилия объективных показателей методики, которые измеряются единственным фактическим методом учета.

Традиционный подход характерен тем, что при отсутствии аналогичных методик возможно провести внутреннее исследование методики оценки человеческих ресурсов (например, согласно ретестовой надёжности). В современных условиях, когда динамически меняются требования и условия функционирования систем, а инновационность является главным условием конкурентоспособности и успеха, наиболее оптимальным способом психометрической проверки анкеты является установление ретестовой надежности методики оценки с помощью сравнения замеров (с интервалом в три месяца) с использованием непараметрических критериев оценки достоверности различий эмпирических данных.

Обсуждения и выводы

В рамках проведённого прикладного исследования были выполнены все поставленные задачи и достигнута цель, которая заключалась в формировании классификации подходов психометрической проверки анкетирования при проведении оценки человеческих ресурсов. Авторам удалось выделить два подхода психометрической проверки методики при оценке человеческих ресурсов, что обусловлено спецификой измеряемого конструкта, обилием объективных показателей в измерении, уникальностью эмпирического материала, а также целесообразностью повторного измерения данных в отсутствии внешнего формирующего воздействия. Отличие полученных в статье результатов от имеющихся в научно-практической литературе состоит в том, что исследование психометрических параметров применено к области оценки человеческих ресурсов, благодаря чему сформирована классификация подходов, которая обладает научной новизной.

Учет выявленной классификации подходов позволит увеличить качество проведения оценки человеческих ресурсов посредством проведения анкетирования, что положительно скажется на скорости, правильности принятия управленческих решений в области управления человеческими ресурсами и будет способствовать увеличению гудвилла организации. Авторы видят возможным дальнейшие исследования по данной теме с углублением эмпирического материала, а также проведение оценки ретестовой надежности методики А.С. Щербакова с участием контрольной и экспериментальной групп с использованием большего интервала времени.