Алгоритм верификации результатов выполнения заданий цветоассоциативной психометрической методики

В структуре психологической науки психометрия занимает отведённое ей место [1]. Прикладное значение психометрии состоит в том, чтобы делать доступным для восприятия и осмысления невидимые невооружённым глазом характеристики человека или группы [2].

Теория, лежащая в основе создаваемых методик измерения психологических свойств и качеств человека, насчитывает более сотни лет [3]. К настоящему времени психометри- 100

ку вполне корректно рассматривать в качестве самостоятельного направления психологии [4].

В процессе итеративного поиска наиболее эргономичных для решения тех или иных прикладных задач психологии подходов адаптировались существующие и создавались новые сценарии психометрических измерений, а также совершенствовались методы извлечения знаний из первичных данных психометрического обследования [5]. На этом пути созданы сотни, если не тысячи, всевозможных психометрических методик1. Грамотное и уместное их использование обеспечивает специалиста-психолога большим объёмом целевой информации об особенностях внутреннего мира испытуемого.

Человеческая психика – крайне сложное и во многом неисследованное явление [6]. К тому же психика – это невидимый концепт, абстрактное понятие, смысловое наполнение которого увеличивается и изменяется по мере осмысления экспертным сообществом закономерностей психической жизни человека, ассоциированной с явлениями нейрофизиологического структурно-функционального уровня организации человека. По мере появления нового психометрического и нейрофизиологического инструментария это понимание уточняется [7]. Соответственно, для изучения и осмысления любых сложных «объектов», таких как психика субъекта, инструментарий должен обладать адекватными изучаемому явлению характеристиками: иметь достаточную разрешающую способность и быть ва-лидным2.

Если по отношению к физическим объектам, процессам и (или) явлениям, рассматриваемым на макроуровне, можно подобрать относительно законченные системы понятий для описания и измерений, то по отношению к неощутимым нашими биосенсорными системами концептам подобрать адекватный описательный инструментарий, несмотря на огромное, итеративно пополняемое количество специализированных словарей, в полной мере пока что не удаётся. Каким бы сложным ни был современный психометрический инструментарий, к настоящему времени его сложность не достигла того уровня, который был бы сопоставим с исследуемым предметом. Поэтому не все «тайны» психики получили свою разгадку. А значит, процесс совершенствования психометрического арсенала должен быть продолжен.

Уже более 60 лет среди экспертного сообщества психологов и представителей смежных областей ведётся дискуссия о причинах методологического кризиса2 и о путях его преодоления [6].

Одним из направлений преодоления методологического кризиса в психологии может стать качественно новый уровень построения измерительного инструментария [8, 9]. Или, иначе говоря, построение инструментария, реализующего другие, нежели классические, принципы.

Компьютерная реализация классических психометрических методик (тестов) вполне успешно обеспечивает решение многих прикладных для психологии задач. Однако это происходит только при условии, что испытуемый искренен и адекватен в период выполнения тестовых заданий. Всё меняется, если данное условие не выполняется, какой бы ни была причина этого [10].

При разработке классических психометрических методик упор авторов традиционно делается на статистический аспект: валидность, надёжность, а также целевую информативность и иногда на эргономичность. Вместе с тем в «классическом» подходе при разработке психометрического инструментария по умолчанию допускается ряд предположений. А именно, предполагается, что:

• а)    структура методики (последовательность предъявляемых стимулов, их внешний вид и смысловое наполнение, количество и взаиморасположение отдельных стимулов и др.) всегда одинаково влияет на разных испытуемых или одного и того же испытуемого в разные сессии и вызывает у них сходные реакции;

• б)    предусмотренные автором-разработчиком конкретной методики варианты оценочных меток достаточны для получения правильной обратной связи от испытуемого о его отношении к содержанию предъявленного перечня стимулов;

• в)    воспринимая и осмысляя предъявляемые стимулы, испытуемый понимает и реагирует на них примерно так же, как понимал и реагировал на них автор-разработчик;

• г)    испытуемый достаточно хорошо знает себя, чтобы с приемлемой точностью дать обратную связь через выполнение тестовых заданий по предусмотренному методикой алгоритму выполнения;

• д)    испытуемый искренен при своих ответах-откликах, выполняя элементарное тестовое задание (ЭТЗ), под которым мы понимаем связку: «предъявляемый стимул» и набор оценочных меток, допустимых (предусмотренных методикой) для выражения своего ответа-отклика к этому стимулу , и не имеет ни моти-

• вации, ни навыков введения эксперта, проводящего обследование, в заблуждение.

Эти предположения почти никогда не выполняются вне лабораторных условий, в связи с чем существует квазипарадоксальная ситуация: психометрических методик – превеликое множество; многие из них позиционируются как валидные и надёжные; с их помощью проводится много исследований, результатами которых выступают в том числе нормативные значения, полученные для определенной выборки. Но попытка дать оценку конкретному испытуемому и спрогнозировать его поведение приводит к тому, что и даваемая оценка, и основывающиеся на ней прогнозы по информативности напоминают случайное угадывание.

В настоящей публикации акцент сделан на проблеме выявления атипичного и (или) некооперативного поведения испытуемого при выполнении им тестовых заданий [11].

Практическая значимость решения проблемы автоматической проверки результатов выполнения тестовых заданий на их правдивость заключается в том, что демонстрация испытуемым аномального тестового поведения часто связана с мотивом представить себя обществу не тем, кем испытуемый является в действительности, и получить за счёт этого доступ к ресурсам (и возможностям), которые могут быть и не заслужены им [12].

Целью исследования явилась практическая апробация информативности и эргономичности ПАК «Видеоцветомер» (рабочее название), в составе специализированного программного обеспечения (СПО) которого есть экспериментальные программные модули выявления аномального (некооперативного, атипичного и других типов) поведения испытуемого.

Материалы и методы

В качестве испытуемых на основе добровольного информированного согласия привлекались выпускники средне-специальных или высших учебных заведений и начинающие специалисты (стаж до одного года) обоих полов, устраивающиеся или работающие на менеджерских должностях и имеющие штат подчинённых. Общее количество испытуемых ( N ) составило 50 человек. Средний возраст – (26 ± 2) года.

В качестве психо(физио)метрического инструментария использовался ПАК «Видеоцве-томер», являющийся продуктом объединения

ПАК «Цветомер» – программной реализации одноимённой методики цветостимульного ассоциирования [13, 14] и аппаратно-программного комплекса биометрической видеоаналитики «GazePoint HD3» [15].

В соответствии с разработанным сценарием обследования каждый испытуемый присаживался за монитор компьютера (ПК). В течение 30 с проводилась калибровка направлений его взгляда по областям дисплея в соответствии с требованиями по использованию АПК «GazePoint HD3». После чего на дисплей ПК выводилась специально подобранная последовательность вербальных (см. таблицу (2 и 3 столбцы)) и целевых (вербально-графических) стимулов. Средняя длительность выполнения субтеста стандартного примера тестовых заданий (СПТЗ) составляла (180 ± 40 с).

Процедура выполнения испытуемым тестовых заданий методики «Цветомер» с использованием АПК «GazePoint HD3» продемонстрирована в источнике [16].

Задание испытуемым состояло в том, чтобы выполнять цветостимульные ассоциации на основе «внутреннего» ощущения наличия связи между предъявляемым стимулом (всеми переживаниями и мыслями, возбуждаемыми восприятием, осмыслением предъявленного стимула) и тонами цветовых оценочных меток (рис. 1).

В соответствии с дизайном методики «Цветомер» каждый предъявляемый стимул нужно связывать (ассоциировать) с двумя цветовыми метками из восьми имеющихся. Допускался вариант использования метки одного и того же цветового тона дважды (например, «синий» + «синий», «зелёный» + «зелёный» и т. п.). Пара использованных для реализации цветостимульной ассоциации цветовых оценочных меток в рамках методики «Цветомер» называется «цветопарой».

Всю тестовую сессию параллельно с выполнением испытуемыми цветостимульных ассоциаций в фоновом неотвлекающем режиме проводили биометрический видеомониторинг их «глазного поведения».

Результаты и их обсуждение

Если рассматривать процедуру цветостимульного ассоциирования с позиции нейросенсорного обеспечения, то её можно назвать сложной сенсорно-когнитивно-аффективномоторной реакцией.

Вербальные стимулы калибровочного субтеста методики «Цветомер» в соответствии со значениями индекса цветопары

Verbal stimuli of the trial Tsvetomer subtest with respect to the color pair (CP) index

Диапазоны нормативных значений ИЦ, у. е. Reference values, c. u.	Антонимичные пары вербальных стимулов Antonymic pairs of verbal stimuli		Диапазоны нормативных значений ИЦ, у. е. Reference values, c.u.
	Понятия позитивного семантического поля Concepts with positive semantics	Понятия негативного семантического поля Concepts with negative semantics
0,55– 0,88 –1,00	Свет / Light	Тьма / Darkness	0,08– 0,13 –0,14
0,70– 0,84 –1,00	Добро / Good	Зло / Evil	0,08– 0,12 –0,27
0,78– 0,91 –1,00	Радость / Joy	Горе / Grief	0,08– 0,20 –0,44
0,74– 0,84 –0,97	Жизнь / Life	Смерть / Death	0,08– 0,12 –0,33
0,55– 0,91 –0,99	Победа / Victory	Поражение / Defeat	0,08– 0,26 –0,54
0,15– 0,55 –0,97	Ангелы / Angels	Бесы / Demons	0,08– 0,19 –0,51
0,52– 0,85 –1,00	Тепло / Warm	Холод / Cold	0,38– 0,46 –0,60
0,51– 0,83 –0,99	Хорошо / Well-being	Плохо / Ill-being	0,08– 0,18 –0,44
0,70– 0,81 –0,98	Мир / Peace	Война / War	0,08– 0,17 –0,44
0,56– 0,89 –1,00	Любовь / Love	Ненависть / Hatred	0,08– 0,27 –0,71
0,64– 0,82 –0,99	Здоровье / Health	Болезнь / Ill	0,09– 0,27 –0,52
0,78– 0,90 –0,99	Позитив / Positive	Негатив / Negative	0,08– 0,16 –0,33
0,84– 0,94 –1,00	Солнце / Sun	Специальный контрольно-проверочный стимул Special control stimulus
Значение ИЦ для слов-понятий с положительно воспринимаемыми и переживаемыми содержаниями CP for concepts with positive semantics		Значение ИЦ для слов-понятий с отрицательно воспринимаемыми и переживаемыми содержаниями CP for concepts with negative semantics
0,55– 0,81 –0,94		0,12– 0,29 –0,46
	Значение ИЦ для слов-понятий, воспринимаемых и переживаемых как нейтральные CP for concepts with neutral semantics
	0,47– 0,50 –0,54

Примечание. Стандартный пример тестовых (цветоассоциативных) заданий технически реализуется методологией онтологического моделирования [18].

Note . The standard example of test tasks is based on ontological modeling [18].

Рис. 1. Главное рабочее окно программы АПК «Цветомер» (вариант реализации: «Вебцветомер» [14]. Вид на дисплее мобильного гаджета) Fig. 1. Main window of the Tsvetomer software (“Vebtsvetomer” [14]. Portable device version)

Рис. 2. Вариант метаинформации стимула, описывающей контекстные условия Fig. 2. A variant of stimulus meta-information that describe contextual conditions

В данной процедуре регистрируются: явные параметры:

• –    индекс цветопары ( ИЦ ) – числовое значение в диапазоне от 0,08 до 1,00 (у.е.)³, коррелирующее с модальностью («хорошее» – «нейтральное» – «плохое») и интенсивностью («выражено» – «не выражено») отношения испытуемого к стимулу (и всему, что этот стимул актуализирует в сознании и переживаниях испытуемого);

• –    время выполнения ЭТЗ, t₃ (мс) – временнóй интервал от появления очередного стимула до клика испытуемого по второй оце-

• ночной метке, выбранной цветопары, t3 = t1 + t2, где t1 (мс) – временнóй интервал от появления стимула до клика по первой оценочной метке); t2 (мс) – временнóй интервал между кликами по первой и второй меткам.

Время цветостимульного ассоциирования информативно относительно оценки скорости «соображения» испытуемого, а также ряда других психофизиологических характеристик [17];

неявные (скрытые) параметры:

– метаинформация, связанная с предъявляемым стимулом. Это итеративный набор параметров, приписываемый экспертом каждому стимулу при подготовке обследования (рис. 2).

Цветовербальные ассоциации русскоязычных практически здоровых (в медицинском аспекте) и психологически благополучных ис- пытуемых на слова-стимулы СПТЗ носят достаточно устойчивый характер. Например, вербальные стимулы «Солнце», «Свет», «Добро», «Радость» и др. обычно ассоциируются с цве-топарами: «красно-оранжевый» + «лимонножёлтый» или «лимонно-жёлтый» + «краснооранжевый», или «красно-оранжевый» дважды, или «лимонно-жёлтый» дважды, «малиновый» в сочетании с вышеупомянутыми цветами. Редко среди выполненных ассоциаций встречались ахроматические и «негативные» цвета, что в рамках методики «Цветомер» интерпретируется как признаки аномального выбора (поведения).

Аналогично такие вербальные стимулы, как «Тьма», «Смерть», «Зло» и др. не менее чем у 80 % испытуемых всей выборки устойчиво ассоциируются цветопарами: «чёрный» дважды, «чёрный» + «тёмно-коричневый», «тёмно-коричневый» + «чёрный» и др. Отклонение от такой закономерности для этой группы антонимов СПТЗ также рассматривается как аномальное тестовое поведение.

На рис. 3 представлен характерный для вышеописанных выборок контур значений ИЦ на вербальные стимулы СПТЗ.

Результаты выполнения конкретным испытуемым цветовербальных ассоциаций субтеста СПТЗ принимаются в качестве калибровочных значений (критериев оценки) для данной сессии. Они показывают, какими цветопарами испытуемый обозначает понятия с хорошо известной ему позитивной, эмоционально нейтральной и негативной семантикой (и экспрессией).

Также в этих результатах содержится темпометрическая информация о данном испытуемом в течение данной сессии - сколько времени ему (ей) нужно было для того, чтобы сенсорно воспринять стимул, актуализировать в фокусе своего внимания его смысловое наполнение (семантику), осознать возникающие в сознании (мыслях) связи между семантикой и внешними формами (экспрессией) предъявленного стимула и цветовыми тонами оценочных меток (цветопарой), принять решение о конечном варианте цветостимульного ассоциирования и реализовать его кликами.

По первому условию обследования испытуемому не было смысла фальсифицировать цветовербальные ассоциации при выполнении СПТЗ.

Но если по какой-либо причине он это сделал бы, то сверка его ответов-откликов и реакций с групповой метрикой выявила бы факт атипичного (аномального) и (или) некооперативного тестового поведения. А программное обеспечение ПАК «Видеоцветомер» фиксирует числовую матрицу реагирования этого испытуемого в данную сессию и, автоматически сравнивая с матрицей параметров СПТЗ, полученной на выборке, информирует эксперта о типе и месте выявленной аномалии.

Рис. 3. Цветосемантический дифференциал отношения испытуемых к вербальным стимулам СПТЗ ( N = 50)

Fig. 3. Color-semantic differential of subjects’ attitude to verbal stimuli ( N = 50)

На последующих – целевых – этапах обследования испытуемому предъявлялись стимулы с заранее экспертно описанной семантикой (см. рис. 2), с обозначением ожидаемых вариантов цветостимульных ассоциаций и с их ориентировочной интерпретацией. Испытуемый выбираемыми цветопарами проецировал содержание своего сознания, актуали- зировавшееся в связи с восприятием предъявленных стимулов, и выражал его ассоциациями.

При этом параметры, получаемые по объективным каналам – «темпометрическому почерку» (рис. 4) и «глазному поведению» (рис. 5), использовались для индикации аномалий в тестовом поведении.

скорость

Последовательность предъявляемых стимулов

Рис. 4. «Темпоральный почерк» испытуемого при выполнении цветостимульных ассоциаций при противоположных установках: «правда» – искренность и «ложь» – намеренная фальсификация в виде «бездумных кликов»

Fig. 4. Temporal features of opposite attitudes: sincere answers and intentionally false answers with multiple clicks

Рис. 5а. АПК «GazePoint HD3» (этап калибровки «глазного поведения»)

Fig. 5a. The GazePoint HD3 system (calibrating the eye movement tracker)

Рис. 5б. Главное рабочее окно ПАК «Цветомер» (в составе ПАК «Видеоцветомер») Fig. 5б. Main window of the Tsvetomer software (Tsvetomer system)

Рис. 6. «Тепловые карты», полученные при помощи приложения MATLAB в результате обработки полученных числовых значений с ай-трекера GazePoint HD 3

Fig. 6. Temperature maps performed with the MATLAB application based on the data obtained from the GazePoint HD 3 eye tracker

Мониторинг «глазного поведения» осуществлялся методом биометрической видеоаналитики – методом «ай-гейз-трекинга». «Глазное поведение» разных испытуемых – это динамика перемещений и фиксаций взгляда на разных областях монитора. Оно имеет сложную конфигурацию, но во всех случаях без предварительной тренировки невозможно подделать контур перемещения взгляда так, чтобы это не обнаруживалось бы алгоритмами выявления аномалий в динамике регистрируемых параметров.

Таким образом, объединение цветоасо-оциативной психо(физио)метрической методики «Цветомер» с видеоокулографией обеспечивает перекрёстную верификацию выполняемых ответов-откликов испытуемого.

На видеоролике4 представлен вариант кооперативного тестового поведения; на другом видеоролике5 – намеренная, осознаваемая фальсификация ответов-откликов.

На рис. 6 представлены результаты статистической обработки «глазных параметров», имевших место в сессиях с двумя вариантами (установками) выполнения заданий СПТЗ.

На левой части рис. 6 визуализированы параметры «кооперативного тестового поведения», полученные путём программной обработки видеозаписи4, а на правой – «глазное поведение при фальсификации», обработка видеоматериалов источника5.

Данными, представленными на рис. 6, демонстрируется, что, во-первых, при искренних откликах испытуемого происходит чёткая дифференциация областей фокусировки взгляда на той или иной группе оценочных меток. Когда же испытуемый вынужден сознательно фальсифицировать свои отклики, он дольше по времени смотрит на метки, а его взгляд «рассеивается» по ним. Во-вторых, испытуемый большую часть времени смотрит на стимул в случае своих искренних ответов, в то время как в случае сознательной фальсификации он больше времени затрачивает на перебор оценочных меток. В этом случае ему приходится сперва определиться, какую реальную цветопару он бы выбрал, а потом нужно подобрать цветопару, посредством которой он реализует свою намеренную фальсификацию. Причём такой выбор ещё нужно запомнить, чтобы не быть уличённым в фальсификации, выполняя дру- гие ЭТЗ. В-третьих, «ай-гейз-трекинг» позволяет определять, какими оценочными метками испытуемый предпочитает пользоваться при ассоциировании их со стимулами, имеющими положительную или отрицательную семантику (и экспрессию).

Заключение

В публикации обозначена проблема слабой представленности механизмов верификации результатов выполнения тестовых зада- ний в психометрических (психологических) методиках. Представлены подход и реализующий его инструментарий, призванные для решения проблемы верификации ответов-откликов испытуемых. Решение состоит в объединении цветостимульной процедуры и видеоокулографии. Показано, что программная обработка комплекса параметров позволяет не только получить целевую информацию от и об испытуемом, но и верифицировать его ответы-отклики.