Создание адаптивного теста интеллекта на основе апробированного тестового материала

Как отмечают А. Анастази и С. Урбина [3], определенным ограничением традиционного психологического тестирования является его недостаточная гибкость, поскольку каждый обследуемый тестируется одинаково по всем заданиям, хотя процесс тестирования может быть организован более эффективно, если каждый испытуемый сосредоточит свои силы на заданиях, соответствующих его уровню способностей. Указанные авторы также полагают, что подобная процедура могла бы помочь избежать скуки при выполнении слишком легких заданий, а также способствовала бы снятию фрустрации при попытке выполнить задания, превышающие по сложности уровень способностей индивидуума. Кроме того, процедура быстрого приспособления сложности предъявляемых заданий к индивидуальным возможностям обследуемого может значительно сократить диагностически необходимое их количество и соответственно время обследования.

Обычно тестирование, при котором происходит приспособление набора заданий к характеристикам ответов испытуемого, именуется адаптивным, или индивидуальноориентированным. Некоторое преимущество для внедрения такого тестирования имеет когнитивная сфера (интеллект, способности, достижения), поскольку здесь возможна достаточно осмысленная градуировка заданий по их сложности. Процедурно адаптивное тестирование подразделяют на три варианта [1, 2]. В первом из них, «пирамидальном», все испытуемые начинают с задания средней трудности, и если ответ на это задание верен, то предлагается следующее по порядку трудности задание, а если неверен - предыдущее по трудности, и так после каждого ответа. (Все задания последовательно упорядочены по трудности).

Второй вариант называется «гибким» -тестирование начинается с любого подходящего (например, заведомо заниженного) уровня трудности, и в случае успешного ответа происходит значительный скачок по шкале трудности вверх, и обратно - в случае последующего неуспешного ответа; подобные колебания с затухающей амплитудой продолжаются до установления реального уровня возможностей субъекта.

Третий вариант - «стратифицированный», при котором тестирование проводится на основе банка заданий, сгруппированных по уровням трудности (число таких групп, как правило, невелико). Сама процедура тестирования, то есть порядок предъявления заданий, здесь мало отличается от первого варианта, хотя, возможно, и более экономична по времени.

Естественно, применение любого из этих вариантов требует предварительной унифицированной апробации всех заданий на достаточно обширной выборке с целью установления их меры трудности и других статистических характеристик. Вообще же, в связи с разработкой проблемы адаптивного тестирования, за рубежом был создан специальный математический аппарат, не только позволяющий более точно дифференцировать задания по их статистическим параметрам, но также программирующий алгоритм самого тестирования и последующую оценку результатов. Модели адаптивного тестирования, использующие этот достаточно сложный математический аппарат, могут быть реализованы только в компьютерном преломлении. (Впрочем, и более простые модели адаптивного тестирования рациональнее реализовывать на базе компьютера).

Острый дефицит качественного отечественного психологического инструментария побудил в свое время группу психологов из Санкт-Петербургского университета (И.М. Дашков, Н.А. Курганский, Л.К. Федорова) и Южно-Уральского государственного университета (Н.А. Батурин) приступить к разработке нескольких батарей интеллектуальных тестов, пригодной для обследования учащихся подросткового возраста, старшеклассников и взрослых. Первая батарея, выпущенная в 1993 г., получила название Универсальный интеллектуальный тест С.-Петербург – Челябинск (УИТ СПЧ) [6, 10, 14]. Через 8 лет по аналогии с УИТ СПЧ была разработана и издана батарея тестов для диагностики умственного развития подростков – Подростковый интеллектуальный тест (ПИТ СПЧ) [7, 16]. Каждый из этих тестов имеет четыре параллельные формы (А, Б, В, Г), каждая из которых состоит из 11 субтестов, предназначенных для диагностики различных интеллектуальных функций [7]. В последующем тест УИТ СПЧ был модифицирован (с сохранением структуры и направленности субтестов) и в 2001 г. издан в новой редакции (УИТ СПЧ-М) [11]. Ещё через год на базе УИТ СПЧ-М был создан компактный (сокращённый) вариант теста (КИТ СПЧ), состоящий из 6 субтестов и так же как УИТ и ПИТ имеющий четыре параллельные формы. Все указанные тесты прошли процедуру стандартизации на обширном статистическом материале; подтверждены критерии валидности, надежности и дискриминативности [10, 11]. Комплекс из этих 3 тестов активно используется как в системе образования, так и при обследовании различных категорий рабочих и служащих в различных сферах деятельности – везде, где имеется запрос на дифференцированную оценку интеллектуальных качеств (умственного развития) респондентов. За прошедшие годы методика хорошо себя зарекомендовала при решении многих практических и научных задач; с ее помощью только в Челябинске обследованы десятки тысяч человек [4, 5, 10].

Параллельно с бланковыми вариантами тестов были разработаны также компьютерные версии методик и компьютерные программы для обработки данных, полученных в бланковой форме тестирования (UIT, UITni, AIT, AITni, CIT). Кроме того, разработана программа сканирования и обработки результатов тестирования, проводимого с использованием стандартных бланков (т.е. традиционным способом) на основе стандартной тесто- вой оболочки «ABBYY TestReader Desktop 4,0».

Вся многолетняя работа по созданию комплекса интеллектуальных тестов подводила к следующему этапу – разработке индивидуаль-но-адаптируемого интеллектуального теста (ИАИТ СПЧ). При этом была поставлена (уже традиционная для всего комплекса) задача по созданию параллельных форм (в данном случае – двух), что позволяет более качественно решать проблемы отбора и расстановки персонала организаций. Именно для достижения этих целей в первую очередь ставилась задача разработки ИАТ СПЧ. В работе над ним участвовали Н.А. Батурин (Челябинск), И.М. Дашков и Н.А. Курганский (С.-Петербург). Компьютерная программа теста разработана Д.Н. Никулиным при участии Н.А. Батурина (Челябинск).

В качестве основного теста, на базе апробированных заданий из которого создавался ИАТ СПЧ, были взяты задания из всех четырёх параллельных форм УИТ СПЧ-М. Содержательное и статистическое рассмотрение субтестовых характеристик привело к выделению семи (из 11) субтестов для использования в рамках данной процедуры. Эти субтесты в порядке предъявления таковы: «Осведомленность», «Скрытые фигуры», «Арифметические задачи», «Аналогии», «Исключение изображений», «Числовые ряды», «Умозаключения» [12]. Из всех четырех форм этих субтестов, входящих в УИТ СПЧ-М, а также исходя из содержательных и статистических характеристик, было выделено по 44 задания, представляющих весь диапазон сложности и семантического разнообразия внутри каждого субтеста. Далее эти задания для каждого из субтестов были поделены на две равные (и равноценные) группы (банки заданий для разработки параллельных форм), каждая из которых, в свою очередь, была поделена в зависимости от сложности заданий на 7 подгрупп (уровней) – от первого уровня (самого легкого) до седьмого (самого трудного) – со средним шагом около 11 %. Тем самым при разработке теста был реализован стратифицированный вариант адаптивного тестирования [2].

Статистические данные, касающиеся трудности заданий УИТ СПЧ-М, для вновь создаваемого адаптивного теста были получены на 400 школьниках 10–11 классов общеобразовательных школ и 320 студентах (включая заочников) различных факультетов ЮУрГУ; возрастной диапазон – от 15 до 37 лет.

Авторы этого (и ранее созданных вышеупомянутых тестов) предпочитают рассматривать интеллект (конечно, только в первом приближении) как некую универсальную способность ставить и решать новые задачи и гораздо в меньшей мере – как обучаемость [6, 15, 17]. Отсюда вытекает не только задаваемая последовательность предъявляемых субтестов УИТ СПЧ и ИАТ СПЧ, позволяющая разнести субтесты более близкие семантически или функционально, а также чередовать предъявляемые задания таким образом, чтобы обеспечить испытуемому в процессе их выполнения необходимость постоянного переключения с одних содержательных или структурных признаков на другие, новые (естественно, все это в рамках диагностической направленности конкретного субтеста). В традиционно построенном тесте порядок следования заданий может быть задан, и это облегчает реализацию указанного принципа. В адаптивном тесте последовательность предъявления заданий мультивариантна, но можно заблокировать некоторые возможные нежелательные цепочки заданий, не отвечающие этому принципу, что и было сделано при составлении компьютерной программы тестирования (таких цепочек оказалось совсем немного).

В итоге, каждая из двух форм ИАТ СПЧ содержит по 154 задания и соответственно каждый отдельный субтест – по 22 задания. Эти 22 задания так сгруппированы по уровням трудности, что на каждый, кроме четвертого, приходится по три задания наиболее близких по уровню трудности (на четвертый – четыре). Количество заданий, располагающихся на одном уровне, в основном определяется максимумом возможных испытуемых на этот уровень. Сами задания после извлечения их из УИТ СПЧ-М изменений не претерпели; то есть это задания закрытого типа с множественным выбором (из пяти альтернатив). Следует иметь в виду, что трудность заданий, отнесенных к одной группе, носит не абсолютный, а статистический характер; и выполнение конкретным испытуемым относительно трудного задания (более высокого уровня) не обязательно гарантирует успех в задании нижележащего уровня. Это в значительной мере обусловлено гетерогенностью тестового материала, входящего в один субтест, что повышает валидность измерения, но делает невозможным построение на данном тестовом материале шкал Гутмана [13] и применения в целом процедуры IRT [18].

Общая процедура адаптивного тестирования была описана в начале статьи; добавим только, что время выполнения отдельного задания ограничено, причем в пределах одного субтеста на каждое задание предоставляется одинаковое время, примерно в полтора раза превосходящее среднее время выполнений заданий в УИТ СПЧ. В адаптивном тесте испытуемому не обязательно использовать всё это время (а оно колеблется для разных субтестов от 30 до 60 с) полностью. Во всяком случае, время выполнения (или невыполнения) каждого задания фиксируется, и это является еще одним показателем (наряду с уровнем успешности) работы испытуемого.

Тестирование по одной из форм (А или Б) ИАТ СПЧ начинается с ознакомления испытуемого с общей инструкцией, представленной на экране монитора. Затем в порядке, указанном выше, предъявляются для выполнения все семь субтестов, причем каждый предваряется своей инструкцией, иллюстрируемой примером (примерами). Собственно тестирование начинается с предъявления испытуемому случайно выбранного компьютером задания средней (4-го уровня) трудности из банка заданий первого субтеста. В течение времени, отведенного на выполнение одного задания, обследуемому предоставляются следующие возможности: дать ответ на задание и дождаться окончания времени, когда компьютер предложит следующее задание; дать ответ на задание и перейти к следующему, не дожидаясь окончания времени; не давать никакого ответа, но дожидаться окончания времени; то же, но с переходом к следующему заданию до окончания времени; наконец, дать ответ на задание, а затем один или несколько раз его поменять. При тестировании по одному субтесту предоставляется семь попыток (заданий). В случае правильного ответа компьютер предъявляет испытуемому задание следующего, более высокого уровня трудности; в случае неправильного (или отсутствия ответа) – более низкого, предыдущего уровня. Высоко успешным испытуемым, дошедшим до седьмого уровня трудности в каком-либо субтесте и давшим верный ответ на первое задание, в следующей попытке предъявляется задание того же седьмого уровня и так далее до их исчерпания. Аналогично, малоуспешный испытуемый, опустившись при выполнении какого-либо субтеста до первого уровня трудности и не справляющийся с его заданиями, продолжает получать задания этого уровня, также до их исчерпания.

Успешность выполнения какого-либо субтеста оценивается следующим образом: к базисному уровню трудности субтеста прибавляется сумма долей правильных ответов по вышележащим уровням. При этом под базисным уровнем понимается уровень трудности, лежащий на один шаг ниже самого низкого уровня, на котором имеется хотя бы один неправильный ответ (или отсутствие ответа).

Хотя еще не разработан пересчет непосредственно получаемых «сырых» данных ИАТ СПЧ в шкальные оценки (это требует набора значительного эмпирического материала), следует иметь в виду, что «сырые» баллы уже несут в себе важную диагностическую информацию, позволяющую охарактеризовать выраженность ряда интеллектуальных особенностей человека. Пока можно (с разумными ограничениями) пользоваться этими данными, зная, что с заданиями первого уровня трудности в среднем справляются 87–88 % лиц из выборки, на которой проводилась разработка теста, представленной выше; с заданиями седьмого уровня – 22–23 %. Что касается заданий средней трудности (четвертого уровня), с одного из которых начинается тестирование, то их в среднем выполняют 55–56 % представителей указанного контингента.

На данном этапе интерпретация результатов тестирования может строиться, прежде всего, на относительных внутригрупповых сопоставлениях. Очевидно, что осмысленность интерпретации зависит от степени возвышения или западения показателей по рассматриваемым субтестам у отдельного субъекта относительно среднегрупповых показателей по этим же субтестам или относительно показателей по другим субтестам у этого же субъекта. Кроме того, обобщение показателей времени ответов (правильных или неправильных) на задания теста позволяет представить темповые характеристики интеллектуального функционирования в целом по отдельным его компонентам и определяется содержанием субтестов.

Таким образом, на базе хорошо апробированного тестового материала – Универсального интеллектуального теста (УИТ СПЧ-М) был создан индивидуальный адаптивный интеллектуальный тест ИАИТ СПЧ. Разработка ИАИТ велась на основе не только статистических показателей трудности заданий, но и с учётом их семантических и структурных особенностей.