Применение теории латентных переменных для измерения образовательных компетенций

Введение. Прежде всего отметим важность измерений в научных исследованиях. У любой науки есть две основные функции: описание (объяснение) явлений и вторая, наиболее важная, прогноз или предсказание. Прогноз можно сделать только на основе выявленной закономерности. Для того чтобы выявить закономерность, необходимо научиться измерять интересующие нас величины. Например, если мы не можем измерить силу тока, напряжение и сопротивление, мы не можем вывести закон Ома.

О важности измерений свидетельствуют высказывания многих знаменитых ученых. «Когда вы можете измерить то, о чем говорите и выразить это числом, вы что

* Авторы выражают благодарность руководству Кубанского государственного университета за предоставление необходимых ресурсов для проведения данного исследования.

то знаете об этом. Но когда вы не можете это измерить, не можете выразить это числом, ваше знание является скудным и недостаточным» (лорд Кельвин); «Вы не можете управлять тем, чего не можете измерить» (Том Демарко); «Наука начинается с измерений» (Д.И. Менделеев) и многие другие. Так, например, если мы можем измерить качество образования, мы что-то знаем о нем, не можем измерить – у каждого свои представления.

Оцениванию компетенций в отечественном образовании уделяется все большее внимание [1; 16; 11]. Способы оценивания и/или измерения компетенций широко обсуждаются во всех образовательных системах [26; 24; 28].

Благодаря объективному оцениванию у студентов формируется адекватная самооценка своих достижений, что является важным стимулом к обучению [21]. Таким образом, оценка необходима не только для диагностики, но и для стимулирования обучения.

Принципиальные отличия измерений в области образования по сравнению с техническими системами.

Измерения в социальных системах, в том числе в области образования, существенным образом отличаются от измерений в технических системах. Отличие в том, что многие исследуемые переменные, в том числе компетенции, являются латентными (скрытыми, ненаблюдаемыми), т. е. не измеряются в явном виде. Используемое до сих пор в социальных системах определение измерения как приписывание объектам чисел в соответствии с некоторыми правилами не отражает сути измерений. Задача измерений состоит, прежде всего, в выяснении, есть ли численные взаимосвязи между измеряемыми объектами и индикаторами. Специфика измерения латентных переменных состоит в том, что они формализуются операционально – набором индикаторов (тестовых заданий и/или пунктов опросника).

Наиболее распространенные способы измерения, а точнее, оценивания компетенций.

Существуют различные методы оценивания компетенций. Перечислим некоторые из них.

Эссе . Этот способ оценивания позволяет выделить наиболее важные аспекты. Акцент сделан на таких важных качествах, как поиск и систематизация релевантной информации, умение аргументировать свой ответ [6; 5; 8].

Кейс-метод . Студент вместе с преподавателем анализирует конкретные ситуации в своей предметной области с целью выработки оптимального решения. Чем больше ситуаций рассмотрено, тем выше уровень сформированности компетенций [3; 4; 14].

Портфолио . С одной стороны, это просто собрание достижений студента в учебе, науке, общественной жизни и других областях. С другой стороны, это многоаспектная оценка подготовленности студентов [22; 18].

Тестирование . Благодаря технологичности обработки результатов это самый распространенный способ оценивания [2; 16]. Наиболее подробно классическое тестирование рассмотрено в монографии [27].

Теория измерения латентных переменных . В отличие от рассмотренных выше способов оценивания в рамках этой теории компетенции студентов, которые являются латентными переменными, измеряются на линейной шкале. В зарубежной практике эта теория широко используется для решения задач в области образования, социологии, психологии, здравоохранении и др. Издается специализированный журнал «Jour-nal of Applied Measurement». В нашей стране эта теория используется для шкалирования результатов ЕГЭ (методика шкалирования утверждена Руководителем Федеральной службы по надзору в сфере образования и науки в 2008 г.).

Тем не менее в нашей стране существует противоречивое отношение к измерениям в области образования.

С одной стороны, это крайне отрицательное отношение к возможности измерения результатов обучения. Приведем несколько высказываний академика РАО М.М. Поташника. «В системе образования России у очень многих (особенно у чиновников, работающих в органах образования всех уровней) сложилось устойчивое представление, что якобы обязательно существуют определяемые количественно, измеряемые результаты образования. Это представление глубоко ошибочно» [19, с. 221]. И далее: «Чтобы отбить охоту даже пытаться что-либо измерять (подчеркнем измерять, а не оценивать) в личностных и метапредметных результатах в воспитании и развитии, напомним публично высмеянные тщетные попытки защитить диссертации на основании, например, таких данных: 9 “А” в соревновании опередил 9 “Б” по патриотизму на столько-то процентов (баллов, очков, единиц и т. п.), но отстал по интернационализму на столько то процентов (баллов, очков, единиц)» [19, с. 222].

С другой стороны, это имеющийся положительный опыт измерения результатов обучения. Исторически первой задачей, для решения которой была разработана теория измерения (а не оценивания) латентных переменных, являлась задача проведения мониторинга у датских школьников по языку и математике. Эта задача была поставлена Датским министерством образования и решена датским математиком Георгом Рашем. Классическое тестирование для решения этой задачи является неадекватным инструментом, потому что в его рамках невозможно разрешить принципиальное противоречие: с одной стороны, для целей мониторинга некорректно повторно использовать один и тот же тест, с другой стороны, результаты тестирования по разным тестам несопоставимы.

Для разрешения этого противоречия Георгом Рашем была разработана теория измерения латентных переменных. В 1960 г. была опубликована первая монография по измерению латентных переменных, которая была переиздана в 1980 г. [25].

На русском языке теория измерения латентных переменных достаточно полно представлена в монографии [10].

В 1966 г. в США образован Институт объективных измерений (Institute for Objective Measurement, . Его основной задачей является разработка теоретических основ (парадигмы измерения) латентных переменных и программноалгоритмического обеспечения для широкого круга пользователей.

В 2002 г. в Славянском-на-Кубани государственном педагогическом институте (сейчас филиал Кубанского государственного университета) созданы Славянский филиал Института объективных измерений, а также Лаборатория объективных измерений для проведения работ по исследованию теоретических и практических аспектов измерения латентных переменных на основе модели Раша. Сотрудниками лаборатории опубликовано по этой тематике более 50 работ, проведено 26 всероссийских конференций (с международным участием) по теории и практике измерения латентных переменных, а также 16 курсов повышения квалификации для профессорско-преподавательского состава по этой тематике. Разработано программно-алгоритмическое обеспечение для измерения латентных переменных [9; 12; 17]. Теория измерения латентных переменных показала свою эффективность при решении задач не только в области образования, но и в других областях [20; 13; 11].

Постановка задачи. В Федеральном государственном стандарте высшего образования (ФГОС ВО) степень сформированности компетенции оценивается на трех уровнях: «пороговый», «базовый» и «продвинутый». Однако для выявления факторов, влияющих на качество образования, проведения мониторинга и решения многих других задач трехбалльная шкала является недостаточной. Необходимо измерять уровень сфор-мированности компетенций на линейной шкале.

Цель работы состоит в разработке опросника для измерения универсальной компетенции «УК-1. Способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач».

Для достижения этой цели были решены следующие задачи:

• •    разработан набор индикаторов, который прошел контентную валидность;

• •    показана конструктная валидность опросника.

Материалы и методы. Разработка опросника осуществлялась в рамках теории измерения латентных переменных. Этот выбор обусловлен следующим. Многие методы конструирования опросников (назначение весов пунктам опросника, экспертные оценки, индексы и др.) обладают существенными недостатками. Прежде всего это субъективность оценок и нелинейность шкалы, что затрудняет их интерпретацию и использование. Достоинствами использования теории латентных переменных являются следующие:

• •    определяется конструктная валидность опросника;

• •    оценки латентной переменной формируются на линейной шкале;

• •    точность измерения латентной переменной увеличивается с увеличением числа индикаторов (пунктов опросника);

• •    линейная шкала оценок позволяет использовать широкий спектр методов статистического анализа для мониторинга уровня сформированности компетенции и выявления факторов, влияющих на формировании компетенции.

Результаты. Разработка опросника состояла из трех этапов.

На первом этапе преподаватели и выпускники Кубанского государственного университета по направлению подготовки «Педагогическое образование» разработали более чем 300 индикаторов, которые характеризуют компетенцию «УК-1. Способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач». Эта компетенция формируется на следующих профилях подготовки: «Математика, Информатика», «Биология», «Информатика», «Логопедия», «Физическая культура», «Право», «Экономическое образование». В частности, на профиле подготовки «Математика, Информатика» компетенция УК-1 формируется на 45 учебных дисциплинах, включая «Информационно-коммуникационные технологии и анализ данных», «Методика обучения информатике», «Методика обучения математике», «Системы обработки информации», «Избранные вопросы информатики».

На втором этапе эксперты, состоящие из ведущих преподавателей (профессора и доценты) по профилю обучения «Математика, Информатика», выбрали наиболее адекватные этой компетенции, таких индикаторов оказалось 34, которые и были включены в опросник. Таким образом, была определена контентная валидность опросника. Проведенные исследования на основе имитационного моделирования показали, что такого числа индикаторов достаточно для обеспечения точности оценивания латентной переменной для решения большинства практических задач [12].

На третьем этапе исследования в рамках теории латентных переменных на основе данных опроса студентов была определена конструктная валидность опросника. В опросе приняли участие 337 студентов четвертого и пятого курсов трех факультетов по направлению подготовки «Педагогическое образование», в том числе 81 студент факультета математики, информатики, биологии и технологии, 135 студентов факультета филологии, истории и обществознания, 121 студент факультета педагогики, психологии и физической культуры. По гендерному аспекту студенты распределены следующим образом: 69 юношей и 268 девушек.

Обработка данных опроса осуществлялась с использованием диалоговой системы RUMM2020, разработанной в Мердокском университете (Австралия) [23]. Использовалась также диалоговая система ИЛП (Измерение латентных переменных), разработан- ная в Лаборатории объективных измерений Кубанского государственного университета [10].

Оценка качества опросника как измерительного инструмента проводилась по следующим аспектам:

• •    наличие экстремальных индикаторов;

• •    совместимость индикаторов в опроснике;

• •    соответствие трудности опросника уровню сформированности компетенции УК-1;

• •    диапазон варьирования индикаторов;

• •    адекватность индикаторов модели измерения.

В результате проведения статистического анализа рассмотрены все указанные выше аспекты. Разработанный опросник удовлетворяет всем вышеперечисленным аспектам.

На рис. ниже представлены оценки измерений латентной переменной УК-1.

Рис. Оценки студентов и индикаторов на линейной шкале «Уровень сформированности компетенции УК-1»

В верхней части рисунка находятся оценки студентов, в нижней части – оценки индикаторов. Как и следовало ожидать (это характерно для большинства измеряемых величин), оценки студентов распределены по нормальному закону – у большинства студентов средние значения компетенции УК-1, значительно меньшее число студентов имеет низкие и высокие оценки сформированности компетенции УК-1.

Выводы. Сконструирован опросник для измерения на линейной шкале универсальной компетенции «УК-1. Способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач». Все требования, предъявляемые к опроснику в рамках теории латентных переменных, выполнены. Разработанный опросник будет полномасштабно апробироваться в Кубанском государственном университете для мониторинга формирования компетенции УК-1, а также для проведения сравнительного анализа уровня сформированности этой компетенции в зависимости от пола студента, курса, специальности, факультета и других факторов.