Аттестация студентов в современных условиях: от повышения эффективности оценивания к доверию оценкам

Введение. За прошедшие два десятилетия XXI века в системе высшего образования произошли коренные изменения, характеризующиеся как содержательной сменой парадигм, так и новыми нормативными условиями. Конечно, этому предшествовали начатая еще в конце прошлого века научная дискуссия и исследования временных и постоянных коллективов по проблемам качества высшего образования. Одно из центральных мест в поиске решения этих вопросов занимал Исследовательский центр проблем качества подготовки специалистов, созданный на базе научно-исследовательского института при Московском государственном институте стали и сплавов в 1994 году. Коллектив данного центра среди основных результатов научно-исследовательских работ предложил концептуальные основы управления качеством высшего образова- ния, разработал научно-методические основы проектирования образовательных стандартов высшей школы, технологии самообследо-вания, аттестации и аккредитации учебных заведений [10]. Здесь же вырабатывались методологические подходы к оценке качества образования и результатов обучения с опорой на педагогические измерения [3; 5].

Прежде всего речь идет о переходе профессионального образования к реализации компетентностного подхода, привнесшего в вузовскую среду не только новую терминологию, но и новые федеральные государственные образовательные стандарты (далее – ФГОС). На смену двум первым поколениям государственных образовательных стандартов высшего профессионального образования 1994 и 2000 годов, результаты обучения в которых формулировались в знани-евой парадигме, пришли новые ФГОС, описывающие результаты освоения студентами образовательных программ в виде совокупности универсальных, общепрофессиональных и профессиональных компетенций.

За время с начала реализации образовательных стандартов, совпадающее с интенсивным развитием компьютерных и информационных технологий, контрольно-оценочная деятельность

АТТЕСТАЦИЯ СТУДЕНТОВ В СОВРЕМЕННЫХ УСЛОВИЯХ:

ОТ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ОЦЕНИВАНИЯ К ДОВЕРИЮ ОЦЕНКАМ

МАЛЫГИН АЛЕКСЕЙ АЛЕКСАНДРОВИЧ

Российская Федерация, город Иваново

ALEXEY A. MALYGIN

Ivanovo, Russian Federation

в высшем образовании получила новый импульс. Это связано не только с формальной стороной вопроса (несколькими версиями ФГОС, уточнением перечня компетенций, относящихся к результатам освоения образовательных программ, обязательным наличием фондов оценочных средств по дисциплинам (модулям) и практикам, функционированием внутренней системы оценки качества образования), но и с изменением понимания природы компетентностно-го подхода и его связи с профессиональными стандартами. Вместе с профессиональными стандарта-ми,разработка и внедрение которых начались также чуть больше

10 лет назад, в нормативном измерении сфер труда и образования появились процедуры добровольной независимой оценки квалификаций [1; 7; 11].

Сегодня в одном ряду с очевидной необходимостью получать валидные и надежные данные об уровне освоения обучающимися образовательных программ для принятия обоснованных управленческих решений возникают новые морально-нравственные аспекты оценивания. Их новизна связана с теми возможностями, которые появились благодаря технологиям машинного обучения, чат-ботам с искусственным интеллектом, способным в диалоговом формате давать ответы на запросы на естественных языках. Эти обстоятельства позволяют сегодня студентам не самостоятельно, а с помощью искусственного интеллекта генерировать рефераты, курсовые и квалификационные работы на заданные темы. В этой связи к указанным выше характеристикам оценок – надежность и валидность – следует добавить еще одну, звучащую в новом контексте, – справедливость процедуры оценивания и доверие к самим оценкам.

Оценивание в ходе промежуточной аттестации. Описательные модели оценивания при промежуточной аттестации, огра- ниченной во временных и человеческих ресурсах, можно представить в линейном и адаптивном режимах. Линейное оценивание может проводиться как в устной, так и письменной формах, когда аттестуемым студентам последовательно предъявляются для выполнения оценочные задания. Их количество может варьироваться, если сама процедура не устанавливает четких правил по числу заданий и критериев выставления оценок.

Как правило, в реальном учебном процессе экзамены и зачеты, относящиеся к формам промежуточной аттестации студентов, до сих пор предполагают ответы на два или три вопроса из экзаменационных билетов. Также бланковое тестирование, имевшее широкое применение во многих дисциплинах, уступило место компьютерному формату, с помощью которого стало возможным экономить время и реализовывать в ходе аттестации ключевые принципы оценивания – объективности, достоверности, полноты и релевантности (см. Рисунок 1).

По мере развития взглядов на контрольно-оценочную деятельность, становления культуры оценивания и образовательных измерений, компьютерных технологий и информационных систем стало возможным перейти от теоретических положений о надежности и валидности получаемых аттестационных оценок и повышении эффективности самих процедур к их реализации на практике. Прежде всего речь идет об адаптивном тестировании, которое не мыслится вне компьютерного формата его реализации и оптимально подходит для промежуточной аттестации студентов по отдельным дисциплинам.

Современное адаптивное тестирование строится на методологических основаниях образовательных измерений с применением математического аппарата современной теории тестов – Item Response Theory (далее – IRT) [5; 21]. Алгоритмы реализации положений адаптивного тестирования позволяют оптимизировать процедуру генерации совокупностей заданий по количеству и трудности, темпу их выполнения под каждого аттестуемого студента, обеспечивая тем самым реализацию принципов индивидуализации и дифференциации педагогического контроля.

Адаптивное тестирование является одной из форм адаптивного оценивания и может быть определено как научно обоснованный метод педагогического контроля при аттестации студентов, который реализуется с помощью автоматизированных процессов генерации, предъявления и оценки результатов выполнения тестов [8].

Алгоритм отбора заданий в адаптивном тестировании нацелен на индивидуализацию для каждого аттестуемого студента и основан на требовании посильности при их выполнении, которое регламентирует соответствие трудности заданий зоне актуального развития студента. Такое соотнесение параметров трудности заданий с зоной актуального развития каждого студента базируется на IRT. В случае промежуточной аттестации, которая проходит по отдельным дисциплинам (модулям) учебного плана образовательной программы, целесообразно применять адаптивное тестирование (см. Рисунок 2). Суть его заключается в предъявлении оценочных заданий по алгоритму, который прогнозирует оптимальную трудность последующего задания по результатам выполнения студентом предыдущего.

Важным отличием от линейного оценивания,в котором также может реализовываться последовательное тестирование, является пошаговая переоценка уровня подготовленности испытуемого после выполнения каждого очередного задания. В результате образуется своеобразная последовательность значений уровня подготовленности, применительно к которым подбираются значения трудности задания. При такой стратегии варьируются трудность заданий и шаг, определяемый разностью трудностей двух соседних заданий последовательности. Применяемые вероятностные модели IRT позволяют прогнозировать успешность выполнения очередного задания при фиксированном значении уровня подготовленности обучающегося [20; 22] .

При сравнительном анализе использования в промежуточной аттестации студентов различных видов тестирования – линейного (см. Рисунок 1) и адаптивного (см. Рисунок 2) – с позиций эффективности самой процедуры оценивания очевиден выбор в пользу последнего. Это обусловлено несколькими его серьезными преимуществами

• •    повышение точности образовательного измерения за счет предъявления каждому студенту таких заданий, которые будут соответ-

• Аттестуемый студент 1 (1)-----42)►(З

Аттестуемый студент 2 (T)----*(2)\3

N

N

Аттестуемый студент т (Т)----42)4

АТТЕСТАЦИЯ СТУДЕНТОВ В СОВРЕМЕННЫХ УСЛОВИЯХ:

ОТ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ОЦЕНИВАНИЯ К ДОВЕРИЮ ОЦЕНКАМ

Рисунок 2. Адаптивное тестирование при аттестации студентов

Источник: Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. М.: Академия, 2013.

ствовать его уровню подготовленности;

• •    экономия времени самой процедуры оценивания, поскольку каждый студент выполняет задания в индивидуальном темпе;

• •    обеспечение высокого уровня секретности, исключающего нежелательные эффекты списывания, подсказок и др. за счет индивидуального набора заданий для каждого;

• •    создание ситуации успеха, поскольку студент получает посильные для выполнения задания, соответствующие его способностям.

К числу организационно-педагогических условий, при которых будет повышаться эффективность оценивания при промежуточной аттестации, относятся

• •    повышение компетентности и уровня квалификации научнопедагогических работников в области объективного оценивания и образовательных измерений;

• •    наличие банка калиброванных заданий, имеющих устойчивые характеристики (трудности, дифференцирующей способности) либо алгоритмы их клонирования;

• •    наличие компьютерных программ либо программно-инструментальной среды (сервиса, платформы), в которых используется одна или несколько выбранных моделей IRT, способствующих достижению максимально возмож-

• ной точности измерений при оценивании уровня подготовленности или сформированности компетенций студента;

• •    наличие спецификации к оценочному инструментарию, обеспечивающей содержательную валидность результатов измерений.

При этом важно отметить, что под тестом следует понимать не только набор заданий с выбором одного или нескольких правильных ответов, но любую совокупность оценочных заданий, соответствующих критериям качества и обладающих устойчивыми статистическими характеристиками (трудность, дифференцирующая способность). Строго говоря, ровно по таким критериям и должны сегодня формироваться фонды оценочных средств, проходя широкую апробацию на больших выборках обучающихся.

На уровне высшего образования такая работа по составлению банка оценочных заданий, называемых также калиброванными заданиями, начиналась в учебно-методическом объединении по образованию в области менеджмента. По замыслу авторов этой правильной идеи предполагалось открывать доступ к использованию заданий с последующей обработкой результатов их выполнения всем участникам, предоставившим свои фонды оце- ночных средств в общий банк [5]. Реализация этой идеи позволяла бы говорить и о согласованности требований разных вузов к результатам освоения студентами образовательных программ по одинаковым направлениям подготовки, и о формировании единого образовательного пространства, а вместе с ним – об открытости и прозрачности аттестационных процедур в высшем образовании [6].

По мере повышения ответственности при принятии аттестационных решений – от перевода на следующий курс до выдачи документа об образовании и квалификации – возрастает и уровень требований к оценочным процедурам и инструментарию, который в этих процедурах используется [2; 9; 14].

Оценивание в ходе итоговой аттестации. В случае процедуры итоговой аттестации на первый план выходит соблюдение принципов объективности и независимости, закрепленных на законодательном уровне [12]. Абсолютная объективность, равно как и независимость, это труднодостижимые показатели в любых измерениях, в том числе и в образовательных. Однако, можно и нужно стремиться к минимизации случайных и систематических ошибок для повышения эффективности самого оценивания, обеспечивая со- поставимость получаемых результатов и доверие к выставляемым оценкам. Сложности связаны как с реализацией компетентностного подхода, так и со спецификой каждой из форм аттестационных испытаний – государственным экзаменом и защитой выпускной квалификационной работой.

Компетентностный подход не предполагает при оценивании уровня сформированности компетенций их соотнесения с какими-либо цифрами (например, 3, 4 и 5) с последующим суммированием и выведением среднего значения, как это традиционно принято в отечественной практике контрольно-оценочной деятельности [15]. Оценивание уровня компетентности студента как совокупности сформированных у него универсальных, общепрофессиональных и профессиональных компетенций при итоговой аттестации предполагает качественный уровень образовательных измерений. К слову, именно качественные оценки зафиксированы в нормативных документах, регламентирующих порядок проведения государственной итоговой аттестации по образовательным программам высшего образования. Результаты каждого государственного аттестационного испытания определяются оценками «отлично», «хорошо», «удовлетворительно» или «неудовлетворительно» [13].

В случае итоговой аттестации, когда выставляемые оценки и принимаемые решения имеют более ответственный и даже судьбоносный характер, оценивание целесообразно проводить в несколько этапов образовательных измерений. Это обусловлено тем, что многоэ-тапность измерений хотя и приводит к дополнительным трудозатратам со стороны организаторов оценивания (разработка разнообразных оценочных средств), но обеспечивает рост надежности по сравнению с использованием одного этапа измерений. Преимущества нескольких этапов измерений со- стоят в том, что на каждом из них используются разнообразные формы заданий, отличающиеся по своим возможностям(задания с выбором ответов, с установлением правильной последовательности или соответствия, ситуационные задания с конструируемыми ответами и так далее). И, наконец, за счет сочетания различных оценочных средств достигается репрезентативный охват требований образовательных и профессиональных стандартов, что приводит к повышению надежности и валидности результатов аттестации.

Такая многоэтапность образовательных измерений получает свое развитие в адаптивном оценивании, представляющем собой структурированное адаптивное тестирование, которое реализуется через выполнение испытуемым не отдельных заданий, а субтестов(тест-летов) в несколько этапов.

Под адаптивным оцениванием следует понимать определенную последовательность взаимосвязанных и взаимообусловленных научно обоснованных этапов и процедур генерации, предъявления и оценки результатов выполнения совокупности калиброванных заданий, обеспечивающих эффективность образовательных измерений за счет оптимизации подбора характеристик оценочного инструментария, количества заданий, последовательности их предъявления и времени выполнения в соответствии с уровнем подготовленности аттестуемых студентов.

Под субтестом (тестлетом) в образовательных измерениях понимается набор заданий определенной формы и вида,которые измеряют одну переменную. Испытуемые сначала выполняют набор заданий с множественным выбором средней трудности (субтест на первом этапе). После выполнения заданий субтеста первого этапа, каждое из которых можно пропускать и потом снова возвращаться к нему, происходит оценка уровня подготовленности испытуемо- го. В зависимости от полученного результата каждый испытуемый переходит к работе над следующим субтестом (тестлет второго этапа) соответствующего уровня трудности (низкий, средний, высокий). Выбор трудности следующего субтеста(тестлет третьего этапа) происходит на основе выполнения двух предыдущих субтестов. В данном случае преимуществом такого многоэтапного измерения является возможность просматривать и менять свои ответы на задания при выполнении каждого субтеста до перехода к следующему субтесту. Благодаря адаптивному подходу при оценивании, каждый аттестуемый не выполняет слишком легкие задания, с которыми он наверняка справится, или слишком трудные, которые ему будут непосильны.

Проблема, стоящая при проведении государственного экзамена в рамках итоговой аттестации, связана с оцениванием таких результатов освоения образовательной программы (компетенций), которые имеют определяющее значение для профессиональной деятельности выпускников. В силу многочисленности компетенций для аттестации необходимо провести их кластеризацию (укрупнение) и операционализацию – описание в форме наблюдаемых признаков проявления. Это необходимо для разработки аттестационных заданий, формирования из них банков калиброванных заданий и в целом оценочного инструментария. Наблюдаемые признаки проявления должны носить прагматический характер и быть связаны с трудовыми действиями из соответствующего профессионального стандарта. После описания компетенций на различных уровнях их проявления (например, минимальном, базовом и высоком) по определенным требованиям технологии конструируется оценочный инструментарий. Инструментарий (оценочные средства) для итоговой аттестации призван обеспечить ка-

АТТЕСТАЦИЯ СТУДЕНТОВ В СОВРЕМЕННЫХ УСЛОВИЯХ:

ОТ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ОЦЕНИВАНИЯ К ДОВЕРИЮ ОЦЕНКАМ чественную информацию (надежные и валидные результаты) об аттестуемых для принятия аттестационных решений.

Проведение многоэтапных измерений для реализации адаптивного оценивания должно осуществляться по определенным моделям описательного и схематического характера. Такие модели включают информацию о числе этапов (их, как правило, столько же, сколько уровней компетентности), видах оценочных средств, используемых на отдельных этапах, последовательности их применения, правил оценивания результатов аттестуемых студентов на каждом этапе и в целом по итогу.

Процессная модель в виде схемы реализации адаптивного оценивания на основе многоэтапных измерений представлена на Рисунке 3. На каждом этапе измерения, число которых совпадает с числом выделенных уровней компетентности, используются различные виды оценочных средств,что соответствует компетентностному подходу. Все задания, включаемые в каждый из этапов, должны обладать запланированной трудностью. На каждом этапе должен быть уста- новлен пороговый уровень (проходной балл) его прохождения, то есть либо запланированная точность измерения, либо установленное число или процент верно выполненных заданий. В случае, когда аттестуемый не преодолевает установленный пороговый уровень, он считается не соответствующим тому уровню компетентности, на котором проходил этап оценивания.

Представленная на Рисунке 3 модель должна учитывать одновременно требования двух стандартов – образовательного по соответствующему направлению подготовки(специальности) и профессионального, совмещая оценку освоения этих требований выпускниками в оценочных средствах. Не увеличивая число этапов измере-ний,что приведет к повышению трудозатратности всей аттестационной процедуры, необходимо обеспечить оптимальную трудность всех этапов для каждого аттестуемого выпускника.

Первый этап измерения минимального уровня компетентности проводится с помощью полидис-циплинарного теста, состоящего из тестлетов. В него включают зада- ния с выбором ответов (задания на установление правильной последовательности, соответствия между двумя множествами и другие задания закрытой формы) и предъявляют их по описанному выше алгоритму адаптивного тестирования. Содержание таких заданий для первого этапа ориентировано на проверку освоения необходимых знаний и умений, лежащих в основе выполнения трудовых действий, перечисленных в профессиональных стандартах. Следует принимать во внимание, что, согласно сложившейся практике в образовательных измерениях, для обеспечения надежности их результатов число подобных заданий должно быть не менее 25, но в отдельных случаях может доходить до 60 [9].

В случае преодоления порогового уровня аттестуемый переходит ко второму этапу, на котором выполняет задания, предполагающие практическую деятельность. Их количество может варьироваться от 10 до 15, и при успешном их выполнении и преодолении порогового уровня испытуемый переходит на третий этап оценивания. В случае недостижения порогово- аттестован

(«отлично») пороговый уровень

минимальный уровень компетентности базовый уровень компетентности высокий уровень компетентности

Уровни сформированности компетентности

Рисунок 3. Реализации адаптивного оценивания при итоговой аттестации студентов

(«хорошо») пороговый уровень

| «удовлетворительно»)

пороговый уровень

го уровня аттестуемый будет отнесен к категории аттестованного на минимальном уровне компетентности.

Третий этап предусматривает выполнение ситуационных или контекстуализированных заданий проблемного характера с множественным выбором, позволяющих провести измерения по совокупности компетенций и решить проблемы привлечения для проверки эксперта. За счет множественности переменных измерения и проблемного характера содержания такие задания позволят оценить способность студентов к критическому и абстрактному мышлению, анализу и синтезу информации.На данном завершающем этапе измерения, как и на предыдущих, в случае преодоления порогового уровня (например, выполнение трех из пяти заданий) аттестуемый может быть отнесен к высокому уровню компетентности. В противном случае он будет классифицирован на базовом уровне компетентности.

Заключение. Более чем десятилетний период использования ком-петентностного подхода при подготовке специалистов в профессиональном образовании, а вместе с ним реализация компетентност-но ориентированных стандартов в высшем образовании привели ко многим инновациям в структуре и содержании образовательных программ. Однако, они мало сказались на аттестационных процедурах и контрольно-оценочной деятельности в образовательных организациях высшего образования России. Отдельные попытки исследовательских коллективов, учебно- методических объединений, университетов и ряда ученых и практиков по модернизации фондов оценочных средств и технологий их применения не привели к существенным изменениям, столь необходимым для проведения экзаменов высокой значимости, к которым относится итоговая аттестация студентов, подводящая черту их многолетнего обучения и выявляющая, по своему назначению, уровень сформированности установленных программой компетенций. Традиционные формы и методы проведения итоговой аттестации приходят в явное противоречие не только с требованиями законо-дательства,но и с многочисленными попытками вузов расширить перечень профессиональных компетенций, овладение которыми декларируется в образовательных программах, но уровень сфор-мированности которых никак не подтверждается при итоговой аттестации студентов.

Стагнация контрольно-оценочной деятельности в высшем образовании в какой-то мере имеет исторические корни. Профессиональное педагогическое сообщество не откликалось должным образом на необходимость формирования определенной культуры оценивания и обращения к образовательным измерениям. Однако требования компетентностно-го подхода к оценке результатов обучения, постоянный рост количества информации в образовании требуют пересмотра аттестационных процедур, повышения не только их эффективности, но также обеспечения справедливости процесса оценивания и доверия к нему и оценкам как его результату. Получать достоверные и обоснованные выводы об уровне сформиро-ванности компетенций студентов, дополненные сведениями вторичного анализа результатов итоговой аттестации для оценки качества образовательных программ, корреляции с трудовыми функциями профессиональных стандартов, становится возможным, если обратиться к методологии образовательных измерений и адаптивному оцениванию.

Предлагаемые подходы к организации и проведению аттестации студентов будут обеспечивать получение объективных и обоснованных результатов, сопоставимых для идентичных направлений подготовки в разных вузах. В отличие от традиционных форматов проведения государственного экзамена в ходе итоговой аттестации выпускников (ответ на один–два вопроса по случайно полученному экзаменационному билету) адаптивное оценивание привлекательно с позиций получения точных оценок параметров испытуемых (уровень подготовленности или уровень сфор-мированности компетенций) за счет меньшего количества заданий и создания «ситуации успеха» каждому аттестуемому в процессе измерения с использованием машинных алгоритмов подбора таких заданий,которые ему будут посильны для выполнения. Алгоритмы IRT, строящиеся, например, на методе максимального правдоподобия, позволяют также реализовать гуманистические цели контрольно-оценочной деятельности.