Инновации в инструментарии аккредитации выпускников медицинских вузов

созданию так называемых инновационных множественных кейсов для третьего этапа аккредитации. Они достаточно сложны, предусматривают проверку освоения всех трудовых функций профессиональных стандартов по соответствующей специальности, отображают реальные ситуации профессиональной деятельности и строятся с учетом клинических рекомендаций Минздрава (стандартов лечения) и современных инноваций в деятельности врачей.

В самом общем случае образовательный кейс можно определить как структурированную и смоделированную ситуацию, отображающую конкретную профессиональную проблему или задачу и требующую от испытуемых проявления совокупности навыков (аналитических, критических, информационных, сравнительных, оценочных и др.) для получения оптимальных решений в условиях, когда контекст проблемы может варьироваться [2, 5].

Первой отличительной особенностью кейсов является высокая степень свободы испытуемых в вариации контекста проблемы путем его сокращения или расширения, но так, чтобы усложнить, а не облегчить решение профессионально ориентированной проблемы. Благодаря вариатив- ности кейсы допускают несколько оптимальных решений, каждое из которых может быть ориентировано на различный набор граничных условий. Второй особенностью кейса является высокая степень реальности и актуальности проблемы, которая должна быть позаимствована из практики профессиональной деятельности специалиста и тесно связана с ее современными задачами.

Применение кейсов в аккредитационных оценочных процедурах позволяет испытуемым:

• •    продемонстрировать свои компетенции, навыки и умения по практическому применению полученных знаний;

• •    проявить свои способности по работе со значительными объемами информации, в том числе применить умения собирать дополнительную информацию, анализировать ее, интегрировать и интерпретировать для поставленной проблемы;

• •    применить навыки критического и системного мышления;

• •    продемонстрировать навыки принятия решений на основе анализа ситуации;

• •    проявить навыки проведения диагностики, выявления причин возникшей ситуации,

анализа ее связей с внешними факторами в реальной жизни.

Конечно, возможность модификации контекста проблемы кейса требует привлечения экспертов к проверке результатов его выполнения и нарушает требование высокой стандартизации оценочных подходов, столь необходимое в аккредитации. Поэтому при массовых оценочных процедурах, осуществляемых в целях принятия административно-управленческих решений, обычно обращаются к ситуационным заданиям, отличающимся от кейсов с жестко регламентированным контекстом проблем [3]. На рис. 1 представлены отличия кейсов и ситуационных заданий в верхнем блоке, а нижняя часть рисунка показывает различия между обучающими и оценочными кейсами. В целом, ситуационные задания и кейсы образуют совокупность профессионально ориентированных заданий, являющихся неотъемлемой частью процедур оценивания профессиональной готовности выпускников вузов на основе профессиональных стандартов. Многие отличия между кейсами и ситуационными заданиями их создатели или пользователи нередко не принимают во внимание, поэтому эти термины используются как синонимы, как, например, в этой статье.

Пу*ф«г1*е1.п*е »>Mt«t>po«A»u< iuimw»

Рис. 1. Классификационная схема профессионально ориентированных заданий

Для разработки методических подходов к созданию инновационных кейсов была сформирована рабочая группа, в состав которой вошли сотрудники Методического центра аккредитации специалистов и ведущие представители профессорско-преподавательского состава Сеченовского университета. В процессе работы стало очевидно, что простой структуры кейса, когда все вопросы нацелены на одну переменную, будет недостаточно, поскольку обращение к одной переменной исключает возможность оценивания уровня освоения совокупности трудовых функций, представленных в профессиональных стандартах. По этой причине было принято решение о разработке множественных кейсов, внутри которых можно выделить несколько подмножеств вопросов, охватывающих в совокупности от трех до пяти различных переменных. Если перенести эту классификацию на язык измерений, то можно сказать, что рабочая группа сосредоточила свои усилия на методике создания многомерных (множественных) кейсов или, иначе говоря, многомерных ситуационных заданий.

Рабочей группой были подготовлены структура, макет и примеры многомерных ситуационных заданий, позволяющих с высокой объективностью и обоснованностью оценивать уровень владения трудовыми функциями профессиональных стандартов на третьем этапе аккредитации специалистов здравоохранения. В качестве первоочередной задачи была выбрана разработка ситуационных заданий для аккредитации выпускников вузов по специальностям «Педиатрия» и «Лечебное дело». В макетах ситуационных заданий по каждой специальности было выбрано фиксированное число вопросов, а именно двенадцать, с варьирующимся распределением по трудовым функциям в зависимости от специальности подготовки.

Поскольку в общем случае кейсы предполагают развернутые отве-

Выпускники медицинских университетов получают допуск к профессии только после выполнения аккредитационных заданий

ты, то для их проверки при аккредитации необходимы собеседования, когда аккредитуемые поясняют свои ответы на вопросы кейса экспертам. Однако такая проверка потребовала бы привлечения значительного числа экспертов, работающих в условиях массового экзамена на протяжении значительного времени. В связи с этим рабочая группа приняла решение об отказе от собеседований с экспертами и утвердила выполнение вместо них в ходе аккредитации набора заданий с множественным выбором, разработанных для каж-

♦ тф1 ■ тф2 А тфЗ )( тф4 Ж тф5

Рис. 2. Распределение вопросов по трудовым функциям в кейсах

дого вопроса кейса. Это решение было связано не только с технологическими ограничениями, но также приобрело, по нашему мнению, иной, более глубокий смысл. Замена собеседований с экспертами на выполнение заданий с множественным выбором существенным образом повышает объективность оценок, выставляемых аккредитуемым по результатам выполнения кейсов.

Как показал содержательный анализ вопросов к ситуационным заданиям, предназначенным для проверки освоения трудо- вых функций профессиональных стандартов по специальностям «Лечебное дело» и «Педиатрия», не все вопросы могли быть локально независимыми. Поэтому было принято решение о коррекции ответов с соответствующим снижением баллов у тех испытуемых, кто ответил на ключевой вопрос о постановке диагноза неверно. Благодаря этому все испытуемые получили возможность дойти до конца развивающейся ситуации и ответить на все вопросы. Инновационным было не только содержание, но и форма представления многомерных ситуационных заданий. В них была включена многообразная фоновая информация в различных форматах представления анализов с графикой, фотоснимками и другими документальными описаниями состояния пациента, принятыми в практике деятельности специалистов.

Апробация методики создания многомерных ситуационных заданий и макетов для них велась с помощью 20 кейсов по специальности «Педиатрия» на представительной выборке студентов шестого курса пяти медицинских университетов из разных регионов России, включая Дальневосточный, Казанский, Красноярский, Курский и Тверской государственные медицинские университеты. Распределение заданий по пяти функциям показано на рис. 2, где различные цвета в верхней части рисунка соответствуют трудовым функциям профессиональных стандартов, превалирующим в различных кейсах.

По результатам апробации все аккредитуемые по времени выполнения кейсов были разделены на три группы:

• 1.    Быстрое выполнение (менее 11 минут).

• 2.    Среднее выполнение (от 11 до 23 минут).

• 3.    Медленное выполнение (более 23 минут).

Результаты групп представлены на рис. 3 в виде трех бокспло-

Рис. 3. Распределение средних баллов трех групп в зависимости от скорости выполнения кейсов

тов (ящики с усами – box-whisker plots). Такое название получили графики, компактно изображающие средний, нижний и верхний квартили, минимальное и максимальное значение выборки. Горизонтальная черта внутри бокспло-та соответствует среднему баллу выборки аккредитуемых. Чем короче бокс, тем однороднее результаты. От бокса отходят «усы», соответствующие по длине одному из показателей разброса, в данном

Выполнение аккредитационного задания на муляже

случае – времени выполнения. Самые однородные результаты апробации получились для быстрого выполнения кейсов, что, возможно, объясняется низкой мотивацией испытуемых при апробации кейсов. В условиях аккредитации, скорее всего, оптимальное время выполнения одного кейса будет близко к 30 минутам. Таким образом, апробация показала, что на третьем этапе аккредитации каждому испытуемому можно дать два кейса, для выполнения которых будет достаточно 60 минут.

В дальнейшей работе по развитию инновационного инструментария для системы аккредитации специалистов здравоохранения предполагается:

• •    проведение исследований по анализу качества многомерных ситуационных заданий на основе современных достижений теории измерений в социальных науках с целью оценивания их надежности и валидности;

• •    наращивание объемов, совершенствование структуры и качества банков заданий;

• •    развитие системы подготовки экспертов для экспертизы качества инструментария для аккредитации;

• •    разработка методического обеспечения для установления критериальных (проходных) баллов для оценивания результатов выполнения ситуационных заданий экспертными и эмпирическими методами;

• •    разработка российских стандартов качества инструментария и процедур аккредитации, одобренных профессиональным сообществом и общественностью;

• •    разработка методического обеспечения для интерпретации результатов выполнения многомерных ситуационных заданий в целях повышения качества и развития системы непрерывного медицинского образования.

Резюмируя сказанное, считаем возможным сделать вывод, что рассмотренная методика создания кейсов для оценивания профессиональной готовности выпускников медицинских вузов, прошедшая апробацию на примере специальности «Педиатрия», показала свою эффективность.