Теория проектирования и практика реализации трансдисциплинарно-компетентностной системы оценочных средств

Анализируя создание единого образовательного пространства в Европе и проводимую в русле этого процесса реформу ВПО в России целый ряд исследователей отмечают возникновение перед академическим сообществом, работодателями и всеми лицами, заинтересованными в улучшении отечественной образовательной системы принципиально новой задачи — проектирование оценочных средств мониторинга образовательного процесса с позиций компетентност-ного подхода и соответствия оценочных средств технологиям обучения.

Актуальность разработки новых систем оценочных средств (оценки качества подготовки) обусловлена следующими причинами.

Во-первых, традиционные программы высшего профессионального образования и традиционные формы контроля структурируются по областям научных знаний, что соответствует ориен- тации высшего профессионального образования на зуновскую парадигму, как правило, по дисциплинарному принципу. Однако знания и умения, усваиваемые при изучении конкретных дисциплин, — это лишь отдельные элементы образовательной программы, не образующие интегративной целостности. В итоге — «выученная беспомощность».

Во-вторых, чтобы разрешить противоречие между деятельностным подходом к образованию (компетенции) и дисциплинарным структурированием его содержания, необходимо структурировать и самообучение, и оценочные средства контроля его качества одновременно по дисциплинарному и предметному принципам.

В-третьих, для контроля уровня сфор-мированности компетенций, проектируемые оценочные средства должны отвечать требованию дифференцированности и интегративности включенного в них в них учебного материала.

Теория проектирования и практика реализации трансдисциплинарно-компетентностной системы оценочных средств

В-четвертых, анализ ФГОС ВПО по направлению подготовки и примерных ООП, теоретических наработок системы оценивания показывает, что оптимизация проектируемых систем оценки качества подготовки студентов и выпускников заключается в сочетании традиционного подхода и инновационного подхода.

В-пятых, создание методологии разработки и процедур внедрения современной системы оценочных средств и технологий для текущей и промежуточной (рубежной) и итоговой аттестации обучающихся как элемента вузовской системы непрерывного мониторинга качества образования.

В-шестых, при проектировании системы инновационных оценочных средств, необходимо учитывать следующие положения:

• •    должны создаваться условия для максимального приближения системы оценочных средств к условиям будущей профессиональной практики, для чего, кроме преподавателей конкретной дисциплины, в качестве внешних экспертов должны активно использоваться работодатели, студенты выпускных курсов вуза, преподаватели, читающие смежные дисциплины, и т. п.;

• •    в качестве дидактической единицы предназначенной для формирования определенной компетенции (части компетенции), и позволяющей конкретизировать содержательные, технологические и оценочные требования к процессу и результатам познавательной деятельности обучающихся в вузе необходимо использовать модуль соответствующего уровня;.

• •    должны использоваться индивидуальные, групповые, взаимооценки и самооценки (рецензирование обучающимися работ друг друга; оппонирование студентами проектов, дипломных, исследовательских работ и др.; экспертные оценки группами, состоящими из студентов, преподавателей и работодателей, и т. п.), разработанные на единой основе;

• •    необходимо оптимизировать использование технологий проектирования и применения оценочных средств для всех типов (входного, промежуточного, рубежного, итогового, взаимоконтроля и самоконтроля) контроля уровня сформированности компетенции и профессионально важных качеств, видов и форм контроля.

Следовательно, возникает необходимость разработки системы оценочных средств, таких заданий, которые бы позволили оценить способность и готовность обучающегося и выпускника как интегративную целостность, в совокупности ее компонентов, критериев, показателей, уровней и индикаторов, соотнесенной с применимостью специалиста на рынке труда.

Подобную систему оценочных средств мы определяем как трансдисциплинарно-компетентностную.

К наиболее значимым исследованиям в заявленном аспекте мы относим работы В.И. Звонникова, М.Б. Челышковой [1], Э.Ф. Зеера [2], И.В. Осиповой [5], Г.Н. Стайнова, С.В. Коршунова [6], а также результаты наших собственных наработок (Л.В. Львов, В.П. Быков, А.И. Кадочников, Н.А. Краевая, М.В. Чернышева) [3, 4].

Анализ указанных работ показал, что основой проектирования оценочных средств могут служить:

• 1.    Теория проектирования дидактических средств (Н.О. Яковлева), специфика которой требуюет учета целого ряда факторов: уровня подготовленности обучающихся и их индивидуальных особенностей; специфики учебного материала; условий, в которых протекает образовательный процесс; уровня собственной педагогической квалификации; специфики образовательного учреждения и т. д. [7].

• 2.    Структурные матрицы оценочных средств (С.В. Коршунов, И.В. Осипова) для проведения текущего, промежуточного и рубежного контроля, а также итоговой оценки компетенций вы-

  
  
  

• 3.    Разноуровневые индикаторы (задания-индикаторы) (Л.В. Львов, М.В. Чернышева) как эффективные средства для проведения процедуры диагностики с целью определения уровня сформиро-ванности компетенций (знаний, умений, обобщенных способов профессиональных действий, ПВК) соответствующих модулей [3].

пускников в соответствии с требованиями ФГОС ВПО и примерным учебным планом ПООП по направлению и профилю подготовки [5, 6].

Вариант авторского видения структурной матрицы оценочных средств для проведения текущего, промежуточного, рубежного, итогового контроля компетенций в соответствии с примерным учебным планом вариативной части ПООП ВПО по дисциплине «Педагогический менеджмент» (см. табл.) дает возможность сопоставить отдельные элементы каждой компетенции выпускника с формирующей ее элементами ПООП и показать совокупность оценочных средств на каждом этане аттестации от текущего контроля до итоговой государственной аттестации.

В табл. под НОПТ понимается нормативно-ориентированный педагогический тест, а КОПТ, соответственно как критериально-ориентированный педагогический тест.

Таблица

Структурная матрица соответствия формируемых компетенций и системы оценочных средств

Циклы, модули учебного плана	Б.3. Профессиональный цикл. Вариативная часть
	Дисциплины (Модули)
Компетенции	МУД-1.2	МУД-1.2	МУД-1.2	МУД-1.2
Профессиональная компетенция (ПК-1), ОУК	Планирования, целеполагания и принятия решения	Организации и исполнения	Мотивации	Контроля и коррекции
Вид аттестации	Форма оценочных средств
Текущая по учебному элементу дисциплины	НОПТ (ПР-1), при необходимости КОПТ, собеседование (УО-1), компьютерное тестирование (ТС-1)	НОПТ (ПР-1), при необходимости КОПТ, собеседование (УО-1), компьютерное тестирование (ТС-1)	НОПТ (ПР-1), при необходимости КОПТ, собеседование (УО-1), компьютерное тестирование (ТС-1)	НОПТ (ПР-1), при необходимости КОПТ, собеседование (УО-1), компьютерное тестирование (ТС-1)
Промежуточная по учебному элементу дисциплины, учебному модулю	НОПТ (ПР-1), при необходимости КОПТ, контрольные работы (ПР-2), рефераты (ПР-4)	НОПТ (ПР-1), при необходимости КОПТ, контрольные работы (ПР-2), рефераты (ПР-4)	НОПТ (ПР-1), при необходимости КОПТ, контрольные работы (ПР-2), рефераты (ПР-4)	НОПТ (ПР-1), при необходимости КОПТ, контрольные работы (ПР-2), рефераты (ПР-4)
Рубежный по дисциплине «Педагогический менеджмент»	КОПТ — критериально-ориентированный педагогический тест (ПР-1), реферат (ПР-3), зачет (УО-3), компьютерное тестирование (ТС-1) Контроль уровня сформированности профессиональной компетентности (ПК-1), организационно-управленческой компетентности (ОУК)

Оба вида педагогических тестов, используемых для диагностики качества подготовки, могут индицировать достижение заданного уровня компетентности.

Поскольку качество управления профессиональным образованием является социальной категорией (объектом), то можно говорить о применении индика-

торов для оценки качества управления профессиональным образованием, в том числе, уровне сформированности компетенций и компетентности.

Отсюда, под индикатором мы понимаем количественное значение, указатель (система указателей), позволяющий определять текущее состояние объекта

Теория проектирования и практика реализации трансдисциплинарно-компетентностной системы оценочных средств

Л. В. Львов

оценки (уровень сформированности профессиональной компетентности или ее компонентов), осуществляя сравнительный анализ фактических данных с установленными нормативами.

Для диагностики процесса и результата обучения (формирования организационно-управленческой компетентности), следовательно, и качества управления необходимо ввести новые понятия: задание-индикатор и тестовое задание-индикатор. Под заданием-индикатором мы понимаем вид учебного задания, с помощью которого результаты обучения становятся доступны измерению и наблюдению, и которое характеризует соответствие фактического уровня сформированности исследуемого феномена заданному.

Следовательно, педагогическое тестовое задание-индикатор (ПТЗИ или ТЗИ) — это тестовый вид учебного задания, характеризующего соответствие фактического уровня сформированности исследуемого феномена (организационноуправленческой компетентности) заданному уровню. По критерию применяемого теста (ПТЗИ) может проектироваться на нормативно-ориентированной и критериально-ориентированной основе.

В разработанном практикуме по курсу «Педагогический менеджмент» рассмотрены вопросы профессионального обучения с позиций подготовки выпускника к выполнению организационноуправленческих функций в период первичной профессиональной адаптации и начального этапа работы как менеджера первичного, низшего уровня.

Практикум имеет модульную конструкцию, позволяющую формировать организационно-управленческие компетенции будущего педагога (ПК-1 компетенцию педагогического управления) и адекватные профессионально важные качества, т. е. организационно-управленческую компетентность (рис. 1).

До и после изучения каждого из модулей предусмотрены тестовые задания-индикаторы. Раскроем содержание модулей. Каждый из четырех модулей по- священ формированию организационноуправленческих компетенций. Организационно-управленческая компетенция — это способность (знание, умение, владение) и готовность (бытие) эффективно выполнять деятельность по организации управления в сфере профессионального образования.

Знания студенты получают на лекциях (теоретических занятиях), а также в результате выполнения самостоятельной внеаудиторной работы. На практических занятиях овладевают умениями, обобщенными способами профессиональных действий (владеть). Профессионально важные качества личности формируются в течение всего периода обучения.

В каждом модуле предусмотрены следующие виды контроля:

• •    входной (перед изучением дисциплины, модулей);

• •    текущий;

• •    выходной (промежуточный после изучения модулей);

• •    рубежный (итоговый после изучения дисциплины) в соответствии со структурной матрицей оценочных средств. При организации мониторинга возникает необходимость разработки системы оценочных средств: таких заданий, которые бы позволили оценить организационно-управленческую компетентность педагога ПО как интегративную целостность, в совокупности ее компонентов, критериев, показателей, уровней и индикаторов, соотнесенной с применимостью специалиста на рынке труда.

Инициируя данное исследование, мы опираемся на существующую интегра-тивно-стимулирующую технологию оценки организационно-управленческой компетентности (разработана Л.В. Львовым в 2007 г.), которая позволяет оценивать каждый из ее компонентов компетенции (когнитивный, деятельностный и профессионально-личностный). Кроме того, интегрируя результаты оценки компонентов, можно сделать вывод об уровне сформированности организационноуправленческой компетенции в целом.

Оценка уровня сформированности организационно-управленческой компе- тентности выполняется по технологии интегративно-стимулирующей оценки

[27]:

P=IF(KA)

Где: Р — интегративная оценка сфор-мированности организационно-управленческой компетентности; Ai — частные значения оценки компонентов сфор-мированности организационно-управленческой компетентности; F — коэффициент подобия, учитывающий степень соответствия формируемой учебнопрофессиональной компетентности реальной организационно-управленческой компетентности педагога профессионального обучения.

Компонентов интегративной оценки сформированности организационно-управленческой компетентности три: когнитивный, операционально-деятельностный и профессионально-личностный (мотивационно-ценностный, эмоциональноволевой и поведенческий субкомпоненты), поэтому индекс i данной переменной принимает значение от 1 до 3.

А1 — частное значение оценки когнитивного компонента;

А2 — частное значение оценки деятельностного компонента;

А3 — частное значение профессионально-личностного (операциональнодеятельностного, эмоционально-волевого, поведенческого субкомпонента) компонента организационно-управленческой компетентности;

А31 — частное значение оценки операционально-деятельностного субкомпонента профессионально-личностного компонента;

А32 — частное значение оценки эмоционально-волевого субкомпонента профессионально-личностного компонента;

А33 — частное значение оценки поведенческого субкомпонента профессионально-личностного компонента;

Кi — весовые коэффициенты (коэффициенты значимости) оценок соответствующих компонентов. Сумма всех весовых коэффициентов оценки равна единице.

К1…К3 — весовой коэффициент (коэффициент значимости) оценки когнитивного, деятельностного и профессионально-личностного (мотивационно-ценностного, эмоционально-волевого и поведенческого) организационно-управленческой компетентности.

Оценка по интегративно-стимулиру-ющей технологии производится с помощью педагогических тестовых заданий-индикаторов (ПТЗИ), которые включают в себя пакеты тестов на нормативноориентированной и критериально-ориентированной основе по компонентам организационно-управленческой компетентности

Рассмотрим оценку с применением ПТЗИ на примере курса «Педагогический менеджмент». Оценка применяется для диагностики актуального уровня сформированности организационно-управленческой компетентности (входной контроль), уровня сформированности организационно-управленческой компетенции после освоения соответствующего модуля (промежуточный контроль), а также уровня сформированности организационно-управленческой компетентности по итогам освоения курса.

Результаты оценки отображаются на комбинированной шкале уровня сформи-рованности организационно-управленческой компетентности (рис. 1).

На шкале отражаются следующие виды показателей:

• •    отметка указана в баллах от 1 до 5; отметка выставляется в соответствии с количеством правильных ответов, указанных обучающимися;

• •    количество правильных ответов выражено в процентах (0–100 %), кроме отметки указывает на уровень сфор-мированности организационно-управленческой компетентности;

• •    уровень сформированности компонентов организационно-управленческой компетентности (компетенций целеполагания, принятия решения и планирования; организации и исполнения, мотивации, контроля).

  Теория проектирования и практика реализации трансдисциплинарно-компетентностной системы оценочных средств

  
  

  Л. В. Львов

  
  

  Отметка в баллах

  
  

  Индикаторы (ПТЗИ)

  
  

  Кол-во правильных ответов, %

  Уровень сформированности компонентов организационно-управленческой компетентности

  Средний балл

  

  Рис. 1. Комбинированная шкала уровня сформированности организационно-управленческой компетентности

  
  

Анализ выполненных исследований показал (А.Г. Бермус): уровневая дифференциация профессиональной компетентности сводится в основном к двум позициям. Первая включает низкий, средний, высокий уровни. Вторая — базовый, промежуточный, профессиональный уровни.

Обобщая эти позиции, мы определились по данному вопросу следующим образом:

• •    для итогового контроля выделено четыре уровня подготовки выпускника (педагога ПО): недопустимый (некомпетентность), допустимый (учебнопрофессиональная компетентность), оптимально-адаптивный (конкурентоспособность и мобильность), локомотивно-пролонгированный (конкурентоспособность, мобильность, успешность);

• •    допустимый уровень (учебно-профессиональная компетентность) уровня подготовки выпускника является минимальным, т. е. необходимым и достаточным;

• •    для остальных видов контроля выделено четыре уровня сформированно-сти компетенций и компетентности: недопустимый, пороговый (удовлетворительный), средний, высокий;

• •    удовлетворительный уровень сформи-рованности компетенций и компетент-

• ности является пороговым, под которым понимается способность и готовность удовлетворительно, самостоятельно выполнять деятельность, соотнесенные с нормативными требованиями этапа обучения;

• •    уровни подготовки выпускника (педагога ПО) и уровни сформированности компетенций и компетентности взаимосвязаны: вторые предназначены для перманентного мониторинга на всех этапах обучения.

Средний балл показывает интервал, которому соответствует каждая отметка (от 0 до 5 баллов). Средний балл определяется также на основе количества правильных ответов.

Шкала позволяет не только количественно оценить сформированные компетенции, их фрагменты (знания, умения, навыки) и ПВК, но и указывает необходимость коррекции. Таким образом, при повторном изучении модуля материал не столько дублируется, сколько подбираются наиболее оптимальные средства, методы, формы обучения в соответствии с модальностью восприятия, уровнем мотивации обучающихся.

Проведя диагностику на основе предлагаемой шкалы, мы можем дать рекомендации по дальнейшей деятельности преподавателя и обучающегося (по управлению процессом обучения).

• 1.    Произвести оценку актуального уровня сформированности компетенций.

• 2.    Если уровень сформированности ком-

• петенции ниже удовлетворительного (70 %), то следует продолжить обучение до порогового (удовлетворительного) уровня с повторной диагностикой с использованием ПТЗИ. При этом

• 3.    Завершение изучения одного модуля и

• переход к освоению следующего модуля (формированию компетенции) при достижении порогового уровня (более 70 %).

• 4.    Переход обучающихся на самообучение.

• 5.    Итоговый контроль по курсу (диагностика уровня сформированности организационно-управленческой компетентности).

нужно учесть причины, по которым не достигнут заданный уровень (не учтена модальность восприятия, отсутствие мотивации у обучающихся, выбраны неадекватные средства, методы или формы обучения).

Следовательно, комбинированная шкала позволяет оперативно оценивать ре-

Рис. 2. Проектирование критериально-ориентированных ПТЗИ

Педагогические тестовые задания-индикаторы могут быть использованы как средства для пропедевтического, текущего, промежуточного и рубежного контроля. В них для каждого конструкта предусмотрены отдельные тесты (конструкты представлены в явной фор- зультаты обучения, определить уровень сформированности компонентов организационно-управленческой компетентно- сти, а также дать рекомендации по дальнейшей деятельности в пределах этих возможных уровнях. Применение данной шкалы позволяет не только сформировать у студентов необходимые компетен- ции, но и качественно управлять процессом обучения в пределах этих уровней.

Однако, мы полагаем, что возможно научное обоснование проектирования таких диагностических средств (интегративных заданий), решение которых позволит идентифицировать проявление заданного уровня компетентности в целом, так и ее компонентов определенного уровня, специальной технологией, основанной на проектировании заданий.

Кроме того, необходимо разработать критериально-ориентированные КО ПТЗИ, позволяющие произвести измерения и оценку сформированности организационно-управленческой компетентности на основе теории проектирования педагогических тестов [1]. Сущность проектирования представлена на рис. 2.

ме). В критериально-ориентированных ПТЗИ когнитивный, деятельностный и профессионально-личностный конструкты представлены в неявной форме.

Для каждого из уровней нами разрабатываются диагностические средства (измерительные инструменты), которые

Теория проектирования и практика реализации трансдисциплинарно-компетентностной системы оценочных средств

позволяют определить интервальную оценку уровня сформированности и сделать вывод об уровне сформированности организационно-управленческой компетентности. Следовательно, если обучающийся выполняет задание, соответствующее допустимому уровню, то можно говорить о сформированности у выпускника учебно-профессиональной компетентности. В противном случае — некомпетентность. Отметим, что данное задание должно быть спроектировано на уровне не ниже порогового значения. В этом случае можно говорить, о том, что достигнуты цели обучения — освоения фрагмента компетенции, компетенции, компетентности соответственно. Таким образом, представим в виде двойного неравенства анализ результатов, полученных с помощью КО ПТЗИ и обеспечивающий попадание результата в диапазон заданного уровня подготовки (фрагмента, компонента компетенции дисциплины, профессиональной компетенции, профессиональной компетентности):

O i ≤ O < O i+1 , (1)

где O — оценка, соответствующая заданному уровню;

O_i — оценка предыдущего уровня;

O_i+1 — оценка следующего уровня.

Определение уровня подготовки и анализ осуществляется на основе экспертной оценки.

Данная технология проектирования оценочных средств может быть использована для оценки промежуточной, рубежной, итоговой аттестации [5, 6].

После проведения со студентами итогового контроля преподаватель может судить о сформированности у них организационно-управленческой компетентности в соответствии с уровневой шкалой. Верхняя шкала показывает диапазон, уровень организационно-управленческой компетентности, который определяется с помощью критериальноориентированных ПТЗИ. На нижней шкале отражается уровень сформиро-ванности когнитивного, деятельностного и профессионально-личностного конструктов, который определяется с помощью нормативно-ориентированных ПТЗИ, тестовых заданий-индикаторов.

КО ПТЗИ           I                II               III              IV

НО ПТЗИ 1  2  3  4

Рис. 3. Уровневая шкала (совмещение нормативно-ориентированного и критериально-ориентированного подходов)

Уровень подготовки выпускника (сформированности организационно-управленческой компетентности) по КО ПТЗТ: I — недопустимый; II — допустимый; III — оптимально-адаптивный; IV— локомотивно-пролонгированный.

Уровень сформированности компонентов компетенции, компетенции и компетентности по НО ПТЗИ: 1 — недопустимый; 2 — пороговый (удовлетворительный); 3 — средний; 4 — высокий.

В контексте изложенных позиций можно сделать следующие выводы.

Во-первых, предлагаемая трансдисци-плинарно-компетентностная система проектирования и применения оценочных средств строится как:

• •    блок, включающий средства интегра-тивно-стимулирующей оценки, которая позволяет оценивать каждый компонент компетенции, компетенции, ПВК, и организационно-управленческой компетентности, сделать вывод об уровне сформированности организационно-управленческой компетенции в целом: недопустимый; пороговый (удовлетворительный); средний; высокий, используя математический аппарат, тесты качеств, экспертную оценку с учетом значимости элементов;

  
  
  

• •    блок, включающий педагогические тестовые задания-индикаторы на нормативно-ориентированной и критериально-ориентированной основе решения которых, оценивается соответствие фактического уровня сформиро-ванности исследуемого феномена (организационно-управленческой компетентности): недопустимого, допустимого, оптимально-адаптивного, локомотивно-пролонгированного, заданному уровню;

• •    блок, включающий средства экспертной оценки компонента компетенций, компетенции, ПВК, и организационноуправленческой компетенции в целом. Во-вторых, все три блока востребованы компетентностно-контекстной системой подготовки педагогов ПО, взаимосвязаны и образуют интегративную целостность, позволяющую:

• •    оптимизировать использование технологий оценочных средств для всех типов контроля (входного, промежуточного, рубежного, итогового, взаимоконтроля и самоконтроля), уровня сформированности компетенции и профессионально важных качеств, видов и форм контроля как элемента вузовской системы непрерывного мониторинга качества образования;

• •    максимально приблизить систему оценочных средств, разработанных на единой основе «оценка квадриги», используя индивидуальные, групповые, взаи-мооценки и самооценки студентов, преподавателей, работодателей к условиям будущей профессиональной практики.