Методика измерения профессиональных способностей (компетенций)

В теории именования1 “всякое понятие характеризуется триединством: знак (в естественном языке – слово (имя) или словосочетание), предметное значение (денотат, означающее) и смысл (коннотат, означаемое), т.е. реализация значения в знаке

(имени)” [1]. В [2,3,4] с позиций этой теории была проведена верификация требований, формулируемых в ФГОС ВО в виде компетенций.

Было установлено следующее:

• 1.    Наличие в педагогической литературе ряда существенно различающихся трактовок термина “компетенция” и производных от него терминов (общекультурные, общепрофессиональные, профессиональные, специальные и др. компетенции), свидетельствует о том, что интенсионал¹ этого имени является вариативным, а его концепт² - неопределенным. Это нарушает принцип однозначности имени³.

• 2.    Ни один из представленных в литературе концептов имени “профессиональная компетенция” не определяет его экстенсионала, т.е. не содержит указаний на те предметы (денотаты⁴), которым это имя соответствует. Это нарушает принцип предметности имени⁵.

• 3.    Все представленные в педагогической литературе концепты имени “профессиональная компетенция” имеют смысл (коннотат) и не имеют значений (денотатов). Поэтому они являются не подлинными, а фиктивными (символьными) именами, установить истинность или ложность которых невозможно. Равным образом невозможно оценить соответствие конкретного предмета (результата обучения) имени “профессиональная компетенция”.

В сложившейся ситуации для оценивания результатов выполнения требований, формулируемых в ФГОС ВО в виде профессиональных компетенций, прежде всего, было необходимо определить экстенсионал имени “компетенция”, то есть выявить тот признак, по которому выделяются все денотаты этого имени. Для этого следовало рассмотреть совокупность предметов, гарантированно являющихся компетенциями, и установить тот ключевой признак, которому все они соответствуют. Другими словами, следовало определить интенсионал имени “компетенция” не на основе анализа контекстов его готовых концептов, а на основе исследования предметов, гарантированно являющихся денотатами этого имени.

На местонахождение предметов, денотаты которых гарантированно соответствуют имени “компетенция”, указывает академик А.В. Хуторской, классифицируя компетенцию как “отчужденное, заранее заданное социальное требование (норму) к образовательной подготовке человека, необходимой для его эффективной продуктивной деятельности в определенной сфере” [5]. Исходя из этой трактовки, денотаты имени “компетенция” следовало искать в документах, устанавливающих требования к уровню подготовки выпускников вузов, т.е. в соответствующих ФГОС ВО.

В соответствии с этим выводом в [6] был произведен анализ ФГОС ВО (версия 3) направления “Математические и естественные науки”. Было установлено, что контексты всех общепрофессиональных и профессиональных компетенций включают в себя описание некоторой области профессиональной деятельности и дескриптор1, определяющий норматив уровня освоения этой области. В абсолютном большинстве контекстов компетенций, представленных в ФГОС ВО, функции такого дескриптора выполняет понятие “способность”, которое и определяет целевую (смысловую) направленность контекстов профессиональных компетенций.

Таким образом, термин “компетенция” – это не более чем общее наименование тех социальных требований, которые сфера социального управления предъявляет к специалисту определенного профиля. Выполнение любого требования осуществляется путем достижения той нормы, которая составляет смысловую суть требования и определяет норматив его выполнения. Суть всех требований, предъявляемых к выпускникам вузов в виде компетенций, определяется понятием “способность”. Поэтому и формироваться у них должны не компетенции, а способности. Исходя из последнего, ниже при анализе моделей и процедур оценивания профессиональных компетенций в качестве формируемых и оцениваемых характеристик будут рассматриваться профессиональные способности.

Далее в [6] было показано, что валидно оценивать сформированность способностей как целей обучения можно, измеряя те характеристики обучаемых, которые, во-первых, обусловливают успешность их деятельности, а, во-вторых, изменяются в процессе обучения. С учетом двух основных аспектов валидности измерения (ясной концептуализации представлений об измеряемом объекте и валидности шкалы его измерения) была признана целесообразность использования для создания шкалы измерения способностей, введенных В.П.Беспалько в [7] градаций2 уровней усвоения, а также их классификации, ранжирующей эти уровни в порядке роста трудности (субъективной сложности) решаемых задач (см. табл. 1).

Таблица 1

Соответствие уровней усвоения и индикаторов их сформированности

Уровень	Название уровня	Характеристика уровня по В.П. Беспалько	Индикатор сформированности уровня усвоения
1	Знания-знакомства	Узнавание объектов и явлений при повторном восприятии ранее усвоенной информации о них или действий с ними (алгоритмическая деятельность при внешне заданном алгоритме действий)	Успешное решение критериальной задачи по внешне заданному алгоритму

2	Знания-копии	Репродуктивные действия путем самостоятельного воспроизведения или применения информации о ранее усвоенной ориентировочной основе деятельности (ООД) для выполнения известного действия (репродуктивная деятельность алгоритмического типа)	Успешное самостоятельное решение     известной критериальной задачи
3	Знания-умения, навыки	Продуктивные действия по образцу на некотором множестве объектов, самостоятельная реализация известной ООД для выполнения нового действия (продуктивная деятельность алгоритмического типа)	Успешное самостоятельное решение        новой критериальной   задачи, являющейся  вариантом известной      родовой задачи
4	Знания-трансформации	Продуктивные       действия, выполняемые    на    любом множестве   объектов   путем самостоятельного конструирования  новой ООД (продуктивная    эвристическая (творческая) деятельность)	Самостоятельная разработка  ООД  для решения новой родовой задачи, и ее успешная реализация в отношении предъявленной критериальной задачи

В этой таблице используются термины теории учебных задач Г.А. Балла [8] и теории интериоризации П.Я. Гальперина [9]: 1) родовая задача - множество задачных ситуаций и требований задачи, имеющих общий алгоритм решения; 2) индивидуальная задача - представление задачной ситуации и требований родовой задачи, в котором указаны все количественные и качественные характеристики, необходимые для ее решения; 3) критериальная задача - индивидуальная задача, оцениваемая соответствием результатов деятельности решателя требованиям индивидуальной задачи; 4) учебная задача - индивидуальная задача, оцениваемая соответствием качества деятельности решателя требованиям, предъявленным к качеству решения аналогичной родовой задачи; 5) отнесенная задача - задача, анализируемая с учетом возможностей и ресурсов решателя; 6) неотнесенная задача -задача, рассматриваемую в абстракции от решателя, 7) ориентировочная основа деятельности (ООД) - система условий, на которую реально опирается человек при выполнении действия, динамический синтез информации о среде деятельности и извлекаемой из памяти информации об образе действий в данных условиях среды.

На основании анализа закономерностей реализации познавательной и профессиональной деятельностей в [6] было определено, что уровень подготовки, который обеспечивает решение любой задачи, а, значит, и характерную для способностей успешность тождественной деятельности, соответствует уровню усвоения “знания-трансформации”. Поэтому этот уровень усвоения, на котором решатель (человек, решающий задачу) способен разработать алгоритм решения новой для него родовой задачи, был принят в качестве наивысшего значения показателя сформированности профессиональных способностей.

В описаниях уровней усвоения, которые В.П. Беспалько привел в [7], на себя обращали внимание следующие особенности: 1) оценка уровня усвоения основана на анализе решений задач; 2) задачи, сопоставленные уровням усвоения, различаются по трудности; 3) анализу подвергаются только успешные решения задач; 4) целью анализа процедур решения задач является выявление происхождения этих процедур. В результате анализа этих особенностей с позиций предложенной В.В. Гузеевым трактовки трудности как “меры сравнения ресурсов решателя задачи с ресурсами, необходимыми для ее решения,” [10] в [6] были установлены следующие соотношения: 1) трудность задачи определяется недостаточностью ресурса решателя относительно того ресурса, который необходим для решения задачи; 2) в процессе обучения ресурсы решателя (обучаемого) монотонно растут с ростом достигнутого им уровня усвоения, а результаты их сравнения с детерминированным ресурсом, необходимым для решения задачи, изменяются с такой же закономерностью. Эти соотношения означали, что каждому из уровней усвоения соответствуют свои особенности индивидуального взаимодействия, обучаемого с задачей. Эти особенности Г.А. Балл определял, как “свойства отнесенной задачи, отражающие в себе не только свойства задачной системы, но и некоторые характеристики отношений между задачной системой и решателем, а также между этими двумя системами и внешней средой” [8].

На базе приведенных выше положений в [6] было обоснована целесообразность рассмотрения в качестве индикатора1 (индиканта) достигнутого уровня усвоения особенностей индивидуального взаимодействия решателя с той отнесенной задачи, которая была успешно им решена. Закономерные соответствия между уровнями усвоения и свойствами отнесенных задач, успешное решение которых свидетельствует о достижении этих уровней, были определены в виде, представленном в табл. 1.

На основании этих соответствий был сформулирован принцип измерений² способностей: достигнутый уровень сформированности профессиональных способностей определяется тем уровнем освоения (усвоения) профессиональной (предметной) области, которому соответствуют характеристики, отнесенных задачи, успешно решенных решателем (обучаемым ). В свою очередь, индикатором сформированности профессиональных способностей является успешное решение обучаемым той отнесенной учебной задачи, трудность которой соответствует диагностируемому уровню усвоения.

Уровни усвоения – это порядковые величины3, которые рассматриваются в качестве “меры овладения обучающимся знаниями, умениями, навыками” [11] и “измерителя достигнутого в обучении мастерства овладения деятельностью, представленной в данном содержании обучения” [12]. Если рассматривать цифры, приведенные в левом столбце табл. 1, в качестве значений4 уровней усвоения, то их следует классифицировать как показатели вида “чем больше, тем лучше”, которые представлены в ранговой шкале (шкале порядковых величин), приведенной на рис. 1.

	Уровни
1 --------------------------------1----------------------------------	2              3              4          усвоения -------+------------------1------------------1---------------------------►
Знания-знакомства	Знания-       Знания –       Знания- копии         умения     трансформации (навыки) Рис. 1. Шкала уровней усвоения

На базе принципа измерения способностей и шкалы уровней усвоения была определена модель измерений1 профессиональных способностей если

если

если

N j =^

если

если

если

если

F = 1& M = 1& L = 1, то N = 1 (" знания - знакомства ");

F = 2& M = 2& L = 1, то N = 2 (" знания - копии ");

F = 3& M = 3& L = 1, то N = 3 (" знания - умения ( навыки )");

F = 4& M = 4& L = 1, то N = 4 (" знания - трансформации ");

F = 2,3,4& M = 2,3,4& L = 0, то N < F ;

F = 1& M = 1& L = о, то N = 0;

F = 1,2,3& M = 1,2,3& L = 2, то N = 4

,  (1)

где: ^F 1, ^2,3,4 - диагностируемый уровень усвоения; ^M 1, ^2,3,4 - уровень усвоения, определяемый по используемому индикатору сформированности уровня усвоения (см. табл. 1); ^L = 0, ^1,2 - индикатор результата решения ( L = ⁰ - задача не решена или решена неверно, L = 1 - задача решена верно изученным (заданным, стандартным) способом, L = 2 - задача решена верно оригинальным способом); N - оценка сформированности профессиональной способности в шкале уровней усвоения.

Для применения модели (1) на практике требуется предъявлять обучаемым именно те задачи, которые соответствуют диагностируемому уровню усвоения. Для выполнения этого требования в [6] на основе предложенной В.В. Гузеевым [10] трактовки трудности задачи, положений теории учебных задач Г.А. Балла [8], теории интериоризации П.Я. Гальперина [9] и видов стратегий поиска решения задачи, выявленных Ф.К. Гемешлиевым [13], были определены закономерности поиска способа решения отнесенных задач решателем (обучаемым).

Стратегия поиска способа решения задачи определяется трудностью задачи. При прочих равных условиях решателем всегда будет избрана стратегия, требующая минимальных затрат ресурса [6]: 1) если формулировка условий задачи абсолютно совпадает с формулировкой условий ранее успешно решенной критериальной задачи, то решатель будет повторно реализовывать апробированный способ решения этой критериальной задачи; 2) если исходное и требуемое состояния предмета задачи совпадают с исходной и требуемой ситуацией некоторой родовой задачи, ООД которой известна решателю, то решение задачи будет осуществляться путем адаптации этой ООД к особенностям предъявленного варианта родовой задачи; 3) если исходное и требуемое состояния предмета задачи и образы родовых задач, имеющиеся в сознании решателя, не совпадают, то будет производится полномасштабный поиск способа решения задачи, т.е. построение ООД по решению новой родовой задачи.

Из этих закономерностей следовало простое правило: чтобы измерить (оценить) достижение обучаемым того или иного уровня усвоения, нужно создать для него такие условия, чтобы он сам избрал для себя такую стратегию поиска способа решения предъявленной ему задачи, которая соответствует диагностируемому уровню усвоения. Иными словами, диагностируемый уровень усвоения задается свойствами отнесенных задач, предъявляемых обучаемому. Правила выбора таких задач приведены в табл. 2.

Характеристики задач, предъявляемых на диагностируемых уровнях усвоения

Таблица 2

Уровень	Название уровня	Поведенческий индикатор сформированности уровня усвоения	Характеристики предъявляемых задач (множество допустимых задач)
1	Знания-знакомства	Решение критериальной задачи по внешне заданному алгоритму	Любая ранее не решавшаяся задача, к которой прилагается инструкция по ее решению (множество ранее не решавшихся критериальных задач, имеющих инструкции по их решению)
2	Знания-копии	Самостоятельное решение      известной критериальной задачи	Любая ранее решенная обучаемым задача (множество ранее решенных критериальных задач)
3	Знания-умения, навыки	Решение новой критериальной задачи, являющейся вариантом известной родовой задачи	Любой ранее не решавшийся вариант известной родовой задачи (множество ранее не решавшихся вариантов известных родовых задач)
4	Знания-трансформации	Разработка ориентировочной основы решения новой родовой задачи и ее реализация в отношении предъявленной критериальной задачи	Любой вариант формулировки неизвестной обучаемому родовой задачи (множество вариантов реализации неизвестных обучаемому родовых задач)

Приведенные в табл. 2 рекомендации по выбору задач дадут адекватный результат, если лицо, осуществляющее диагностику профессиональных способностей, знает программу и историю обучения испытуемых. Последнее определяется тем, что уровни усвоения различаются по трудности решаемых задач, а потому могут идентифицироваться только на основе анализа тех свойств отнесенных задач (продуктивность – репродуктивность деятельности обучаемого, рутинность – нерутинность задачи и т.п.), которые определяются программой и историей обучения.

Шкала измерения способностей в градациях ФГОС ВО

Модель (1) корректна с позиций дидактики и квалиметрии, но она не соответствует требованиям ФГОС ВО, поскольку не базируется на директивно введенных градациях [14,15,16]: 1) “знать” – воспроизводить и объяснять учебный материал с требуемой степенью научной точности и полноты; 2) “уметь” – решать типичные задачи на основе воспроизведения стандартных алгоритмов решения; 3) “владеть” – решать усложненные задачи на основе приобретенных знаний, умений и навыков, с их применением в нетипичных ситуациях. Для перехода от измерения способностей в шкале уровней усвоения к их определению в градациях ФГОС ВО, прежде всего, требовалось оценить соответствие этих градаций правилам построения шкал, принятым в квалиметрии, метрологии и теории педагогических измерений.

“Как измерительный инструмент переменная конструируется путем установления континуума своих значений (градаций)” [17]. Множество этих градаций должно соответствовать правилам построения шкал [17]: 1) правилу непротиворечия: объект может быть отнесен к одному и только одному классу, предусмотренному значением переменной; 2) правилу единого основания классификации: нельзя смешивать две разные переменные в одном вопросе, нельзя не учитывать изменение смысла переменной при ее перемещении в иной контекст; 3) правилу полноты: в изучаемой совокупности не должно быть ни одного объекта, не поддающегося идентификации по заданным значениям. Оценим континуум градаций “знать”, “уметь” и “владеть” на предмет соответствия этим правилам.

Согласно приведенным выше трактовкам градации “знать” и “уметь” относятся к категории уровней усвоения. При этом (см. табл. 1) градация “знать” абсолютно соответствует уровню “знания-копии”, а градация “уметь” - уровню “знания-умения (навыки)”. В отличие от них градация “владеть”, хотя и претендует на превосходство над уровнем “знания-умения (навыки)”, но с полной определенностью следующему уровню “знания-трансформации” не соответствует. Это несоответствие определяется наличием в контексте концепта градации “владеть” классификационных признаков, относящихся к различным уровням усвоения: 1) решение любых задач на основе приобретенных знаний, умений и навыков – это всегда реализация известной ООД, т.е. 3 уровень усвоения - “знания- умения (навыки)”; 2) применение приобретенных знаний, умений и навыков в нетипичных ситуациях - это всегда преобразование имеющихся стереотипов и разработка новой ООД, т.е. 4 уровень усвоения - “знания-трансформации”. Таким образом, в ряду приведенных трактовок директивных градаций “знать”, “уметь” и “владеть” нарушены правила построения шкал (правило непротиворечия и правило единого основания классификации). Поэтому рассмотрение этого континуума градаций в качестве основания шкалы не является корректным и не может обеспечить объективность результатов измерения.

Для устранения, отмеченного нарушения правил построения шкал для определения градации “владеть” была принята трактовка уровня усвоения “знания-трансформации” (см. табл. 1). Вновь принятая трактовка ни в чем не противоречит старой, поскольку “применять приобретенные знания, умения и навыки в нетипичных ситуациях” (старая формулировка) можно только, совершая “продуктивные действия, выполняемые путем самостоятельного конструирования новой ориентировочной основы деятельности” (новая формулировка) . Такая корректура трактовки градации “владеть” позволила снять ее неопределенность и установить соотношения между шкалой уровней усвоения и шкалой ФГОС ВО в виде, приведенном на рис. 2.

1                  2	Уровни усвоения
Знает	Шкала Умеет      Владеет    ФГОС ВО

Рис. 2. Соответствие шкалы ФГОС и шкалы уровней усвоения

Поскольку шкала ФГОС ВО представляет собой фрагмент шкалы уровней усвоения, то для нее модель (1) приобрела вид если F = 2& M = 2& L = 1, то N = 2 (" знать");

если F = 3& M = 3& L = 1, то N = 3(" уметь ");

N = <  если F = 4 &  M = 4 &  L = 1, то N = 4 (" владеть ");

если F = 2,3,4& M = 2,3,4& L = 0, то N <  F ;

если F = 1,2,3& M = 1,2,3& L = 2, то N = 4

где: F ^2,3,4 - уровень усвоения, диагностика которого необходима; M ^2,3,4 -уровень усвоения, определяемый по характеристикам предъявляемых задач (см. табл. 2); ^L = ⁰Д, ² - индикатор результата решения ( L = ⁰ - задача не решена или решена неверно, L = 1 - задача решена верно изученным (заданным, стандартным) способом, L = 2 -задача решена верно оригинальным способом); N - оценка сформированности профессиональной способности в шкале ФГОС ВО.

Описанные выше положения и модели являются исходными для разработки методики измерения профессиональных способностей.

Анализ подходов к разработке методики измерения способностей

Модели измерений (1,2) устанавливают соответствие результата единичного измерения отметкам шкалы ФГОС и шкалы уровней усвоения. Однако единичный результат измерения в соответствии с аксиоматикой метрологии не может быть достоверным. В частности, третья аксиома метрологии определяет, что “результат измерения без округления является случайным” [18]. Она отражает тот факт, что на результат реального измерения всегда оказывает влияние множество разнообразных, в том числе случайных факторов, точный учет которых в принципе невозможен, а окончательный итог непредсказуем. Поэтому при повторных измерениях одной и той же величины получаются неодинаковые результаты, если только не производить их округления. Процедуры округления результатов серий измерений количественных величин представляют собой последовательности алгебраические операций, которые общеизвестны и определяются в теории вероятностей и математической статистике. Однако, шкалы уровней усвоения и ФГОС, представленные на рис 2, являются шкалами порядковых величин, для которых “может быть установлено … только общее порядковое соотношение с другими величинами того же рода, но для которых не существует алгебраических операций между этими величинами” [19]. Поэтому осреднить, результаты серии измерений профессиональных способностей, полученные по модели (2), невозможно. Покажем это на примере.

Пусть испытуемому было предъявлено три новых варианта трех известных ему родовых задач ( F = ³). Пусть были получены следующие значения индикатора успешности решений испытуемого: L ¹ = ¹ (задача решена верно изученным способом), L ² = ⁰ (задача решена неверно), L = 2 (задача решена верно оригинальным способом). Полученные в соответствии с (2) результаты имеют следующий вид: N ¹ = ³ - достигнут уровень “уметь”, N ² = ⁰ - уровень испытуемого ниже уровня “уметь”, N ³ = ² - достигнут уровень “владеть”. Какие-либо основания для осреднения этих противоречивых оценок и получения достоверного результата измерений отсутствуют.

В целях разрешения подобных противоречий в метрологии определено, что достоверные значения порядковых величин должны определяться “в соответствии с принятой по соглашению методикой измерений” [19]. Такая, принятая по соглашению методика должна удовлетворять двум видам требований. Во-первых, она должна базироваться на тех закономерностях существования измеряемого свойства, которые формулируются в предметной области изучающей его научной дисциплины. Во-вторых, эта методика должна соответствовать требованиям метрологии и представлять собой “детальное описание измерения в соответствии с одним или более принципами измерений и данным методом измерений, которое основано на модели измерений и включает вычисления, необходимые для получения результата измерения” [19]. Принцип и модель измерения, соответствующие последнему требованию, были описаны выше. Поэтому для непосредственного перехода к разработке методики измерения профессиональных способностей требовалось выбрать метод измерений как “прием или совокупность приемов сравнения измеряемой величины с ее единицей или соотнесения со шкалой в соответствии с реализованным принципом измерений” [19].

В метрологии измерение определяют как “процесс экспериментального получения одного или более значений величины, которые могут быть обоснованно приписаны величине” [19]. Уровни усвоения соответствуют этому определению, а потому считаются измеримыми. Однако “измерение предусматривает … наличие средства измерений1, функционирующего в соответствии с регламентированной методикой измерений и с учетом условий измерений” [19] и “подразумевает сравнение величин и включает счет объектов” [19]. Рассматриваемые уровни усвоения являются порядковыми величинами, которые не имеют “материальной меры как того средства измерений, которое воспроизводит в процессе использования или постоянно хранит приписанные значения величин одного или более данных родов” [19]. Иначе говоря, процедура измерения в виде, в котором она представлена в метрологии, в отношении уровней усвоения реализована быть не может, поскольку эти уровни относятся не к физическим (количественно измеримым), а к нефизическим (качественно идентифицируемым) свойствам. Поэтому в метрологии “измерения не применяют в отношении качественных свойств” [19].

В теории педагогических измерений анализируемые положения трактуют иначе. Здесь “измерение рассматривается как конструирование числовой функции, изоморфно отображающей некоторую эмпирическую структуру в соответствующим образом подобранную числовую структуру” [20]. Далее все измерения разделяют на физические и нефизические, отмечая, что “в первом случае всегда присутствуют реальные объекты, а во втором, как правило, латентные (недоступные для наблюдения) признаки” [21]. Измеряя нефизические объекты, говорят об измерении не самих характеристик этих объектов, а их эмпирических референтов, которые определяются интуитивным путем. Здесь “под процедурой измерения понимается совокупность эмпирических операций, позволяющих установить оценки измеряемых характеристик и представить их в количественной или качественной шкале” [20]. Разработка процедуры измерения предполагает [22]: 1) определение латентных характеристик объектов (выбор переменных измерения и их числа); 2) определение эмпирических референтов (наблюдаемых характеристик объектов), замещающих латентные переменные; 3) выбор измерительных процедур; 4) применение измерительного инструментария; 5) выбор одной шкалы или нескольких шкал; 6) построение отображения результатов измерения на шкалу по определенным процедурам и правилам; 7) анализ и интерпретацию результатов измерения.

В отношении профессиональных способностей из перечисленных выше компонент процедуры измерения нефизических свойств не были определены измерительные процедуры и соответствующий им инструментарий.

Выбор процедур и средств измерения диагностируемых уровней профессиональных способностей

Проблема выбора процедуры и средств измерения уровней профессиональных способностей, как уже было показано выше, состоит в том, что процедуры и средства, которые используются для решения подобных задач в тестологии и педагогической практике, в метрологии измерениями не признаются. Причиной такого положения является ориентация традиционной метрологии на измерение исключительно физических величин. При этом, возможность измерения нефизических величин в теории метрологии рассматривается, но фактически не реализуется. Для разрешения этого противоречия был использован подход, предложенный И.Ф. Шишкиным [23].

Суть подхода И.Ф. Шишкина состоит в постановке в соответствие общепринятой трактовке физической величины1 адекватной трактовки нефизической величины как “нематериального свойства, общего в качественном отношении многим объектам и явлениям окружающего нас материального и духовного (идеального) мира, но в количественном отношении индивидуального для каждого из них” [23]. Эта трактовка определяет, что “нефизические величины существуют только в сознании людей либо как отражение свойств материального мира, … , либо в форме их собственного разумения, в том числе, исходя из представлений других людей” [23]. Отсюда следует, что и в качестве средства измерения нефизических величин может выступать только сознание человека.

Однако “природа не наделила человека способностью сравнивать между собой разные свойства или их проявления в числовом формате” [23]. Поэтому нематериальные свойства, существующие только в сознании людей, сами по себе измерены быть не могут. Определять количественные характеристики этих латентных свойств можно только на основе фиксации их внешних проявлений. Отсюда следует, что “измерение нематериального свойства представляет собой сравнение проявлений этого свойства и решение вопроса о том, в каком случае оно (это свойство) проявляется в большей или меньшей степени” [23]. Иначе говоря, единственным способом измерения нематериальных свойств является сравнение проявлений этих свойств по соответствующей шкале порядка.

“При измерениях по шкале порядка особую роль играет сравнение с размером, равным нулю. … У проявлений нефизических величин нет размеров, но отсутствие (то есть 0) проявлений рассматривается как отсутствие (то есть 0) нефизической величины, а факт проявления нефизической величины считается ее обнаружением” [23]. Такой подход к измерению нефизических величин реализуется в методе обнаружения, в котором количественной характеристикой измеряемой нефизической величины является число обнаружений ее проявления. И.Ф. Шишкин рекомендует реализовывать измерительную процедуру нефизической величины методом обнаружения “тогда, когда для решения измерительной задачи достаточно убедиться в самом факте существования нефизической величины” [23]. Эта рекомендация абсолютно соответствует рассматриваемой задаче измерения способностей, решение которой невозможно без достоверного обнаружения (необнаружения) факта успешности решения испытуемым диагностируемой категории отнесенных задач.

В соответствии с развиваемой в метрологии теорией индикаторов [18] в рамках однократного измерения по шкале порядка метод обнаружения может реализовываться в виде нескольких альтернативных процедур. Целям достоверного установления факта успешности решения испытуемым диагностируемой категории отнесенных задач наиболее полно соответствует “контрольно-измерительная процедура, при которой случайный размер Q (например, размер какого-нибудь серийно выпускаемого изделия при выборочном контроле) сравнивается с нормой” [18]. Реализует эту процедуру индикатор, представляющий собой “средство измерений, решающее задачу обнаружения” [18]. Применительно к цели достоверного обнаружения факта успешного решения испытуемым предъявленных ему задач этот индикатор должен выполнять две функции: 1) определять достоверное эмпирическое значение принятого показателя успешности решения задач; 2) принимать решение о достижении заданного нормативного значения показателя успешности, определяющего факт обнаружения (необнаружения) соответствия способностей испытуемого их диагностируемому уровню.

Метод обнаружения предполагает формулировку оценки решения каждой из предъявляемых решателю задач в виде дихотомической переменной j (неправильно - правильно). Поэтому формат информации, которую должен предоставлять решатель (испытуемый) о результате решения задачи, должен обеспечивать такую оценку. Требованию обеспечения оценки результата в рассматриваемом формате абсолютно соответствуют закрытые тестовые задания (ТЗ) с единственным правильным ответом. В виде такого ТЗ может быть представлена любая критериальная задача, имеющая единственное правильное решение. По мнению авторов любое учебное задание, включая учебные (критериальные) задачи, может быть представлено в виде тестового путем определения формата представления информации о результатах его выполнения. Если заданный формат отображения результата выполнения учебного задания при оценивании этого результата не требует смыслового анализа его формулировки (применения естественного языка и диалектической логики) и обеспечивает формулировку критерия (правила) оценивания в рамках формальной логики, то такое учебное задание является тестовым.

С учетом последнего и в полном соответствии с требованиями теории индикаторов ниже в качестве контрольно-измерительной процедуры будет использоваться процедура критериально-ориентированного оценивания результатов выполнения испытуемыми систем ТЗ (тестов), содержанием которых являются отнесенные задачи, соответствующие диагностируемого уровню способностей. Результаты этого тестирования будут определяться достигнутым значением p вероятности (эмпирической частости) успешного выполнения случайного ТЗ

n p==n-k

_               n      n ,                            (3)

где: i (i = 1, s ) - номер ТЗ в тесте, n ⁽ n ~ m ) - число выполненных ТЗ, k ⁽ k <  n ) - число неправильно выполненных ТЗ; j ' ⁽ j = ^0,1) результат выполнения отдельного ТЗ ( j i - верный ответ, j    - неверный ответ).

Поскольку оценка j i результата выполнения отдельного i -ого ТЗ является дихотомической переменной ⁽ j = ^0,1), то доверительный интервал (ДИ) достигнутых значений p может быть оценен по общеизвестным формулам биномиального распределения [24]:

• 1)    точная оценка ДИ:

  _pНГ

  
  

( n — k )                   ВГ _   ⁽ n ^{k +} 1) ^F 2(n - k + 1),2 k ,1 - s! 2

⁽ n ^— k ) + ⁽ k + 1) F 2( k + i),2( n - k ),1 - ^ 2           k + ⁽ n ^— k + 1) F 2( n - k + i),2 k ,i - s 2 _?      (4)

где: Р НГ , Р

ВГ

- соответственно нижняя и верхняя границы ДИ; n - число выполненных

ТЗ, k - число ошибок, а  f,ga - квантиль порядка а распределения F с f,g степенями свободы;

• 2)    приближенная оценка ДИ:

  

  „     Р ⁽¹ - Р ) _пвг

  = ^{p - и}1_ _£ /2 4 ---------, ^Р

  n

  
  

Р (1 - Р )

= Р ⁺ U 1 -S /2Х

n

где:  Р - оценка (3) частости правильного выполнения ТЗ; u1-s/2  - квантили стандартного нормального распределения порядка 1 - s /2 .

Оценка (3) позволяет сформулировать правило идентификации индикатора результата тестирования

• ¹    при p >  Р норм ; О при p <  Р норм

  
  

где: L - индикатор тестирования и достижения диагностируемого уровня способностей (

L = 1 - диагностируемый уровень достигнут, L - ⁰ - уровень не достигнут); ^Р , ^Рнюрм

‒

соответственно достигнутое и нормативное значения вероятности (частости) успешного выполнения случайного ТЗ теста.

Подстановка значения (6) индикатора результата тестирования L в (1,2) и определяет решение задачи измерения диагностируемого уровня сформированности профессиональных способностей.

Целесообразно отметить, что предлагаемая контрольно-измерительная процедура выше представлена в упрощенном виде и может быть усовершенствована. В частности, сравнение ширины ДИ ^Р = = ^{Р - Р} , определяемой по данным моделей (4,5), с ее наперед заданным нормативным значением ^Ррм°р^м позволяет определять индикаторы (6) после выполнения каждого ТЗ непосредственно в процессе тестирования. В [25,26] приведены реализации таких индикаторов и процедур их применения в целях индивидуализации рассмотренной выше контрольно-измерительной процедуры.

Методика измерения профессиональных способностей

Разработанная контрольно-измерительной процедура позволяет представить методику измерения профессиональных способностей в двух вариантах.

Первый вариант является неиндивидуализированным. Он ориентирован на выполнение теста детерминированной длины (с фиксированным числом ТЗ), может выполняться как в ручном режиме, так и с применением любых доступных компьютерных систем тестирования. При этом модели (4,5) используются только для апостериорной оценки достоверности конечных результатов тестирования. Реализация такого варианта методики предполагает следующую последовательность действий:

• 1.    Выбор из существующих альтернатив (“знать”, “уметь”,  “владеть”)

• 2.    Определение по табл. 2, характеристик задач, соответствующих диагностируемому уровню профессиональных способностей и подлежащих включению в формируемый тест.

• 3.    Формирование необходимого числа вариантов теста.

• 4.    Предъявление фиксированных вариантов теста испытуемым.

• 5.    Оценивание результатов выполнения теста по модели (3).

• 6.    Определение по модели (6) индикаторов успешности достижения испытуемыми диагностируемого уровня профессиональных способностей.

диагностируемого уровня профессиональных способностей.

Второй вариант методики (см. рис. 3) индивидуализирован с целью обеспечения заданной достоверности результатов измерения профессиональных способностей.

Рис. 3. Индивидуализированная процедура тестирования испытуемых

Суть индивидуализации состоит в адаптации длины теста к результатам действий каждого испытуемого. Эта адаптация осуществляется за счет оперативной оценки по моделям (3,4,5) результатов выполнения каждого i -ого ТЗ и прекращения тестирования при достижении заданной достоверности его результата.

Преимущества второго варианта не столь очевидны, как может показаться с первого взгляда. Так приведенные в [24,25,26] итоги обработки результатов выполнения 134 испытуемыми теста из 50 ТЗ свидетельствуют следующее:

• 1.    Уже при уровне значимости ^а = 0,10 индивидуальные оценки абсолютной ширины ^s доверительного интервала (ДИ) достаточно велики. Так после выполнения

• 2.    Снижение уровня значимости ошибки с ^а = 0, ¹⁰ до общепринятого уровня а = 0,05 приводит к увеличению длины выполняемой части теста на 5 -45 ТЗ в зависимости от значений текущих результатов тестирования.

• 3.    Влияние роста числа ТЗ на ширину ДИ уменьшается по мере роста числа выполненных ТЗ. Если при ^а = 0, ¹ второе и третье ТЗ сокращают исходную ширину ДИ соответственно на 17,0% и 10,4%, то шестое и седьмое - только на 6,3% и 4,9%. После выполнения 26 ТЗ каждое последующее ТЗ уменьшает исходную ширину ДИ менее чем на 1%. Поэтому увеличение числа выполняемых ТЗ для повышения достоверности оценок результатов тестирования эффективно только в отношении первых 20-25 ТЗ.

теста они колеблются от ^ s min = 0, ⁰⁹ при p = 0,⁹⁸⁰ до ^ s min = 0,²⁴² при p = 0,⁵⁰⁴, при этом в 86 случаях (64,2%) □ s - 0, ² .

К процедурам тестирования обычно предъявляют два основных требования: минимизации времени тестирования и обеспечения достоверности его результатов. Эти требования противоречивы по своей природе. При этом как время тестирования, так и достоверность его результатов определяются одними и теми же управляемыми

s параметрами (а - уровень значимости, n - длина теста, ^дг - нормативная ширина ДИ, pнорм ‒ нормативное значения результата тестирования). Как показано выше, влияния этих параметров друг на друга также противоречивы. Определение оптимальных значений управляемых параметров в целях индивидуализации процедур тестирования представляет собой ту актуальную проблему тестологии, без решения которой реализация второго варианта методики не имеет смысла.

Заключение

В 2016 году на страницах январского номера журнала “Образовательные технологии и общество” в отношении компетенций автор высказал два следующих положения: “Постановку в предметной области педагогики проблемы формирования и развития способностей следует рассматривать как актуальное направление педагогических исследований. А вот, попытку сформулировать эту проблему в виде требований ФГОС и переложить ее решение на плечи рядовых преподавателей иначе как бестолковой пиар-акцией назвать трудно” [2, С. 450].

Сегодня эта пиар-акция подходит к логическому завершению, а ее закономерный провал маскируется исключением из ФГОС ВО сначала специальных, а затем и профессиональных компетенций. То множество профессиональных компетенций, содержание которых автор анализировал в ФГОС ВО (версия 3) в 2017 году для выявления их дескриптора [6], во ФГОС ВО (версия 3++) отсутствует полностью. Они якобы перенесены в образовательные программы и должны определяться вузом самостоятельно в соответствии с теми их формулировками, которые приведены на сайте Министерство труда и социальной защиты России. Однако, профессиональные компетенции никуда не перенесены. Они просто уничтожены. В реестре профессиональных стандартов на сайте Минтруда России термин “компетенция” вообще не применяется. Используются понятия профессионального стандарта (ПС), трудового действия (ТД) и трудовой функции (ТФ)1.

При этом формулировки всех бывших профессиональных компетенций, а ныне трудовых функций, представленные на сайте Минтруда России (URL: включают только три составляющих: 1) описание трудового действия; 2) описание знаний, необходимых для реализации действия; 3) описание умений, которые должны быть сформированы для выполнения действия. Перечисленные составляющие в явном виде демонстрируют, что мы вернулись к традиционным для обучения целям: знаниям, умениям и навыкам.

“Попытка масштабного волюнтаристического внедрение в образовательный процесс и терминологию педагогики доморощенных трактовок избыточного и чуждого для педагогики понятия “компетенция” … для педагогической науки закончится ее полной дискредитацией” [2, С. 460]. Этот прогноз был сформулирован автором в 2016 году. В 2019 году он оправдался потому, что базировался на апробированных положениях педагогики и объективных закономерностях современных образовательных процессов. Однако, те же объективные реалии современного образования определяют актуальность решения проблемы формирования и развития, но не пресловутых профессиональных компетенций, а профессиональных способностей.

Эта актуальность определяется не конъюнктурными соображениями вхождения в Болонский процесс, а процессами автоматизации всех сфер жизнедеятельности человека, которые вызваны стремительным развитием робототехники и информационных технологий. Эти процессы исключают необходимость существования всех профессий, трудовые действия в которых могут быть представлены в виде операционного описания технологического процесса, и, наоборот, приводят к возникновению профессий, требующих решения преимущественно творческих задач (уровень усвоения “знания-трансформации”).

На решение задачи выявления подходов к формирования и развитию профессиональных способностей и была ориентирована разработка представленной выше методики. Результаты ее экспериментальной апробации будут представлены ниже.