Методика оценивания уровня сформированности компетенций в процессе обучения специалистов по эксплуатации вооружения, военной и специальной техники

Введение. В настоящее время на вооружение поступают сложные военно-технические системы, эффективность функционирования которых во многом определяется качеством подготовки эксплуатирующих их специалистов. В связи с этим возрастает практическая необходимость в обосновании и разработке требований к системе оценивания уровня освоения вооружения, военной и специальной техники (ВВСТ), обосновании классификационных и квалификационных требований к отбору, уровню подготовки специалистов и срокам их обучения, в оценке и совершенствовании учебно-тренировочных средств, разработке методов их использования. Необходимость решения подобных научных задач прежде всего обусловлена нарастающей сложностью ВВСТ, возрастающей мощностью информационных потоков в системе эксплуатации ВВСТ, сокращением времени, необходимого на разработку и постановку на вооружение новых образцов техники [4–6]. Перечисленные тенденции в целом подразумевают все более жесткие требования к уровню подготовки военных специалистов, вовлеченных в процессы эксплуатации ВВСТ. Переход к новым федеральным государственным стандартам высшего образования (ФГОС ВО 3++) требует определения количественных значений показателей уровня освоения компетенции (компетенций) у специалистов по эксплуатации ВВСТ.

Таким образом, решение задачи оценивания уровня освоения компетенций, сформированных в процессе обучения у специалистов по эксплуатации ВВСТ, является актуальным. Спектр компетенций для военных специалистов весьма широк и включает десятки компетенций, уровень сформированности которых представляется исключительно важным.

Перечень компетенций, которые необходимы для эксплуатации ВВСТ, приведен во ФГОС ВО 3++, в частности для специалистов, выпускников ВКА имени А.Ф. Можайского, эксплуатирующих ракетно-космическую технику, во ФГОС ВО 3++ по специальности 24.05.01 «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов» [10], а также в квалификационных требованиях к военно-профессиональной подготовке выпускников (КТ). Однако то, как оценить степень их освоения, не уточняется.

На текущий момент уровень сформиро-ванности компетенций оценивается опосредовано по результатам сдачи зачетов и экзаменов по конкретным учебным дисциплинам. В результате формальная оценка сформированно-сти компетенций у военных специалистов не обязательно приводит к появлению интегральной способности применять на практике навыки, подготовку, образование и опыт, необходимые для выполнения их функций и обязанностей, и выполнять сложные задачи профессиональной направленности на высоком уровне мастерства.

Исходя из изложенного, можно сделать вывод о необходимости определения количественных значений показателей уровня профессиональной и личной компетентности у военных специалистов по эксплуатации ВВСТ в процессе обучения и разработки соответствующей методики оценивания.

Методика оценивания уровня сфор-мированности компетенций . Анализ публикаций в этой области реализации образовательного процесса в вузе на базе ФГОС ВО 3++ позволил сформулировать ряд аспектов, препятствующих решению обозначенной задачи [1–3; 7; 9]:

Согласно требованиям ФГОС ВО 3++, для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей образовательной программы вуз создает и утверждает фонды оценочных средств для проведения текущего контроля успеваемости и промежуточной аттестации. Эти фонды могут включать контрольные вопросы и типовые задания для практических занятий, лабораторных и контрольных работ, коллоквиумов, зачетов и экзаменов; тесты и компьютерные тестирующие программы; примерную тематику курсовых работ, рефератов и т. п., а также иные формы контроля, позволяющие оценить степень сформирован-ности компетенций у обучающихся.

Вузу также рекомендуется на основе требований ФГОС ВО 3++ по соответствующему направлению подготовки разработать:

• –    матрицу соответствия компетенций, составных частей образовательной программы и оценочных средств;

  – методические рекомендации преподавателям по разработке системы оценочных средств и технологий для проведения текущего контроля успеваемости по дисциплинам (модулям) образовательной программы (заданий для контрольных работ, вопросов для коллоквиумов, тематики докладов, эссе, рефератов и т. п.);

  – методические рекомендации преподавателям по разработке системы оценочных средств и технологий для проведения промежуточной аттестации по дисциплинам (модулям) образовательной программы (в форме зачетов, экзаменов, курсовых работ / проектов и т. п.) и практикам.

Рис. 1. Методика оценивания уровня сформированности компетенций в процессе обучения

Предлагаемая методика оценивания уровня сформированности компетенций у военных специалистов учитывает перечисленные аспекты при определении количественных значений показателей уровня профессиональной и личной компетентности в процессе обучения и включает следующие этапы (рис. 1):

• 1)    ранжирование компетенций по их роли в формировании профессиональной компетентности у военного специалиста и распределение учебного времени на формирование компетенций.

• 2)    распределение учебного времени между учебными дисциплинами для их успешного освоения.

• 3)    оценивание сформированности компетенций по результатам промежуточных аттестаций; разработка шкал оценивания компетенций.

• 4)    определение общего уровня профессиональной компетентности у специалиста; разработка шкалы оценивания профессионального уровня специалиста-выпускника.

Для решения поставленной задачи предлагается на первом этапе произвести ранжирование компетенций по их роли в формировании профессиональной компетентности у военного специалиста, вовлеченного в процессы эксплуатации ВВСТ. Возникает непростая задача в достаточно надежном определении компетенций, которые в значительной степени влияют на уровень профессиональной подготовки специалиста, во избежание упущения наиболее существенных из них и в выделении для формирования этих компетенций достаточного количества учебного времени. Поэтому необходимо заблаговременно, до начала учебного процесса, из всего множества компетенций, которые устанавливаются ФГОС ВО 3++ и КТ, выделить такое их подмножество, которое вносит существенный вклад в формирование профессиональной компетентности у во- енного специалиста, при этом обеспечивая качественное формирование всех компетенций.

Для этого мы воспользуемся методом экспертных оценок с последующей проверкой степени согласованности мнений специалистов с помощью метода ранговой корреляции [8]. Пусть имеем совокупность компетенций х ₁, х ₂, …, х_n . Специалистам m предлагается проранжировать компетенции, расположив их в ряд в соответствии с возрастанием (убыванием) степени их влияния на формирование профессиональной компетентности у специалиста. Результаты ранжирования могут быть представлены в виде табл. 1.

Если компетенции проранжированы в порядке возрастания степени их влияния на уровень формирования профессиональной компетентности у специалиста, то наибольшую сумму будет иметь компетенция, сильнее других влияющая на профессиональный уровень его подготовки. Поэтому компетенциям, набравшим большее количество баллов (рангов), необходимо уделять больше времени и, соответственно, для них выделяется больше зачетных единиц.

При таком ранжировании могут происходить сбои, вызванные квалификацией и опытом специалистов, их объективностью и т. д. Поэтому тщательный отбор специалистов и увеличение их количества повышает степень доверия к полученным результатам. В качестве экспертов возможно привлечение не только преподавателей, ведущих учебные дисциплины, но и преподавателей выпускающей кафедры, а также представителей профессиональной среды. Отобранные специалисты должны быть объективны, компетентны и независимы друг от друга.

В результате опроса мнения специалистов в отношении некоторых компетенций будут расходиться, поэтому суммы рангов по компетенциям окажутся разными. Конечная сумма

Таблица 1

Ранжирование компетенций

Специалисты Компетенции х1 х2 х3 х4 х5 х к 1 х11 х21 х31 х41 х51 х к1 2 х12 х22 х32 х42 х52 х к2 3 х13 х23 х33 х43 х53 хк3 4 х14 х24 х34 х44 х54 хк4 5 х15 х25 х35 х45 х55 х к5 m х1m х2m х3m х4m х5m х кm рангов будет основанием для определения количества зачетных единиц, необходимых для качественного формирования компетенций.

По результатам ранжирования определяем количество зачетных единиц, необходимых для формирования каждой компетенции:

где Y ‒ общее количество зачетных единиц, которые устанавливаются ФГОС ВО; Xi ‒ сумма рангов по i-ой компетенции; х ‒ сумма рангов по всем компетенциям.

Таким образом, использовав метод экспертных оценок, с последующей проверкой степени согласованности мнений специалистов с помощью метода ранговой корреляции, распределяем учебное время между всеми компетенциями в зависимости от их вклада в формирование профессиональной компетентности у военного специалиста, эксплуатирующего ракетно-космическую технику.

На втором этапе, используя описанный выше метод, распределяем учебное время на освоение учебных дисциплин, участвующих в формировании компетенций, или осуществляем подбор необходимых для организации учебного процесса дисциплин.

На третьем этапе количественно оцениваем уровень сформированности компетенций у выпускников и определяем итоговую оценку за сформированную компетенцию по результатам промежуточных аттестаций. С этой целью делаем следующее.

• •    Определяем коэффициент значимости каждой учебной дисциплины (т,т«):

5, т, =

где δ _i – количество зачетных единиц по учебной дисциплине, выделенное на формирование компетенции.

Величина δi определяется аналогично αi с учетом матрицы компетенций, входящей в со- став основной профессиональной образовательной программы.

• •    Определяем относительную оценку (z_i) по каждой учебной дисциплине с учетом коэффициента значимости:

где xi – это оценка по учебной дисциплине, выставленная на промежуточной аттес- тации.

• • Определяем итоговую оценку (z) по

сформированной компетенции:

Разрабатываем шкалы оценивания компетенций.

На четвертом этапе определяем уровень профессиональной компетентности у специалиста.

Определим вес (V) каждой дисциплины в сформированной компетенции в баллах следующим образом:

И = 6, X п0, (5)

где Му– повышающий коэффициент, например Ио = 100.

В заключение разрабатываем шкалы оценивания профессионального уровня специалиста-выпускника.

Разработанную методику рассмотрим на частном примере для ФГОС ВО 3++ по специальности 24.05.01 «Проектирование, производство и эксплуатация ракет и ракетно-космических комплексов». Допустим, 3 специалиста ранжируют 11 универсальных компетенций, установленных ФГОС ВО 3++ по специальности 24.05.01. Ранжирование производится в порядке возрастания степени влияния компетенции на уровень профессиональной подготовки специалиста от 1 до 11. На формирование всех компетенций выделено 30 зачетных единиц. Результаты ранжирования представлены в табл. 2.

Таблица 2

Результаты ранжирования компетенций

Специалисты	Компетенции
		гч						оо
1	11	11	8	5	10	8	5	8	4	11	9
2	9	8	9	5	11	7	6	8	3	10	9
3	10	9	9	4	8	9	5	7	4	9	10

По формуле (1) рассчитаем количество зачетных единиц α_i , оптимально необходимое для формирования каждой компетенции, что представлено в табл. 3 и на рис. 2.

Для нашего примера оценим степень согласованности мнений специалистов с помощью метода ранговой корреляции [1]. Для этого определим среднее значение ряда, составленного из сумм в столбцах табл. 2, которое будет равно

1 х= -ш(к+ 1), где m – число специалистов; к – число компетенций.

Следовательно, при m = 3 и к = 11 -V =18.

Вычитаем из каждого числа ряда (табл. 2) среднее значение ( X_i – x̄ ) = d_i и возведем полученное значение в квадрат, находим величину d ² (табл. 4).

ⁱ Сложив числа последней строчки, находим величину 803.

Для оценки степени согласия рядов ранжирования всех специалистов будем использовать коэффициент конкордации (согласия)

где t_j – число повторений одинаковых рангов у j -го специалиста.

В нашем примере:

1 1 =    [(2³-2)+2(3³-3)] = 4,5;

1 2 = ^: ' [(2³-2)+(3³-3)] = 2,5;

1 3 = :: [2(2³-2)+(4³-4)] = 6.

Таким образом, коэффициент согласия будет равен W = 0,82.

Необходимо проверить значимость величины W с помощью критерия . Поскольку к > 7, используем – критерий. Для 5-процентного уровня значимости и числа степеней свободы f = к -1 = 10 табличное значение критерия

Чтобы коэффициент согласия был значимым, необходимо выполнение условия

2      2

X " Хтаол

Вычисленное значение данного критерия определим по формуле

X

2 _

—7П(к³-к)-— I™, tj

12 ^{4 у} к-1 J=1 J

= 25,3 > 16,9.

Следовательно, согласие в мнениях специалистов есть, и гипотезу о согласии на 82% можно принять.

Далее осуществляем распределение учебного времени на освоение учебных дисциплин, участвующих в формировании компетенций. В качестве примера рассмотрим одну из одиннадцати рассмотренных выше компетенций – УК-1, на формирование которой необходимо выделить«.}.-_ = 3,48 ЗЕ.

Для формирования компетенции УК-1 необходимо освоить 6 учебных дисциплин:

• –    «Философию» (Ф);

• –    «Правоведение» (П);

• –    «Экономику» (Э);

• –    «Психологию и педагогику» (ПП);

• –    «Историю» (И);

• –    «Военно-политическую работу в ВС РФ» (ВПР).

Распределим учебное время на освоение учебных дисциплин, участвующих в формировании компетенции УК-1, используя метод экспертных оценок и модель (2-5), рассмотренные выше. Определим итоговую оценку по сформированной компетенции по результатам промежуточных аттестаций (табл. 5).

Таким образом, итоговая оценка по сформированной компетенции УК-1 по результатам промежуточных аттестаций с учетом веса каждой учебной дисциплины – «хорошо» (z = 3,98). Определим зависимость между количеством зачетных единиц, выделенных на освоение учебных дисциплин, и уровнем сформированности компетенции.

В качестве примера рассмотрим учебную дисциплину «Военно-политическая работа в ВС РФ» и определим зависимость между количеством выделенных на ее освоение зачетных единиц и итоговой оценкой по сформированной компетенции УК-1 (рис. 3).

Получили, что при изменении количества зачетных единиц по дисциплине «Военно-политическая работа в ВС РФ» итоговая оценка по сформированной компетенции по результатам промежуточных аттестаций может меняться кардинально (при 5 i = 0,1 ЗЕ получили z = 3,49, а при 5 i = 1,0 ЗЕ - z = 4,0).

Далее для определения уровня профессиональной компетентности специалиста разработаем шкалы оценивания компетенций. Для этого определим вес (V) каждой учебной дисциплины при формировании компетенции в баллах по формуле (5) (см. табл. 6).

Таблица 3

Количество зачетных единиц, оптимальное для формирования каждой компетенции

Специалисты	Компетенции
		(М				40 >		ОО >	04 >
X i	30	28	26	14	29	24	16	23	11	30	28
я,	3,48	3,24	3,01	1,62	3,36	2,78	1,85	2,67	1,27	3,48	3,24

Таблица 4

Результаты расчетов

	Компетенции
		(М				40		ОО	04
d i	12	10	8	-4	11	6	-2	5	-7	12	10
	144	100	64	16	121	36	4	25	49	144	100

Рис. 2. Количество зачетных единиц, оптимальное для формирования каждой компетенции

Рис. 3. Зависимость между количеством зачетных единиц, выделенных на освоение учебной дисциплины «Военно-политическая работа в ВС РФ», и уровнем сформированности компетенции УК-1

Сложив числа нижней строки, получили максимальное возможное количество баллов, необходимое для формировании компетенции УК-1, равное 264. Учитывая вес каждой учебной дисциплины при формировании компетенции УК-1 (табл. 6), построим шкалу оценивания данной компетенции (табл. 7).

Для перехода от 5-балльной к многобалльной системе (компетенция УК-1) воспользуемся формулой линейной интерполяции. Тогда при z = 3,98, получим К_г = 215 Другими словами, полученная итоговая оценка «хорошо» по компетенции УК-1 при z = 3,98 соответствует 215 баллам.

Аналогичным образом определяются итоговые оценки и строятся шкалы оценивания всех компетенций, которые приведены во ФГОС ВО3++ и КТ. Это дает возможность определить общий уровень профессиональной компетентности специалиста, для чего необходимо просуммировать количество баллов по результатам оценивания сформированно-сти всех компетенций, как представлено, например, на рис. 3.

Таким образом, предлагаемая методика оценивания уровня сформированности компетенций у специалистов по эксплуатации РКТ в процессе обучения позволяет численно оценить не только сформированность компетенций, но и общий уровень профессиональной компетентности.

Заключение. Квалификационные требования к военно-профессиональной подго- товке выпускников обусловливают необходимость решения задачи оценивания уровня освоения компетенций, сформированных в процессе обучения специалистов по эксплуатации ВВСТ. Сейчас уровень сформирован-ности компетенций оценивается опосредовано по результатам сдачи зачетов и экзаменов по учебным дисциплинам. Исходя из этого, можно сделать вывод о необходимости определения количественных значений показателей уровня профессиональной и личной компетентности военных специалистов по эксплуатации ВВСТ в процессе обучения и разработки соответствующей методики оценивания.

Разработанная методика включает этапы по ранжированию компетенций согласно их ролям в формировании профессиональной компетентности военного специалиста. Это позволяет не упустить наиболее существенные из них, построить шкалы оценивания компетенций, определить вес каждой дисциплины в сформированной компетенции с привлечением экспертов, определить итоговую оценку по сформированной компетенции по результатам промежуточной аттестации и уровню профессиональной компетентности специалиста-выпускника. В работе показана зависимость между количеством зачетных единиц, выделенных на освоение учебной дисциплины, и уровнем сформированности компетенции.

Методика по завершению освоения основной профессиональной образовательной программы позволяет:

Рис. 4. Общая шкала оценивания профессиональной компетентности специалиста

Таблица 5

Определение итоговой оценки по компетенции

Параметр	Ф	П	Э	ПП	И	ВПР
1. δ i	0,3	0,25	0,45	0,65	0,65	0,94
2. mi	0,0926	0,0772	0,1389	0,2006	0,2006	0,2901
3. x i	3	5	3	3	4	5
4. zi	0,2778	0,3858	0,4167	0,6019	0,8025	1,4506
z = 3,98

Таблица 6

Дисциплина Параметр	Ф	П	Э	ПП	И	ВПР
V	30	25	45	65	5	94

Шкала оценивания компетенции УК-1

Таблица 7

5-балльная система	Многобалльная система	Оценка
4,5 – 5	231–264	5
3,5 – 4,49	201–230	4
2,5 – 3,49	171–200	3

Определение веса учебных дисциплин при формировании компетенции УК-1

• 1)    оценить сформированность всех компетенций, установленных ФГОС и квалификационными требованиями к военно-профессиональной подготовке выпускников;

• 2)    оценить общий профессиональный уровень подготовки специалиста-выпускника вуза.

24.05.01 рассмотрен механизм применения предлагаемой методики оценивания уровня сформированности компетенций у специалистов по эксплуатации РКТ в процессе обучения.

На частном примере для ФГОС ВО 3++