Результаты апробации методики измерения профессиональных способностей и выявленные закономерности формирования их отдельных уровней

Основания апробируемой методики измерения профессиональных способностей представлены авторами в [1,2,3,4,5].

Реализация методики  предполагала  следующую последовательность действий:

• 1.    Выбор из существующих альтернатив (“знания-знакомства”, “знания-копии”, “знания-умения (навыки)”, “знания- трансформации”) диагностируемого уровня профессиональных способностей.

• 2.    Определение по табл. 1, характеристик задач, соответствующих диагностируемому уровню профессиональных способностей и подлежащих включению в формируемый тест.

• 3.    Формирование необходимого числа вариантов теста.

• 4.    Предъявление вариантов теста испытуемым.

• 5.    Оценивание результатов выполнения теста по модели

n

Z j n - k

, n

p =   ¹

n где: i (i = 1,5) - номер ТЗ в тесте, n (n < m) - число выполненных ТЗ, k (k < n) - число неправильно выполненных ТЗ; j (j = 0,1) результат выполнения отдельного ТЗ ( j = 1 - верный ответ, j = 0 - неверный ответ).

Таблица 1

Характеристики задач, предъявляемых на диагностируемых уровнях усвоения

Уровень Название уровня усвоения Поведенческий индикатор сформированности уровня усвоения Характеристики предъявляемых задач (множество допустимых задач) 1 Знания-знакомства Решение критериальной задачи по внешне заданному алгоритму Любая ранее не решавшаяся задача, к которой прилагается инструкция по ее решению (множество ранее не решавшихся критериальных задач, имеющих инструкции по их решению) 2 Знания-копии Самостоятельное решение       известной критериальной задачи Любая ранее решенная обучаемым задача (множество ранее решенных критериальных задач) 3 Знания-умения, навыки Решение новой критериальной задачи, являющейся вариантом известной родовой задачи Любой ранее не решавшийся вариант известной родовой задачи (множество ранее не решавшихся вариантов известных родовых задач) 4 Знания-трансформации Разработка ориентировочной основы решения новой родовой задачи и ее реализация в отношении предъявленной критериальной задачи Любой вариант формулировки неизвестной обучаемому родовой задачи (множество вариантов реализации неизвестных обучаемому родовых задач) 6.  Определение  индикатора L успешности достижения испытуемым диагностируемого уровня профессиональных способностей по модели J 1  при p > Рнорм; L   ] А                      ,            (2) 0 при  p < Рнорм где: L ‒ индикатор тестирования и достижения диагностируемого уровня способностей ( L = 1 - диагностируемый уровень достигнут, L = 0 - уровень не достигнут); р, р -соответственно достигнутое и нормативное значения вероятности (частости) успешного выполнения случайного ТЗ теста.

Цели и модель педагогического эксперимента

Цели эксперимента включали: 1) оценку работоспособности методики измерения профессиональных способностей; 2) выявление факторов, предопределяющих успешность формирования профессиональных способностей на различных уровнях усвоения (“знания-знакомства”, “знания-копии”, “знания-умения (навыки)”, “знания- трансформации”).

Достижение второй цели требовало определения номенклатуры факторов, обусловливающих результаты формирования профессиональных способностей. В качестве таковых при разработке модели эксперимента были приняты факторы, структура которых (см. рис. 1) была обоснована авторами в [5].

Было известно, что факторы обучающего воздействия, вида используемой дидактической системы, уровня мотивации и уровня обучаемости обучаемого действуют на первых трех уровнях усвоения (“знания-знакомства”, “знания-копии”, “знания-умения (навыки)”) и определяют уровень обученности обучаемого. В отношении четвертого уровня усвоения “знания- трансформации” имелись сведения, что он определяется как уровнем обученности, так и свойством креативности обучаемого.

На основании этой информации для достижения цели оценки работоспособности методики измерения профессиональных способностей были выбраны уровни усвоения “знания-умения (навыки)” и “знания- трансформации”.

Рис. 1. Структура факторов, определяющих успешность формирования профессиональных способностей [5]

В эксперименте предполагалось оценивать результаты одного и того же процесса обучения. Это обстоятельство позволило принять допущение о возможности рассмотрения влияния используемой дидактической системы (хг), обучающих воздействий обучающего (х2), обучаемости (х3) и учебной мотивации (х4) в качестве единого фактора U = (x,, x2, x3, х4), представленного уровнем обученности обучаемого и определяющего его результаты на всех уровнях сформированности профессиональных способностей. В контексте этого допущения модель эксперимента приняла вид, представленный на рис. 2.

Рис. 2. Модель педагогического эксперимента

Организация и результаты педагогического эксперимента

Эксперимент проводился на материалах дисциплины “Высшая математика”. В нем участвовали две группы курсантов 2 курса: 1) обучающая группа (ЭГ 1), включавшая 93 курсанта; 2) независимая группа (ЭГ 2), включавшая 35 курсантов. Результаты ЭГ 1 использовались для определения моделей формирования профессиональных способностей на исследуемых уровнях “знания-умения (навыки)” и “знания-трансформации”. Результаты ЭГ 2 использовались в целях оценки критериальной валидности полученных моделей. Курсанты обеих групп прошли обследование по опроснику “Определение типов мышления и уровня креативности (методика Дж. Брунера)”.

Обеим группам в течение одной недели было предложено выполнить два теста, каждый из которых состоял из 10 ТЗ. Тест №1 (“Умения”) включал не решавшиеся ранее варианты известных родовых задач и предназначался для оценки уровня “знания-умения (навыки)”. Тест №2 (“Способности”) был ориентирован на диагностику уровня “знания - трансформации” и включал задачи, алгоритмы решения которых в процессе обучения не рассматривались, но могли быть самостоятельно разработаны испытуемыми на основе полученных при обучении знаний.

Обобщенные результаты выполнения этих тестов, а также оценки зависимостей, рассматриваемых при их анализе характеристик представлены в табл. 2 и табл. 3.

Таблица 2

Результаты обследования и тестирования обучающей группы ЭГ 1

Значения характеристик	x 5 -уровень креативности (в баллах методики Дж. Брунера)	Y 0 – исходная оценка обученности (балл по ЕГЭ)	Y 1 - результат выполнения теста №1 (Умения)	Y 2 - результат выполнения теста №2 (Способности)
Мода	8	56	8	0
Медиана	8	56	8	0
Математическое ожидание	8,183	56,000	7,849	0,387
Стандартное отклонение	2,157	15,845	1,567	0,781

Таблица 3

Корреляции исследуемых характеристик по Спирмену в группе ЭГ 1

Характеристика	Значение	Креативность	Балл по ЕГЭ	Умения	Способности
Креативность	r S	1	,055	,062	,338**
	Знч. (2-ст.)		,600	,552	,001
Балл по ЕГЭ	r S	,055	1	,391**	,278**
	Знч. (2-ст.)	,600		,000	,007
Умения	r S	,062	,391**	1	,163
	Знч. (2-ст.)	,552	,000		,119
Способности	r S	,338**	,278**	,163	1
	Знч. (2-ст.)	,001	,007	,119

**. Корреляция значима на уровне 0,01 (2-сторонняя).

В соответствии с полученными оценками итоги выполнения теста №1 (Умения) значимо коррелировали только с уровнем обученности, измеряемым показателем Y 0 (балл по ЕГЭ). В отличие от них, результаты теста №2 (Способности) имели значимую зависимость как от уровня обученности, так и от уровня креативности испытуемых.

Обработка экспериментальных данных производилась средствами SPSS v. 19. В соответствии с рекомендациями А.Д. Наследова [6] в качестве исходной формы отображения соотношений, представленных на рис. 2, рассматривались линейные регрессионные модели.

Выбор альтернативных вариантов моделей производился в соответствии с правилом включения в модель всех предикторов (независимых переменных), имеющих статистически значимые эмпирические связи с откликами. Выбор конкретного вида искомой модели осуществлялся по частному F -критерию (статистике Фишера, F -тесту). Значимость предикторов моделей определялась по отношению t нестандартизированного коэффициента предиктора к своей стандартной ошибке.

Вид модели Y1 “Умения”

Результаты исследования альтернативных вариантов модели Y 1 “Умения” методами однофакторного дисперсионного анализа для представлены в табл. 4.

Таблица 4

Сводка SPSS для вариантов модели “Умения”

Модель	Н	R -квадрат	Скор-ректи-рован-ный R -квадра т	Стандартна я ошибка оценки	Изменения статистик
					Изменения R квадра т	Изменения F	ст.св .1	ст.св .2	Значимость изменения F
1	,392	,154	,145	1,449	,154	16,548	1	91	,000
2	,393	,154	,136	1,457	,154	8,214	2	90	,001

• 1.    Предикторы: ЕГЭ

• 2.    Предикторы: ЕГЭ, Креативность

Наилучшие показатели по F -тесту ( F = 16,548 при а = 0,000 < 0,01) были у модели Умения =< ЕГЭ >  . Значения и оценки значимости единственного предиктора ЕГЭ этой модели приведены на рис. 3.

Коэффициенты3

Модель Нестандартизованные коэффициенты Станда ртизова иные коэффи циенты t Знч. 99,0%% доверительный интервал для В В Стд. Ошибка Бета Нижняя граница Верхняя граница 1       (Константа) ЕГЭ 5,677 ,039 ,555 ,010 ,392 10,234 4,068 ,000 ,000 4,218 ,014 7,137 ,064 а. Зависимая переменная: Умения

Рис. 3. Характеристики компонент модели Умения = ( ЕГЭ}

Модель Умения =< ЕГЭ >  соответствовала всем предъявленным выше требованиям: 1) ее предиктор Y (балл ЕГЭ по математике) являлся единственным параметром (см. табл. 3), имеющим значимую связь с оцениваем уровнем способностей Y ; 2) сама модель и ее единственный предиктор являлись значимыми. В соответствии с этими характеристиками модель Умения =< ЕГЭ >  была принята для целей прогнозирования сформированности уровня «знания - умения (навыки)” профессиональных способностей в следующем виде

К = 5,677 + 0,039Y,(8)

где: Y_o ( Y е [27,88]) - балл ЕГЭ по математике.

В стандартизированном виде модель (8) может быть представлена как

К0 = 0,392Y0,(9)

n Y -    n Y - К где: Yo0 = —----; К0 = —---- - соответственно стандартизированное значение Y и К;

• <7„<7„

• Y ₀ Y ₁

К . К - соответственно среднее значение К и К ; ст, , с т„  - соответственно

0     1                                                                                     0            1         Y0

стандартное отклонение Y и Y .

Наглядно результаты прогнозирования по модели (8) и разброс экспериментальных данных группы ЭГ №1 представлены на рис. 4.

Рис. 4. Оценка по модели (8) и фактический разброс результатов выполнения теста №1 обучающей группой

Вид модели Y2 “Способности”

Все значимые связи с откликом Y 2 “Способности” включала единственная модель Способности = Креативность , ЕГЭ } . Результаты исследования этой модели методами однофакторного дисперсионного анализа представлены в табл. 5. и на рис. 5.

Таблица 5

Сводка SPSS для вариантов модели “Способности”

Модель	Н	R -квадрат	Скор-ректи-рован-ный R -квадра т	Стандартна я ошибка оценки	Изменения статистик
					Изменения R квадра т	Изменения F	ст.св .1	ст.св .2	Значимость изменения F
1	,517	,268	,251	,67543	,268	16,446	2	90	,000

1. Предикторы: ЕГЭ, Креативность

Коэффициенты3

Модель Нестандартизован Стандарт зованные коэффици енты t Знч. 99,0%% доверительный интервал для В ныекоэфс рициенты в Стд. Ошибка Бета Нижняя граница Верхняя граница 1        (Константа) -1,676 ,367 -4,573 ,000 -2,641 -,712 Креативность ,135 ,033 ,373 4,135 ,012 ,049 ,221 ЕГЭ ,017 ,004 ,347 3,848 ,000 ,005 ,029 а. Зависимая переменная: Способности

Рис. 5. Характеристики предикторов модели

Способности = (Краатвнность.. ЕГЭ

Результаты F -теста ( F = 16,446 при а = 0,000 < 0,01), представленные в табл. 5, свидетельствовали, что сама по себе модель значима. Вместе с тем, приведенная на рис. 5 оценка а = 0,012 >  0,01 предиктора х, (креативность) указывала, что он необходимой значимостью не обладает и должен быть исключен из модели. Однако исключение этого предиктора из модели Способности = ( Креативность , ЕГЭ , хотя и обеспечивало необходимый уровень значимости оставшегося предиктора ЕГЭ, но противоречило правилу включения в модель всех предикторов, имеющих статистически значимые связи с откликами. В целях разрешения этого противоречия в отношении данных эксперимента по оценке отклика Y 2 “Способности” были применены средства многофакторного дисперсионного анализа, обеспечивающего учет как самих предикторов, так и их взаимодействий. В результаты была получена модель Способности =< ЕГЭ , Креативность, ЕГЭ * Креативность > , характеристики которой представлены на рис. 6.

Оценка эффектов межгрупповых факторов

Зависимая переменная:Способности

Источник Сумма квадратов типа III ст.св. Средний квадрат F Знч. Частная Эта в Квадрате Скорректированная модель 47,648а 63 ,756 2,606 ,003 ,850 Свободный член 13,291 1 13,291 45,794 ,000 ,612 ЕГЭ 20,778 23 ,903 3,113 ,002 ,712 Креатив 2,676 10 ,268 ,922 ,527 ,241 ЕГЭ * Креатив 8,337 29 ,287 ,991 ,510 ,498 Ошибка 8,417 29 ,290 Всего 70,000 93 Скорректированный итог 56,065 92 a. R квадрат = ,850 (Скорректированный R квадрат= ,524)

Рис. 6. Результаты многофакторного анализа влияния предикторов x (ЕГЭ) и x (креативность) на итоги выполнения теста №2 (“Способности”)

Модель Способности =< ЕГЭ , Креативность, ЕГЭ * Креативность >  обеспечивала приемлемый уровень значимости а = 0,003 < 0,01. Но уровень значимости а = 0,527 >  0,01 предиктора х ₅ (креативность) были незначим. Поэтому предиктор х₅ (креативность) подлежал удалению из модели. Однако, средствами многофакторного дисперсионного анализа он не мог быть удален, поскольку его удаление приводило к удалению его взаимодействий. Поэтому далее компонента ЕГЭ * Креативность рассматривалась как самостоятельный предиктор, а для анализа модели

Способности =< ЕГЭ , Креативность, ЕГЭ * Креативность >  применялись средства однофакторного дисперсионного анализа. Стандартная сводка результатов этого анализа модели Способности =< ЕГЭ , Креативность, ЕГЭ * Креативность >  представлена в верхней строке табл. 6, а характеристики ее предикторов - на рис. 7.

Таблица 6

Сводка для модифицированной модели “Способности”

Мо-дел ь	Н	R -квадрат	Скор-ректи-рован-ный R -квадра т	Стандартна я ошибка оценки	Изменения статистик
					Изменения R квадра т	Изменения F	ст.св .1	ст.с в.2	Значимость изменения F
1	,603	,364	,342	,63319	,364	16,945	3	89	,000
2	,570	,324	,317	,64513	,324	43,707	1	91	,000

• 1.    Предикторы: ЕГЭ, Креативность, ЕГЭ*Креативность

• 2.    Предикторы: ЕГЭ*Креативность

Коэффициенты3

Модель Нестандартизованны е коэффициенты Стандарт изованн ые коэффиц центы 1 Знч. 99,0%% доверительный интервал для В В Стд. Ошибка Бета Нижняя граница Верхняя граница 1       (Константа) 1,316 ,886 1,484 ,141 -1,017 3,649 ЕГЭ*Креатив ,006 ,002 1,488 3,662 ,000 ,002 ,01 0 Креативность -,223 ,103 -,61 7 -2,178 ,032 -.493 ,047 ЕГЭ -,034 ,015 -,690 -2,334 ,022 -.072 ,004 а. Зависимая переменная: Способности

Рис. 7. Характеристики предикторов модели

Способности = ККраативноапь, ЕГЭ , Креативность * ЕГЭ)

Приведенные на рис. 7 уровни значимости предиктора x (креативность) p = 0,032 >  0,01 и предиктора х „ (ЕГЭ) p = 0,022 >  0,01, определяли необходимость их удаления из модели. В результате удаления этих предикторов была получена модель Способности = ( Креативность * ЕГЭ') , имеющая следующий натуральный вид

Y 2 =- 0,686 + 0,002 х ₀ х ₅ ,           (10)

где: х ₀ ( х ₀ е [0,100]) - балл ЕГЭ по математике; х ₅ ( х ₀ е [0,15]) - оценка креативности (балл по методике Дж. Брунера).

Наглядно модель (10) представлена на рис. 8.

Рис. 8. Закономерности изменения результатов выполнения теста №2 (Способности) по модели (10)

В стандартизированном виде модель (10) была представлена как

Y⁰ = 0,570 x₀ ¹ x ₅¹,

где Y = Y Y , x 0 x 0 ^^

x_ox ₅ - x_ox₅

7 x ₀ x ₅

Результаты оценки значимости ( F = 43,707 при p = 0,000 <  0,01) самих моделей (10,11), приведены в нижней строке табл. 6, а оценки значимости их предиктора – на рис. 9.

Коэффициенты3

Модель Нестандартизованные коэффициенты Стандарт и зованные коэффици енты t Знч. 99,0%% доверительный интервал для В В Стд. Ошибка Бета Нижняя граница Верхняя граница 1       (Константа) ЕГЭ*Креатив -,686 ,002 ,176 ,000 ,570 -3,908 6,611 ,000 ,000 -1,148 ,001 -,224 ,003 а. Зависимая переменная: Способности

Рис. 9. Характеристики предиктора модели

Способности = КСреатиноостъ * ЕГЭ}

Таким образом, модель Способности = ^ Креативность * ЕГЭ} сама по себе значима, значим и ее единственный предиктор xx “ЕГЭ*Креатив”.

Критериальная валидность моделей (8,9,10,11) формирования профессиональных способностей на уровнях “знания-умения (навыки)” и “знания -трансформации” оценивалась путем использования этих моделей для прогнозирования результатов подготовки ЭГ 2, включавшей 35 курсантов, и последующего сравнения прогнозных оценок с фактическими результатами, полученными этой группой при выполнении теста №1 (“Умения”) и теста №2 (“Способности”). Полученные ЭГ 2 результаты представлены в табл. 7.

Таблица 7

Значения характеристик	x 0 – балл по ЕГЭ	x 5 - креативност ь	Фактические результаты		Прогнозируемые результаты
			Y 1 - тест №1 (Умения)	Y 2 - тест №2 (Способности)	Y 1 - тест №1 (Умения_ пр)	Y 2 - тест №2 (Способ-ности_пр)
Мода	56	8	8	0	8	0
Медиана	56	8	7	0	8	0
Математическое ожидание	56,000	8,183	7,286	0,143	7,849	0,387
Стандартное отклонение	15,845	2,157	0,957	0,355	1,567	0,781

Фактические и прогнозируемые результаты выполнения тестов курсантами независимой группы ЭГ 2

Выбор критерия для сравнения выборок прогнозируемых и фактических результатов выполнения тестов в ЭГ 2 определялся двумя характеристиками: 1) нормальностью распределения переменных в исследуемых выборках; 2) классификацией исследуемых выборок как несвязанных (независимых) или связанных (зависимых).

При оценке по критерию Колмогорова – Смирнова выборка “Способности” не соответствовала нормальному распределению и в отношении нее целесообразно было применять непараметрические критерии. Выборки “Умения”, “Умения_пр”, “Способности_пр”, наоборот, являлись нормально распределенными и в отношении их следовало применять параметрические критерии.

Общепринятые правила определения зависимости выборок отсутствуют. По правилам, формулируемым в математической статистике [7], пары выборок “Умения” - “Умения_пр”, “Способности” - “Способности_пр” являлись зависимыми. Однако при подходе, принятом в теории моделирования [8], они классифицировались как независимые.

Ввиду такой неоднозначности рассматриваемые пары выборок были оценены (см. табл. 8) в соответствии со всеми подходами к их классификации.

Таблица 8

Оценка критериальной валидности моделей (8,9,10,11) формирования профессиональных способностей

Вид критерия	Параметры оценивания	Оценки по критериям
		Пары несвязанных выборок		Пары связанных выборок
		“Умения”-“Умения_пр”	“Способности”-“Способности_ пр”	“Умения”-“Умения_пр”	“Способности” - “Способности_ пр”
U -критерий Манна-Уитни	U эмп	558	535
	U 0,01	413	413
	U 0,05	471	471
	Значимость различий	Значимых различий нет	Значимых различий нет

T -критерий Уилкок-сона	T эмп			223	256
	T 0,01			173	173
	T 0,05			213	213
	Значимость различий			Значимых различий нет	Значимых различий нет
t -критерий Стьюдента	t эмп	1,1	0,4	1,6	0,5
	t 0,01	2,65	2,65	2,73	2,73
	t 0,05	1,99	1,99	2,03	2,03
	Значимость различий	Значимых различий нет	Значимых различий нет	Значимых различий нет	Значимых различий нет

Представленные в табл. 8 оценки свидетельствуют, что модели (8,9,10,11) формирования профессиональных способностей на уровнях “знания-умения (навыки)” и “знания-трансформации” являются критериально валидными и могут использоваться для решения задач прогнозирования успешности достижения этих уровней профессиональных способностей.

Заключение

Результаты эксперимента подтвердили работоспособность методики измерения профессиональных способностей. Предложенная методика позволяет достоверно различать уровни сформированности способностей и исключает неопределенность в оценке диагностируемых уровней.

Модели (8,9), определяющие успешность достижения уровня “знания-умения (навыки)”, позволяют констатировать, что на этом уровне результаты испытуемых в полном соответствии с данными педагогики и психологии зависят от вида реализуемой дидактической системы, обучающих воздействий обучающего, уровня учебной мотивации и обучаемости обучаемого, и не зависят от уровня его креативности.

В отличие от них, модели (10,11) определяют, что успешность достижения уровня “знания-трансформации” зависит от сочетания уровня креативности обучаемого и того уровня обученности, который был зафиксирован у него на уровне “знания-умения (навыки)”. Особенности моделей (10,11) определяют, что значение показателя вероятности (частости) решения задач уровня “знания-трансформации” не может быть выше его оценки, полученной на уровне “знания-умения (навыки)”. При этом, если рассматривать область профессиональной деятельности как некоторое фиксированное множество задач, то одна и та же вероятность успешного их решения может быть обеспечена как за счет высокого уровня обученности при низкой креативности, так и за счет невысокого (среднего) уровня обученности при высокой креативности. Низкий уровень обученности исключает высокую успешность при любом уровне креативности.

Мультипликативный характер выявленной на уровне “знания-трансформации” зависимости индивидуальных результатов обучаемых от уровней их обученности и креативности определяет необходимость исследования того комплекса психологических характеристик, которые определяют свойство креативности.