Оценка эффективности цифрового симулятора педагогической деятельности средствами статистического анализа

Исследователи утверждают, что в русскоязычной литературе понятия «симулятор» и «тренажеры» используются как синонимы. Чаще под термином «тренажер» понимают обучающие системы, различающиеся по своему назначению. «Под тренажером понимают не только средства формирования и закрепления профессиональных

навыков» [6], но также и средства обучения, благодаря которым происходит формирование когнитивных навыков. Во многих исследованиях симуляторы представлены как «программные и аппаратные средства, создающие впечатление действительности, отображая часть реальных явлений и свойств в виртуальной среде» [10]. Профессиональный симулятор – это «инструмент, предоставляющий обучающемуся высокую степень свободы, допускающий совершение проб и ошибок» [2], предоставляющий возможность для профессиональной идентификации. «По факту цифровые симуляторы педагогической деятельности стали новой образовательной средой, обеспечивающей подготовку педагогических кадров, которая предполагает включенность в него субъектов образовательного процесса» [1].

Исследования показывают, что 10 минут пребывания студента в среде популярного симулятора педагогической деятельности TeachLivETM (используется более чем в 80 университетах) примерно эквивалентны 45–60 минутам реального обучения в классе [13; 14; 16]. Цифровой симулятор – это смоделированный класс, предо-

ГАЛЯМОВА ЭЛЬМИРА ХАТИМОВНА

Российская Федерация, город Набережные Челны

ELMIRA Kh. GALYAMOVA

Naberezhnye Chelny, Russian Federation

МАТВЕЕВ СЕМЕН НИКОЛАЕВИЧ

Российская Федерация, город Набережные Челны

SEMEN N. MATVEEV

Naberezhnye Chelny, Russian Federation

КИСЕЛЕВ БОРИС ВАСИЛЬЕВИЧ

Российская Федерация, город Набережные Челны

BORIS V. KISELEV

Naberezhnye Chelny, Russian Federation

ОЦЕНКА ЭФФЕКТИВНОСТИ ЦИФРОВОГО СИМУЛЯТОРА ПЕДАГОГИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ СРЕДСТВАМИ СТАТИСТИЧЕСКОГО АНАЛИЗА ставляющий учителям возможности попрактиковаться в применении различных навыков педагогической деятельности до выхода в реальный класс. Особенностью процесса обучения на симуляторе является имитация рабочего места, разработанного с определенной учебной целью. Такой подход имеет ряд преимуществ и возможностей по сравнению с производственной практикой в школе. Основными преимуществами являются:

• •    обучение в процессе деятельности;

• •    доступность многократной трансляции сеансов цифрового симулятора на большую аудиторию пользователей;

• •    целенаправленное планирование сценария образовательного процесса;

• •    моделирование любой среды, максимально точно имитирующей реальность без материальных затрат;

• •    наличие возможности изменения параметров учебных ситуаций;

• •    автоматическая фиксация действий пользователя программы;

• •    наличие возможности для обучающегося анализировать и исправлять свои ошибки;

• •    объективное оценивание образовательных результатов по четким критериям [1].

В исследованиях, посвященных симуляторам, часто используется термин «иммерсивное моделирование» [2]. Различают когнитивную, эмоциональную и сенсомоторную пространственную иммерсии, отражающие степень глубины эффекта погружения в виртуальную реальность [11]. Разработанный нами симулятор включает в себя только первый компонент. Когнитивный компонент иммерсии появляется у пользователя при обдумывании стратегии действий или в ходе решения задач, планирования урока и подбора дидактических средств. Иммерсивное моделирование достигается путем многократной апробации разра- ботанного сценария в реальных классах и определения типовых поведенческих сюжетов в действительности. Исследователи данного вопроса обсуждают многогранный характер взаимодействия, обращаясь к трем основным аспектам: поведенческому, эмоциональному и когнитивному взаимодействию [12]. Степень вовлеченности пользователя цифрового симулятора в учебный процесс во многом зависит от такого параметра проектирования, как возможность переноса реальных событий в виртуальную среду.

Цифровой симулятор педагогической деятельности представляет собой компьютерную программу, имитирующую работу учителя в виртуальном классе. Приступив к работе в программе, пользователь проходит 3 этапа организации учебной деятельности, моделирующей методику проектирования урока. На первом этапе происходит постановка целей и задач урока, выбор планируемых результатов в соответствии с поставленной учебной задачей. Определив ведущую форму взаимодействия с классом, пользователь программы выбирает адекватные возрасту (классу) дидактические материалы. На втором этапе будущий учитель попадает в виртуальный класс, в котором представлены 10 прототипов реальных школьников. Им необходимо решить задачу практического характера, интегрированную в симулятор. В каждый момент пользователь программы выбирает конкретные действия из предложенного списка в зависимости от принятого ранее решения. Обучающийся в ходе действий в симуляторе имеет возможность просмотреть работу любого ученика на видеозаписи или в тетради и, сделав соответствующий вывод, определить следующее действие виртуального учителя. На третьем этапе программа подводит итоги работы на цифровом симуляторе, выводит аналитические данные в виде таблицы, и вирту- альный тьютор озвучивает рекомендации для обучающегося по развитию профессиональных компетенций.

Преимущества использования виртуальных тренажеров и анализ результатов их внедрения в образовательный процесс описан в ряде работ [6]. В нашем исследовании рассматривается гипотеза о том, что обучение с применением цифрового симулятора путем принятия решений, оценки собственных действий и исправления ошибок создает более эффективную образовательную среду, чем теоретическое обучение в аудитории до выхода на педагогическую практику.

Материалы и методы исследования. Исследование нацелено на оценку эффективности предлагаемого цифрового симулятора педагогической деятельности, на мониторинг формируемых компетенций будущего учителя, а также готовности обу-чающихся-практикантов к руководству учебной деятельностью школьников. В качестве статистической базы анализа приняты следующие показатели:

• •    знания обучающимися содержания рабочей программы и требований к ее компонентам,умение выбирать формы обучения;

• •    умения, связанные с организацией работы по решению обучающимися учебной задачи, постановкой учебной задачи и организацией учебной деятельности;

• •    усвоение обучающимися способов решения учебных задач.

По итогам анализа всех типов практико-ориентированных задач, применяемых в учебном процессе, можно построить адекватную модель профессиональной деятельности современного специалиста [4]. На ее основе нами разработана методика подготовки современного учителя с применением симулятора педагогической деятельности, уровень компетенций которого будет в полной мере соответствовать требованиям профессионального стандарта педагога. Создание и адаптация предлагаемого виртуального симулятора сопровождаются оценкой его эффективности с применением методов математической обработки информации и тестирования, которое позволяет корректировать содержание моделируемой симулятором деятельности в зависимости от целевой аудитории. Для оценки эффективности предлагаемого цифрового симулятора применялись методы математической статистики на основе анализа статистических данных, полученных в результате его внедрения в образовательный процесс. К числу основных математических методов в экспериментальной педагогике можно отнести методы математической статистики, допускающие количественную и качественную оценку ситуации, позволяющие объективно доказать или опровергнуть выдвинутую гипотезу исследования.

Контингент исследования. Выборочную совокупность испытуемых составили обучающиеся 2–4 курсов направления подготовки 44.03.05 Педагогическое образование, профили подготовки «Математика и Информатика», «Математика и Физика», «Дошкольное образование и начальное образование», «Начальное образование и Иностранный язык» и слушатели курсов Института дополнительного профессионального образования Набережночелнинского государственного педагогического университета. Объем выборки составил 150 человек, сравнивались результаты испытуемых одного года обучения. Статистическая совокупность сформирована в результате индивидуальной работы обучающихся на симуляторе на платформе Moodle.

Целью опытно-экспериментальной части исследования является доказательство эффективности разработанной модели симулятора педагогической деятельности. Поставленная цель достигается в процессе решения следующих задач :

• •    определение критериев оценки сформированности общеобразовательных компетенций бакалавров высших учебных заведений в экспериментальной группе;

• •    описание этапов исследования в ходе проведения опытно-экспериментальной работы;

• •    подбор инструментов для диагностики уровня сформированно-сти общеобразовательных компетенций у участников исследования.

Для решения поставленных задач опытно-экспериментальная работа была организована в три этапа .

• 1.    Проведение первичной диагностики с целью выявления начального уровня сформированности общеобразовательных компетенций.

• 2.    Реализация модели симулятора и тренировка бакалавров на симуляторе педагогической деятельности в образовательном процессе до выхода на педагогическую практику.

• 3.    Проведение опытно-экспериментальной работы, выявление эффективности симулятора методами математической статистики.

К современным инструментам определения уровня готовности будущего учителя к работе в школе можно отнести системы анализа хода и результатов профессиональной деятельности. Примерами таких инструментов являются системы PPAT, EdTPA, ТТА [8]. Они оценивают решение студентом трех основных задач: планирование обучения; реализация образовательного процесса и диагностика достижения результатов обучающимися, работавшими с симулятором. Для определения уровня подготовки будущих учителей к выполнению перечисленных действий были выбраны следующие компетенции ОПК-3, ОПК-5, ОПК-6, ОПК-7, ОПК-8 из Федерального государственного образовательного стандарта высшего образования [10]. Сценарий цифрового симулятора педагогической деятельности включает планирование виртуального урока по за- данной теме на основе задачного подхода, демонстрацию обучающимся способности реализовывать системно-деятельностный подход, проводить рефлексивный самоотчет, его умения анализировать свои профессиональные действия и определять их эффективность. Одним из современных способов развития диагностической компетентности учителя, по мнению исследователей, является его работа с видеоматериалами уроков [3]. Видеофрагменты, полученные в ходе съемки процесса апробации сюжетного сценария урока в реальных классах, вмонтированы непосредственно в симулятор для того, чтобы усилить эффект присутствия на реальном уроке.

Группы обучающихся для участия в опытно-экспериментальной части исследования подбирались с незначительной разницей в возрасте (с одного курса), небольшими различиями в количестве юношей и девушек, одинаковой предварительной подготовкой.

Среди участников была проведена диагностика сформированных компетенций на момент подготовки к практике в школе. На первом этапе были определены уровни владения выбранными компетенциями. Нами выделены низкий (умение не сформировано); средний (умение сформировано частично) и высокий(умение сформировано) уровни. Приведем характеристики обучающихся для каждого уровня.

На низком уровне будущий бакалавр может понимать требования федеральных государственных образовательных стандартов (далее – ФГОС) к организации совместной и индивидуальной учебной деятельности,но не способен их опираться на них в своей работе в полном объеме(ОПК-3). Способен осуществлять контроль образовательной деятельности и оценку ее результатов без учета трудностей в обучении (ОПК-5). Не использует технологии, необходимые в индивидуальном обучении, в профес-

ОЦЕНКА ЭФФЕКТИВНОСТИ ЦИФРОВОГО СИМУЛЯТОРА ПЕДАГОГИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ СРЕДСТВАМИ СТАТИСТИЧЕСКОГО АНАЛИЗА сиональной деятельности(ОПК-6). Не способен эффективно взаимодействовать с участниками образовательных отношений (ОПК-7). Не умеет применять полученные научные знания в практической деятельности (ОПК-8).

На среднем уровне обучающийся понимает, как самостоятельно организовывать образовательную деятельность, но не опирается на образовательные потребности школьника в соответствии с требованиями ФГОС (ОПК-3). Работа построена на интуитивном сценарии. Осуществляет контроль образовательной деятельности и оценку результатов выполнения учениками заданий, корректирует некоторые проблемные этапы в процессе занятий в классе (ОПК-5). Не системно использует психолого-педагогические технологии в профессиональной деятельности (ОПК-6). Включает в образовательный процесс элементы воспитательной деятельности, но не понимает особых образовательных потребностей обучающихся (например, потребностей детей с ограниченными возможностями здоровья; ОПК-7). Эффективно строит взаимодействие с обучающимися в ходе реализации образовательных программ. По аналогии (по заданному шаблону) применяет в своей деятельности специальные научные знания (ОПК-8).

На высоком уровне обучающийся способен организовывать совмест- ную и индивидуальную учебную деятельность, воспитание школьников, в том числе, детей с особыми образовательными потребностями, в соответствии с требованиями ФГОС (ОПК-3). Способен осуществлять контроль за ходом образовательной деятельности и оценку достижения планируемых результатов образования обучающимися, выявлять и корректировать трудности в обучении (ОПК-5). Способен использовать в профессиональной деятельности психолого-педагогические технологии, необходимые для индивидуализации обучения, развития, воспитания обучающихся, в том числе, детей с особыми образовательными потребностями (ОПК-6). Способен эффективно взаимодействовать с участниками образовательных отношений в рамках реализации образовательных программ (ОПК-7). Способен осуществлять педагогическую деятельность на основе специальных научных знаний (ОПК-8).

По итогам первого этапа опытно-экспериментальной работы был выявлен исходный уровень сформированности общепрофессиональных компетенций у групп, обучавшихся с применением симулятора и без него, до прохождения практики в школе. Проведена их предварительная дифференциация по уровню компетенций. Можно констатировать, что технология использования цифрового симулятора педагогической деятельности обеспечивает более эффективное формирование общепрофессиональных компетенций в ходе обучения. При этом программа дает оценку уровня общепрофессиональных компетенций, освоенных обучающимися в процессе работы на симуляторе [9].

Результаты применения цифрового симулятора педагогической деятельности в образовательном процессе. Сравнение результатов обучения в экспериментальных и контрольных группах на третьем этапе основано на анализе различий уровня сфор-мированности общеобразовательных компетенций обучающихся данных групп. Для этого было осуществлено повторное измерение выделенных показателей эффективности использования симулятора. Измерения производились в шкале отношений.

Для проверки эффективности симулятора использовались непараметрические критерии различия. С их помощью сопоставляются результаты до и после воздействия на объект исследования. Выявляются черты сходства и различия двух связанных выборок и динамика изменения показателей под влиянием экспериментальных воздействий. Результаты обработки статистических данных, полученных по итогам работы обучающимися

Таблица 1

Результаты обработки статистической совокупности по критерию знаков G

Результаты Показатели 1 (знания) 2 (умения) 3 (навыки) g11 g12 g21 g22 g31 g32 Нулевые сдвиги 42 42 48 48 37 37 Положительные сдвиги 80 80 75 75 88 88 Отрицательные сдвиги 28 28 27 27 25 25 Типичный сдвиг 80 80 75 75 88 88 Уровни значимости 0,05 0,01 0,05 0,01 0,05 0,01 Критические значения 32 29 29 26 35 32 g11 – до применения симулятора, g12 – после применения симулятора. Общее число испытуемых – 150 человек.

с использованием симулятора, на наличие различий по G-критерию знаков представлены в Таблице 1.

Из Таблицы 1 видно, что типичный сдвиг по каждому показателю подтверждается на уровне значимости 0,05, то есть гипотеза о том, что показатели результатов формирования общепрофессиональных компетенций в группах до использования цифрового симулятора и без него одинаковы,не подтверждается. Сходство двух связанных выборок «до» и «после» опровергается.

Многомерный анализ требует проведения большого количества трудоемких и сложных вычислений. Эта работа проводилась с использованием свободно распространяемого программного обеспечения Statistica. Возможность использования подобных программных пакетов значительно упрощает обработку результатов экспериментальных исследований. Основная сложность для исследователя состоит в интерпретации полученных данных. Для обеспечения их большей достоверности в ходе опытно-экспериментальной работы применялись как параметрические, так и ряд непараметрических критериев различия. Например, критерий Уилкоксона был использован для определения наличия статистически значимых различий в среднем показателе до и после работы обучающихся на симуляторе (см. Таблицы 2, 3).

Определение знакового рангового критерия Уилкоксона показывает, что существуют статистически значимые различия в среднем по всем описываемым показателям между двумя связанными выбор-ками(z = –4,091– (–4,366), p < 0,01). Эти результаты указывают на то, что работа на симуляторе оказала существенное влияние на формирование у обучающихся оцениваемых компетенций.

Также применен критерий Фридмана, который рассматривается как распространение критерия Уил-коксона на три и большее количество измерений связанной выборки испытуемых. Критерий Фридмана применен в эксперименте при ранжировании ряда повторных измерений для каждого показателя. Если гипотеза об отсутствии различий между выборками «до» и «после» подтверждается, то можно ожидать примерное равенство средних рангов. Из Таблиц 4 и 5 видно, что наблюдается их различие и сравниваемые выборки статистически достоверно различаются по выраженности признаков по всем показателям на уровне значимости p < 0,01.

Таблица 2

Результаты обработки статистической совокупности по критерию знаковых рангов Уилкоксона

Ранги		N	Средний ранг	Сумма рангов
g12после – g11 до	Отрицательные ранги	29a	52,67	1527,50
	Положительные ранги	79b	55,17	4358,50
	Связи	42c
	Всего	150
g22после – g21 до	Отрицательные ранги	27d	51,96	1403,00
	Положительные ранги	75e	51,33	3850,00
	Связи	48f
	Всего	150
g31 после – g32до	Отрицательные ранги	25g	69,00	1725,00
	Положительные ранги	88h	53,59	4716,00
	Связи	37i
	Всего	150

Таблица 3

Статистики критерия положительных рангов

Критерии	g12 после – g11 до	g22 после – g21 до	g32 после – g31 до
Асимптотическая значимость	–4,366a	–4,091a	–4,286a
(двухсторонняя)	,000	,000	,000

В Таблицах 2 и 3:

• a,    d, g – используются отрицательные ранги;

• b,    е, h – критерий знаковых рангов Уилкоксона;

• с,    f, i – ранги связей.

ОЦЕНКА ЭФФЕКТИВНОСТИ ЦИФРОВОГО СИМУЛЯТОРА ПЕДАГОГИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ СРЕДСТВАМИ СТАТИСТИЧЕСКОГО АНАЛИЗА

С целью обоснования достоверности эффективности применения цифрового симулятора педагогической деятельности использован параметрический критерий t-Стьюдента. Предварительно выполнена проверка на нормальность распределения частот показателей экспериментальной и контрольной групп по критерию нормальности Колмогорова-Смирнова. Этот критерий считается наиболее состоятельным для определения степени соответствия эмпирического распределения нормальному. Если вероятность p ≤ 0,05, то данное эмпирическое распределение существенно от- личается от нормального, а если p > 0,05, то можно говорить о приблизительном соответствии данного распределения нормальному. Таким образом, по результатам исследования (см. Таблицу 6) существенного отличия эмпирического распределения от нормальности не обнаружено.

Таблица 4

Результаты обработки статистической совокупности по критерию Фридмана

Показатели	Ранги	Средний ранг
Знания	g 11 «до применения симулятора»	1,59
	g 12 «после применения симулятора»	1,41
Умения	g 21 «до применения симулятора»	1,34
	g 22 «после применения симулятора»	1,66
Навыки	g 31 «до применения симулятора»	1,29
	g 32 «после применения симулятора»	1,79

Таблица 5

Статистики критерия

Показатели	Хи-квадрат	Степень свободы	Асимптотическое значение	Объем выборки
Знания	8,5110	1	0,0040	150
Умения	22,5880	1	0,0000
Навыки	35,1240	1	0,0000

Таблица 6

Результаты обработки статистической совокупности по критерию Колмогорова-Смирнова

Распределения		f 11	f 12	f 21	f 22	f 31	f 32
Максимальный вес индикатора		11	11	21	21	71	71
Нормальные параметры*	Среднее	19,3636	19,3636	10,1429	10,1429	3,0000	3,0000
	Стандартное отклонение	15,50660	7,37933	9,84015	5,94378	2,59119	2,68860
Разности экстремумов	Модуль	,205	,193	,180	,140	,176	,162
	Положительные	,205	,184	,180	,140	,176	,162
	Отрицательные	–,122	–,193	–,176	–,085	–,150	–,132
Статистика Z Колмогорова-Смирнова		,679	,639	,823	,641	1,483	1,365
Асимптотическая значимость (двухсторонняя)		,746	,809	,507	,806	,025	,048

* Сравнение с нормальным распределением.

f11 – показатель «Знания» до применения симулятора f12 – показатель «Знания» после применения симулятора f21 – показатель «Умения» до применения симулятора f22 – показатель «Умения» после применения симулятора f31 – показатель «Навыки» до применения симулятора f32 –показатель «Навыки» после применения симулятора

Результаты определения нормальности эмпирического распределения по первому показателю отображены на Рисунке. Нормальность распределения также косвенно указывает на эффективность применения цифрового симулятора педагогической деятельности в образовательном процессе подготовки бакалавров.

Также была обоснована достоверность эффективности применения симулятора в формировании общепрофессиональных компетенций у будущих учителей. Для этого применялся параметрический критерий t-Стьюдента – метод сравнения двух связанных выборок (см. Таблицы 7, 8).

Согласно таблице критических значений корреляции Пирсона, наиболее тесная связь подтверждается для третьего показателя. Отрицательные значения средних разностей (второй столбец таблицы) указывает на наличие положительной динамики формирования компетенций будущих учителей для сравниваемых выборок. Уровень значимости – p<0,01, что указывает на наличие различия двух выборок.

Выводы. Организация опытноэкспериментальной работы и ана- лиз ее результатов на основе методов математической статистики подтвердили эффективность разработанного нами цифрового симулятора педагогической деятельности. Полученные результаты объективно обобщают данные о возможностях подобных программ симуляции в виртуальной среде. Зарубежные исследователи (L.A. Dieker, C.E. Hughes, M.C. Hynes, K.B. Lignugaris,J.A. Rodriguez) предлагают рассмотреть возможность использования симуляций в педагогическом образовании для расширения связи педагогической теории со школьной практикой и дополнения профессионального опыта обучающихся педагогических вузов. Преимуществом симуляторов в сопоставлении с проведением реального урока на практике является возможность получения трудового опыта в виртуальной среде. Своевременная и полная обработка результатов действий на симуляторе позволяет выявить имеющиеся дефициты у будущих учителей и дать им методические рекомендации. При этом цифровой симулятор лишен субъективизма в оценивании обучающегося, использующего данную программу.

Помимо очевидных существенных преимуществ, перечисленных выше, обучение с применением симуляторов имеет и ряд ограничений. Одним из главных на сегодняшний момент является недостаточная реалистичность. С точки зрения образовательного потенциала отображение всего многообразия поведенческих реакций школьников в цифровом симуляторе педагогической деятельности не имеет смысла. Однако отсутствие детального сходства и ощущения погружения в виртуальный класс мешает эмоциональному восприятию, снижает степень доверия будущего учителя к данной обучающей среде. Немаловажным недостатком является высокая трудоза-тратность и длительность процесса разработки содержания для симулятора,что не позволяет за короткий срок масштабировать данный продукт по разным предметным областям. С совмещением симуляторов и дополненной (виртуальной) реальности данные цифровые продукты получат перспективы внедрения в подготовку профессиональных кадров из различных областей.

Рисунок. Сравнение эмпирического распределения с нормальным

ОЦЕНКА ЭФФЕКТИВНОСТИ ЦИФРОВОГО СИМУЛЯТОРА ПЕДАГОГИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ СРЕДСТВАМИ СТАТИСТИЧЕСКОГО АНАЛИЗА

Критерий парных выборок

Таблица 7

Результаты сравнения двух связанных выборок с использованием критерия t- Стьюдента

Выборки		N	Корреляции парных выборок	Значимость
Пара 1	g11 до и g12 после	150	,177	,030
Пара 2	g21 до и g22 после	150	,307	,000
Пара 3	g31 до и g32 после	150	,459	,000

Таблица 8

Парные выборки		Парные разности					t	Степень свободы	Значимость (2-сторонняя)
		Среднее	Стандартное отклонение	Стандартная ошибка среднего	95% доверительный интервал разности средних
					Нижняя граница	Верхняя граница
Пара 1	g11 до – g12 после	–,98000	2,82004	,23026	–1,43499	–,52501	–4,256	149	,000
Пара 2	g21 до – g22 после	–1,45333	4,71694	,38514	–2,21437	–,69230	–3,774	149	,000
Пара 3	g31 до – g32 после	–5,08667	15,80966	1,29085	–7,63741	–2,53592	–3,941	149	,000