Компьютеризированная динамическая оценка обучаемости студентов временам глаголов в английском языке

DOI:

П роблема исследования. Проблема мониторинга качества обучения иностранному языкуявляется актуальной и социально значимой проблемой [Байтукаева, 2011, с. 225; и др.].

Интегральными характеристиками качества обучения являются обученность и обучаемость. Для мониторинга качества обучения обычно применяют статические адаптивные тесты достиже- ния, позволяющие диагностировать результаты обучения, т.е. обученность [Sheng, 2017, p. 417; Sun et al., 2017, p. 41]. Тестирование обученности носит статический характер и представляет собой срез результатов обучения за время, предшествующее тестированию. Предполагается, что при традиционном, статическом тестировании учащихся внешние обучающиеся воздействия, вмешательства с чьей-либо стороны отсутствуют, т.е. традиционная система тестирования обученности учащихся является закрытой системой. Этим достигается объективность результатов тестирования.

Обучаемость является интегральным динамическим параметром процесса обучения, характеризующим способность обучающегося к усвоению знаний, научению решению задач и т.п., включающим «…следующие критерии:

• 1)    темп продвижения в новом материале;

• 2)    особенности обобщения и абстрагирования признаков;

• 3)    экономичность мышления;

• 4)    самостоятельность мышления;

• 5)    гибкость (или инертность) мышления;

• 6)    осознанность действий» [Холодная, 2015, c. 5].

Цель статьи - изучить возможности динамических компьютерных тестов-тренажеров «Времена английского языка» как инструментального средства динамической оценки обучаемости студентов временам глаголов в английском языке.

Обзор научной литературы. Вопросам диагностики обучаемости учащихся (студентов, мигрантов и т.п.) иностранным языкам, в том числе и английскому языку, посвящен ряд исследований отечественных и зарубежных ученых [Mizumoto et al., 2019, p. 101; Kamrood et al., 2018, p. 23; Hidri et al., 2020; Estaji, Saeedian, 2020, р. 347]. Обучаемость, являясь интегральным динамическим параметром процесса обучения, определяется процессуальными характеристиками учебной деятельности испытуемого. Поэтому диагностика обучаемости может быть основана на динамической оценке процессуальных характеристик учебной деятельности испытуемого. В отличие от статического тестирования, динамическая оценка или динамическое адаптивное тестирование представляет собой открытую, интерактивную систему. При динамическом подходе к тестированию обучение не прерывается. Динамическая оценка включает возможность вмешательства в процесс тестирования со стороны учителя (посредника или медиатора), который может оказать помощь, подсказку, если испытуемый испытывает затруднения при выполнении тестовых заданий.

Первоначально динамический адаптивный подход к тестированию процесса обучения был развит в социокультурной теории развития Л.С. Выготского [Vygotsky, 1978, р. 175]. Его основу составляет представление о зонах актуального и ближайшего развития. Зона актуального развития характеризуется задачами, для решения которых обучающийся обеспечен развитыми когнитивными функциями, позволяющими обучающемуся самостоятельно решать задачи. Зона ближайшего развития характеризуется задачами, которые обучающийся решить самостоятельно не может, так как необходимые для этого когнитивные функции находятся в стадии развития. Учитель или медиатор, наблюдая за попытками испытуемого выполнить задания, оказывает ему помощь, содействуя развитию когнитивных функций. По мере формирования когнитивных функций вмешательство посредника в процесс решения задачи уменьшается, а самостоятельность обучающегося возрастает. По достижении автономности учебной деятельности испытуемого процесс динамической оценки завершается. Посредник (учитель) взаимодействует с испытуемым, активно участвуя в процессе динамического адаптивного тестирования [Ebadi, 2017, p. 17; Poehner et al., 2015, p. 1].

Исследования динамической оценки обучаемости английскому языку получили широкое развитие и социальную значимость в связи с миграцией людей и возникшей проблемой билинг-вальности мигрантов в странах постоянного пребывания [Arias, Friberg, 2017; Vergara et al., 2019, р. 82 et al.]. Как следствие, возникла необходимость обучения второму иностранному языку и

соответствующим информационным технологиям тестирования обучаемости [Resing et al., 2015, р. 231; Hidri, 2019, р. 239] иностранным языкам.

Диагностика обучаемости иностранному языку большого числа людей потребовала компьютеризации процедуры динамической оценки обучаемости. Существует множество работ зарубежных авторов [Kamrood et al., 2019, p. 12; Poehner et al., 2019, p. 238; Elliott et al., 2018, p. 7], в которых компьютеризированная динамическая оценка обучаемости иностранному языку реализована на основе инструктивной обратной связи. Однако окончательного решения проблемы создания компьютерных систем с инструктивной обратной связью в настоящее время не существует. Это обусловлено тем, что моделирование медиатора, адекватно взаимодействующего с испытуемым, представляет собой чрезвычайно сложную и дорогую процедуру. В простом варианте взаимодействие моделируется жесткой системой «подсказок». Это так называемый интервенционистский подход к организации обратной связи [Kamrood et al., 2019, p. 23]. Второй подход – интерактивный [McNeil, 2018, р. 221] - отличается тем, что взаимодействие медиатора с испытуемым носит ситуативный характер. В интерактивном подходе помощь медиатора (подсказки) должна гибко учитывать обстоятельства конкретной ситуации, требующей вмешательства медиатора. Этот подход требует использование элементов искусственного интеллекта для моделирования деятельности медиатора.

Методология и методы исследования основаны на теории развития Ж. Пиаже [Пиаже, 2003, с. 192] и теории обучения с подкреплением [Саттон, Барто 2014, с. 35]. Согласно теории развития Ж. Пиаже, информация, поступающая от электронной проблемной среды ДКТТ, усваивается или ассимилируется испытуемым до тех пор, пока внешние условия (частота подкреплений, условия задач и т.п.) остаются неизменными. Если неопределенность проблемной среды увеличится (например, уменьшится частота подкреплений или усложнится постановка задачи и т.п.), то процесс ассимиляции информации нарушится. Возникший когнитивный диссонанс ини- циирует аккомодацию сенсорных механизмов и органов анализа и переработки информации. Процесс аккомодации будет протекать до «снятия» состояния когнитивного диссонанса обучающегося и восстановления равновесия между процессами ассимиляции и аккомодации. Если равновесие не восстановится, то когнитивная неустойчивость (диссонанс), вызванная изменением неопределенности проблемной среды, приведет к бифуркации учебной деятельности испытуемых [Дьячук и др., 2016, с. 259].

Функцию медиатора в ДКТТ выполняет электронная проблемная среда, обеспечивающая обучающимся условия, необходимые для поиска решения задач. К ним относятся: множество действий; пазловые объекты, с которыми совершают действия (просматривают, перемещают, отменяют перемещение); каналы обратной связи, обеспечивающие испытуемых информацией о состоянии решения задачи, о результатах действий и деятельности в целом.

Одной из главных особенностей деятельности медиатора является непрерывное наблюдение за испытуемым и своевременное вмешательство в процесс выполнения задания с целью оказания помощи и коррекции действий испытуемого. Поэтому в ДКТТ «Времена английского языка» имеется модуль слежения и протоколирования в режиме реального времени действий испытуемого и реакций электронной проблемной среды.

Интерфейс электронной проблемной среды (рис. 1) включает: окно просмотра пазлов; «Статусограмму» – уровни самостоятельности; «Актиограмму» – подкрепления; Рабочее поле – установки пазлов, соответствующих временам английского языка.

Подкреплениям действий испытуемых соответствуют численные значения или численные оценки: +1 - правильное действие; -1 - неправильное действие; 0 – действие, не изменяющее состояния решения задачи (просмотры, прослушивание). Информацию о подкреплениях испытуемый получает от датчиков «Актиограммы» (см. рис. 1). Частота подачи информации о подкреплениях действий при выполнении i-го зада-

I will be playing

Ld            JJ

Perfekt	I have been playing	I was playing	?
Simple Indefinite	I had played	?
Perfect Continuous	I play	I had been playing	?
Continuous / Progressive	I am playing	?

Рис. 1. Интерфейс ДКТТ «Времена английского языка»

Fig. 1. Dynamic computer test simulator interface “Tenses of the English language”

ния определяется уровнем самостоятельности деятельности, который испытуемый достиг при выполнении (i – 1)-го задания. Информацию о номере уровня самостоятельности испытуемый получает в «Статусограмме».

Первое задание испытуемый выполняет на первом уровне самостоятельности. На первом уровне самостоятельности испытуемый получает подкрепление каждого действия. В последующем по мере уменьшения числа ошибочных действий уровень самостоятельности возрастает, а частота подкреплений уменьшается. При безошибочном выполнении заданий испытуемый переходит на 10-й уровень автономной деятельности, при котором частота подкреплений равна нулю.

Выбор вариантов пазлов с предложениями на английском языке испытуемый производит в окне просмотра. Численная оценка действий, связанных с просмотром, равна нулю. Активируя курсором мышки соответствующее место в таблице классификации времен английского языка (см. рис. 1), испытуемый перемещает пазл из окна просмотра на это место.

Результаты. В эксперименте по динамической оценке обучаемости участвовало 117 студентов. Обработка протоколов динамической оценки обучаемости проводилась с помощью специальной электронной программы «Обработка данных протоколов» [Дьячук, Шадрин, 2020].

Одним из критериев обучаемости является трудоемкость выполнения заданий в процессе перехода обучающихся в состояние самостоятельной автономной деятельности. Трудоемкость характеризует критерий экономичности мышления испытуемого при выполнении заданий в процессе научения и равна количеству действий, совершенных испытуемым при выполнении задания. На рис. 2 приведены графики трудоемкости и количества подкреплений (информационных подсказок) в зависимости от номера заданий для испытуемых № 1 и 2 при формировании самостоятельной автономной деятельности.

Испытуемый № 1

Испытуемый № 2

Рис. 2. Верхние графики представляют зависимости трудоемкости n от номера задания i.

Нижние графики представляют зависимости числа подкреплений действий от номера задания i

Subject No. 1                                        Subject No. 2

Fig. 2. The upper graphs represent dependence of the labor intensity n on the task number i.

The lower graphs represent dependence of the number of action reinforcements on the task number i

Из графиков трудоемкости можно сделать вывод о том, что суммарная трудоемкость перехода к самостоятельной автономной деятельности у испытуемого № 1 существенно больше, чем у испытуемого № 2. Это означает, что экономичность мышления у испытуемого № 2 существенно больше, чем у испытуемого № 1. Причина этого состоит в том, что изначально испытуемый № 1 в своей деятельности использовал метод проб и ошибок и опирался при принятии решений о выборе действий на внешний контекст, т.е. на информацию, которая поступала от проблемной среды в виде подкреплений. Поэтому уже на первом задании испытуемый № 1 совершил (см. рис. 2) в три раза больше ошибок, чем испытуемый № 2. Для их исключения первому испытуемому потребовалось в 2 раза больше подкреплений. Трудоемкость у испытуемого № 1 при выполнении 1-го задания составила 67 действий, а у испытуемого № 2 – 32 действия. У испытуемого № 1 внешние аспекты деятельности не преобразуются в действия внутреннего плана, как это происходит у испытуемого № 2.

Использование подкреплений с опорой на запоминание конкретных ситуаций привело испытуемого № 1 к успеху только при выполнении 5-го задания. Это задание, как это видно из графика на рис. 3, испытуемый выполнил без ошибок. Поэтому компьютерная система управления

ДКТТ перевела его на 10-й уровень самостоятельности, который соответствует автономной деятельности. При этом испытуемый № 1 лишился источника внешней информации - подкреплений. Вследствие отсутствия внешних подкреплений, служивших источником информации (подсказок), испытуемый № 1 попал в состояние бифуркации или когнитивного диссонанса, который не смог преодолеть. Испытуемый № 1, выполняя 6-е задание без подкреплений, не смог в изменившихся условиях перестроить свою деятельность. Это привело к тому, что в 6-м задании резко возросли трудоемкость и количество ошибок у испытуемого № 1 (см. рис. 2, 3).

Важным критерием обучаемости является временной темп выполнения заданий в условиях динамической оценки. На рис. 4 приведены графики зависимости времени выполнения задания t от номера задания i для испытуемых № 1 и 2.

Из анализа графика времени выполнения заданий t в зависимости от номера задания i следует, что испытуемый № 2 после выполнения 1-го задания увеличил время выполнения второго задания, т.е. он больше тратил времени на просмотр фрагментов, перебирая варианты действий в уме. Поэтому он совершал, как это видно из рис. 2, существенно меньше ошибок по сравнению с испытуемым № 1. Трудоемкость и, со-

Испытуемый № 1

Испытуемый № 2

Рис. 3. Графики зависимости числа ошибок k от номера задания i

Subject No. 1

Subject No. 2

Fig. 3. Graphs showing dependence of the number of errors k on the task number i

Subject No.1

Рис. 4. Время выполнения заданий t испытуемыми № 1 и 2 в зависимости от номера задания i

Subject No. 2

Fig. 4. Time of task execution t by subjects No. 1 and 2 depending on the task number i

ответственно, время выполнения последнего, 5-го задания увеличились, но при этом ошибки при классификации предложений по временам английского языка не совершались. Увеличение трудоемкости и времени выполнения 5-го задания произошло за счет перебора вариантов действий и мысленной деятельности по классификации пазловых объектов с предложениями на английском языке.

Выводы. Динамическая оценка обучаемости проводилась в условиях отсутствия ограничений на время прохождения динамической оценки и числа заданий, выполнение которых необходимо для перехода испытуемых в самостоятельное автономное состояние учебной де- ятельности. Поэтому все студенты, участвующие в эксперименте, достигали состояния автономной учебной деятельности. По результатам эксперимента компьютеризированной динамической оценки обучаемости временам английского языка все множество испытуемых можно разбить на две группы.

• 1.    Учебная деятельность студентов первой группы, составляющей 47 % от общей численности студентов, характеризуется состояниями когнитивной неустойчивости, проявлявшимися в резком увеличении числа ошибок. Ярким представителем этой группы студентов является испытуемый № 1. Всякий раз, когда испытуе-мый попадает в состояние когнитивной неустойчи-

  
  

• 2.    Вторая группа испытуемых, составляющая 53 % от общей выборки, состоит из студентов, учебная деятельность которых аналогична учебной деятельности испытуемого № 2, т.е. не содержит скачкообразного возрастания числа ошибок (см. рис. 4, испытуемый № 2). Процесс научения решению задач классификации предложений по временам глаголов в английском языке у испытуемых этой группы характеризуется экономичностью мышления и высоким временным темпом выполнения заданий. Поэтому студенты этой группы эффективно, т.е. за небольшое число заданий, переводят деятельность по классификации предложений по временам английского языка из внешнего контекста во внутренний, умственный план. Это приводит к быстрому уменьшению числа ошибочных действий и подкреплений и, соответственно, относительно небольшой трудоемкости решения задач. Уменьшение частоты подкреплений для испытуемых данной группы не приводит к скачкообразному увеличению числа ошибок. Однако при увеличении неопределенности проблемной среды, когда испытуемый не обнаруживает датчик «Расстояния до цели», у испытуемых этой группы студентов также возникает когнитивный диссонанс. Но потенциал обучения испытуемых этой группы позволяет им справиться с возникшей проблемой когнитивной фрустрации. Испытуемые этой группы студентов не допускают увеличения числа ошибок и регресса деятельности. Единственное, в чем может проявляться когнитивный диссонанс, так это в увеличении времени выполнения задания и числа просмотров вариантов действий (см. испытуемый № 2, рис. 2).

вости, процесс решения задачи сопровождается возрастанием значений параметров процессуальных характеристик: числа ошибок, трудоемкости, временного темпа (см. испытуемый № 1, рис. 2, 3, 4). Самосогласованное при решении следующего задания увеличение числа подкреплений обусловлено возрастанием числа ошибок в предыдущем задании. Подкрепления «гасят» неопределенность в выборе действия, снимая когнитивную неустойчивость поведения обучающегося.

Заключение. Таким образом, перевод испытуемых первой группы на самостоятельный автономный режим решения задач инициирует состояние когнитивной неустойчивости или бифуркации учебной деятельности. Причиной скачкообразного возрастания числа ошибочных действий является когнитивная стратегия поиска решения методом проб и ошибок с «жесткой привязкой» поведения испытуемого к внешним условиям проблемной среды. Перевод обучающегося на самостоятельный автономный режим решения задач требует от него перехода от внешнего контекста деятельности к внутреннему контексту, к деятельности «в уме». Поскольку испытуемый не готов к этому переходу, то у него возникает состояние когнитивного диссонанса, или внутреннего конфликта. У испытуемого, с одной стороны, есть необходимость и желание самостоятельного решения задач, но с другой – когнитивных возможностей для реализации своих желаний нет. Это обусловлено тем, что соответствующие когнитивные функции у него находятся в стадии развития. Как следствие когнитивной неустойчивости процесса обучения возникает бифуркация учебной деятельности испытуемых. Выход из состояния бифуркации учебной деятельности приводит студентов 1-й группы к регрессу и новому повторному этапу развития. Соответственно, студентов 2-й группы бифуркация учебной деятельности переводит на прогрессивный путь развития учебной деятельности. Прогрессивный путь развития характеризуется самоорганизацией учебной деятельности, сопровождаемой уменьшением числа ошибок, числа подкреплений и т.п.