Развитие адаптационных возможностей в системах электронного обучения

Современное электронное образование базируется на системах дистанционного обучения (СДО). СДО позволяют снизить учебную нагрузку на преподавателя, мотивировать студентов [1], облегчить способ подачи материала и контроля усвоения знаний. Наиболее перспективным направлением в СДО являются интеллектуальные обучающие системы (ИОС), способные адаптивно подбирать учебный материал под текущие компетенции обучаемого. В статье рассматриваются такие популярные системы управления обучением (LMS – Learning Management System) с наибольшим числом пользователей как Moodle и BlackBoard, а также система проектирования ИОС MathBridge, оцениваются и сравниваются их адаптационные возможности.

Адаптационные возможности системы управления обучением Moodle

Адаптационные возможности системы Moodle представлены, преимущественно, в аналитическом программном интерфейсе системы (Analytics API) и были добавлены в Moodle с выходом версии 3.4. Analytics API базируются на методе моделей прогнозирования и машинном обучении. Модель прогнозирования в данном случае есть функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений [2].

Аналитическое API LMS Moodle позволяет создателю курсов Moodle определять модели прогнозирования, сочетающие две основные внутренние характеристики системы – индикаторы и цель. Цель – событие, которое мы хотим предсказать. Индикаторы – это то, что, по мнению создателя курса, приведет к точному прогнозированию цели. LMS Moodle может оценить эти модели и, если точность прогнозирования достаточно высока, Moodle внутренне обучает алгоритм машинного обучения, используя вычисления, основанные на определенных показателях в данных курса. После получения новых данных, соответствующих критериям, определенным моделью, Moodle начинает прогнозировать вероятность наступления целевого события с учетом полученных данных. Цели также могут свободно определять, какие действия будут выполняться для каждого удачного, по мнению системы, прогноза, от отправки сообщений или подачи отчетов до создания новых адаптивных учебных действий.

Последняя версия LMS Moodle 3.4 предлагает следующие примеры уже встроенных моделей прогнозирования, описанных в технической документации [3]:

• •    «Предотвращение риска отсева учащихся» (Students at risk of dropping out). Отсутствие участия или плохие оценки в предыдущих (законченных) курсах могут быть индикаторами, и целью будет то, сможет ли студент завершить курс или нет. Moodle рассчитывает эти показатели и целевые показатели для каждого учащегося в законченном курсе и прогнозирует, какие учащиеся рискуют бросить учебу на текущих курсах.

• •    «Нет обучения» (No teaching). Идея данной модели является информирование менеджеров курса о том, какие курсы с предстоящей датой начала не будут иметь учебной деятельности. Данную модель нельзя назвать в полном смысле слова моделью прогнозирования, т.к. это простая модель, которая не использует серверную часть машинного обучения для возврата прогнозов. «Нет обучения» основывает прогнозы на предположениях, например, нет обучения, если нет студентов либо если не заданы никакие учебные материалы.

Такое малое число моделей прогнозирования можно объяснить «свежестью» версии Moodle, т.к. разработчики учебных курсов еще не успели ознакомиться с предлагаемыми возможностями системы, к тому же, по заверениям разработчиков «ядро Moodle будет включать только те модели, которые хорошо зарекомендовали себя при прогнозировании в широком диапазоне курсов». Помимо этого, адаптационные возможности Moodle строятся на машинном обучении, что подразумевает обучение адаптационного алгоритма на широком диапазоне данных. Чтобы разнообразить образцы и охватить более широкий спектр случаев, исследовательская группа Moodle HQ собирает анонимные наборы данных сайта Moodle от сотрудничающих учреждений и партнеров для обучения алгоритмов машинного обучения. Фактически, на данный момент система управления обучением Moodle имеет одну встроенную модель прогнозирования – «Предотвращение риска отсева учащихся».

Основные компоненты аналитического программного интерфейса системы Moodle и взаимодействие между ними представлены на рисунке 1.

Рис. 1. Основные компоненты аналитического API системы Moodle

Диаграмма на рисунке 2 отражает различные этапы прохождения данных по системе Moodle в процессе использования аналитического программного интерфейса.

Рис. 2. Поток данных аналитического программного интерфейса

Для того, чтобы алгоритм машинного обучения корректно работал, его необходимо обучить. Процесс обучения записывает отношения, найденные в прошлых данных курса, чтобы система аналитики могла предсказать, что может произойти при тех же обстоятельствах в будущем. Движки машинного обучения, которые используются для создания прогнозов, должны знать, какие шаблоны следует искать и где искать в данных Moodle.

Некоторым моделям прогнозирования не требуется мощный алгоритм машинного обучения, лежащий в основе обработки больших объемов данных для получения точных прогнозов. Существуют очевидные события, которые могут заинтересовать участников процесса обучения – примером может служить описанная ранее модель прогнозирования «Нет обучения».

Образец – это набор вычислений, выполняемых с использованием коллекции данных курса Moodle (рисунок 1). Образцы определяются по идентификатору, соответствующему элементу данных, на котором основаны вычисления. Идентификатор образца может быть любым: курс, пользователь, обучение, викторина попытка и т. д. и расчеты, которые содержит образец, зависят от этого элемента. Образцы сами по себе ничего не представляют, просто список идентификаторов со связанными данными. Они используются в расчетах после их объединения с целевым и индикаторным классами.

Анализаторы отвечают за создание файлов наборов данных (рисунок 2), которые будут отправляться процессорам машинного обучения. Они кодируются как классы PHP. Ядро Moodle включает в себя некоторые анализаторы, которые вы можете использовать в своих моделях, либо разработчик может создать свой анализатор, который будет аккумулировать только те данные, которые необходимы для его конкретной задачи.

Целевые объекты являются ключевым элементом, определяющим модель прогнозирования. Как класс PHP, целевые объекты представляют событие, которое модель пытается предсказать. Они также определяют действия, выполняемые в зависимости от полученных прогнозов. Цели зависят от анализаторов, потому что анализаторы обеспечивают их теми образцами, которые им необходимы. Приведем несколько примеров, чтобы прояснить разницу между анализаторами, образцами и целями:

• •    Цель: "учащиеся, рискующие бросить учебу". Анализатор предоставляет образец: "зачисленные на курс"

• •    Цель: "спамер". Анализатор предоставляет образец: "пользователи сайта"

• •    Цель: "неэффективный курс". Анализатор предоставляет образец: "курсы" Другим аспектом, контролируемым целями, является генерация прогнозов. Прогноз предоставляется для конкретного элемента выборки.

Классы индикаторов PHP отвечают за вычисление индикаторов с помощью предоставленной выборки образцов [3].

Ниже приведен пример использования модели прогнозирования «Предотвращение риска отсева учащихся». Для того, чтобы использовать данный механизм, необходимо обратиться к разделу сайта Moodle «Аналитические модели», находящимся по пути Администрирование – Аналитика – Аналитические модели (рис. 3). В данном меню пользователь может выбрать используемую модель, включить ее, выбрать необходимые индикаторы, просмотреть прогнозы и т.д. А также выбрать нужные действия над моделью прогнозирования, среди которых наиболее показательными являются «Оценить точность» и «Получить прогнозы».

Evaluating models and generating predictions may involve heavy processing. It is recommended to run these actions from the command line.

I Analytics models

Target                              Enabled   Indicators                                Time splitting Insights              Actions

Students at risk of dropping out © V          * Course accessed after end date 0 No time splitting 0 Course Тест # Actions’

• •    Course accessed before start date 0

• •    Any write action in the course ©

• •    Read actions amount ©

• •    Assignment cognitive 0

• •    Assignment social ©

• •    Book cognitive 0

Рис. 3. Меню «Аналитические модели» системы Moodle

LMS Moodle позволяет оценить точность модели прогнозирования в качестве одного из доступных действий с моделью. Рисунок 4 иллюстрирует оценку точности модели «Предотвращение риска отсева учащихся» с режимами разделения времени «Четверти» и «Накапливающиеся четверти» - данные режимы разделения по времени делят продолжительность курса на 4 равные части; «Четверти» учитывает данные только последней прошедшей четверти, «Накапливающиеся четверти» - данные всех прошедших четвертей. Как уже отмечалось выше, алгоритму машинного обучения необходимо предварительно обработать уже существующие наборы данных для получения прогнозов. В качестве набора исходных данных для алгоритма машинного обучения были использованы курсы «Нормативно-техническая документация "Техэксперт": от теории к практике» и «Культура речи и письма» - данные курсы используются в КНИТУ-КАИ для повышения квалификации педагогов и содержат всю необходимую информацию по активности обучаемых данных курсов – просмотренные лекции, тесты, практические задания, оценки и т.п.

Results using Quarters course duration splitting

Accuracy: 60%

The evaluation results varied too much. It is recommended that more data is gathered to ensure the model is valid. Evaluation results standard x deviation = 0.63245553203368, maximum recommended standard deviation = 0.05

The evaluated model prediction accuracy is not very high, so some predictions may not be accurate. Model score = 0.6, minimum score = 0.7 X

Results using Quarters accumulative course duration splitting

Accuracy: 75%

The evaluation results varied too much. It is recommended that more data is gathered to ensure the model is valid. Evaluation results standard x deviation = 0.52704627669473, maximum recommended standard deviation = 0.05

Рис. 4. Оценка точности модели прогнозирования

Результаты оценки точности не являются однозначными, как видно из сообщения. Указывается точность прогноза 60% и 75% соответственно для режимов разделения по времени «Четверти» и «Накапливающиеся четверти» при большом стандартном отклонении.

Для получения прогнозов необходимо выбрать действие «Get predictions», после чего система выдаст сообщение об успешном окончании прогнозирования, при условии, что имеются необходимые исходные данные и их обработка успешно завершена.

Для тестирования алгоритма машинного обучения была разработана модель учебного курса, состоящая из двух модулей и тестированием после каждого модуля.

На данный курс были записаны четверо обучаемых – три «отличника» (Вася, Петя и Миша), сдавшие тесты на «отлично» и один «двоечник» (Ваня), сдавший один из тестов на «неудовлетворительно» и пока не сдававший второго теста. При анализе данного курса и обучаемых на нем студентов моделью прогнозирования «Предотвращение риска отсева учащихся» были получены результаты, представленные на рисунке 5.

Рис. 5. Пример прогноза модели обучения «Предотвращение риска отсева учащихся»

Как и предполагалось, по прогнозу данной модели обучения студент Иван Иванов может не закончить курс. При запросе детальной информации (рис. 6) модель прогнозирования может вывести индикаторы, на основании которых были получены данные выводы и их значения. Показательными значениями в данном случае являются «Lesson cognitive» - 0% - что говорит о том, что студент не усвоил ни одного занятия и «Course potential cognitive depth» - 100% - модель прогнозирования все же считает, что студент может успешно закончить курс, если пересдаст первое тестирование и сдаст второе.

Students at risk of dropping out prediction

Prediction: л Student at risk of dropping out

Name                                                                                                                             Actions

Иван Иванов                                                                                                                                Actions -

Prediction details

Time predicted                               Wednesday, 19 December 2018, 9:33 PM

Indicator                                                                                                                            Calculated value

Course accessed after end date                                                                                          A

Course accessed before start date                                                                                        ДNo

Any write action in the course                                                                                                         Д

Lesson cognitive

Lesson social

Completion tracking enabled                                                                                                             V Yes

Course potential cognitive depth                                                                                                        ^ 100%

Course potential social breadth                                                                                                          J 100%

Рис. 6. Детальная информация по полученному прогнозу

В заключении об адаптационных возможностях LMS Moodle можно сказать, что в настоящий момент разработчики пытаются повысить адаптационные возможности системы за счет внедрения в последние версии таких компонентов, как аналитический программный интерфейс и машинное обучение. Причем, алгоритмы машинного обучения могут быть пользовательскими, т.е. разработчик сам может внедрить свои собственные разработки с помощью плагинов, либо использовать сторонние облачные сервисы, расширив тем самым функциональность системы.

Адаптационные возможности Moodle в сравнении с системами MathBridge и BlackBoard

MathBridge – это набор инструментальных средств для создания ИОС, основанные на технологиях web, которые позволяют динамически генерировать интерактивные (математические) задачи, адаптированные под конкретные цели студента, его предпочтения, способности и знания [4]. Основным недостатком MathBridge в сравнении с Moodle является то, MathBridge позволяет автоматически генерировать адаптивные задачи только в определенной предметной области – математике. Адаптивные возможности MathBridge довольно обширны, математические задачи не только подбираются в соответствии с текущими компетенциями обучаемого, но также имеется возможность выводить ответы по шагам в случае ошибок на одном из этапов решения задачи с необходимыми комментариями. Также имеется возможность создавать целые курсы – учебные материалы могут заимствоваться из доступных банков заданий, но и в этом случае ограничение по предметной области существенно ограничивает сферу применения инструментальных средств MathBridge, в то время как Moodle инвариантна к широкому спектру предметных областей.

Адаптационные возможности LMS BlackBoard весьма ограничены. Сама система BlackBoard, в отличие от Moodle не является открытой и не поддерживает таких возможностей как работа с пользовательскими плагинами или открытые программные интерфейсы. Помимо этого, любой учебный курс в системе BlackBoard жестко детерминирован, что делает невозможным автоматическую генерацию новых тестовых заданий или учебных материалов. Единственным местом, где возможно использование интеллектуальных механизмов – это открытый вопрос тестирования. Открытые вопросы в системе тестирования BlackBoard позволяют разработчику курса задать семантический анализ вводимого обучаемым ответа. Но и этот элемент нельзя в полной мере назвать интеллектуальным, т.к. разработчику курса придется вводить для каждого тестового задания отдельный шаблон, под который должен подходить ответ обучаемого, что в свою очередь серьезно ограничивает спектр применения данного механизма. В целом, систему управления обучением BlackBoard нельзя назвать ни интеллектуальной, ни адаптивной, она служит именно для менеджмента учебного курса.

Заключение

Адаптационные механизмы LMS Moodle пока еще находятся на начальной стадии своего развития. Описанные в статье адаптационные и интеллектуальные механизмы Moodle были добавлены в систему с версией 3.4, вышедшей менее года назад и на данный момент недостаточно апробированы. Тем не менее, система Moodle имеет ряд конкурентных преимуществ, таких как открытый системный код; возможность добавления плагинов машинного обучения собственной разработки; инвариантность к широкому спектру предметных областей при наличии адаптационных механизмов. Это указывает на перспективность дальнейшей исследовательской деятельности в данной системе и возможности добавления в нее новых адаптационных возможностей – например таких, которые присутствуют в средствах разработки интеллектуальных обучающих систем МОНАП [5-7].