Разработка информационной системы контроля и оценки знаний студентов по математическим дисциплинам в Университете "Дубна"

Kocheshkov A. D., Smirnov D. P., Dedovich T. G. Development of the information system for monitoring and evaluating students ' knowledge in mathematical disciplines at the university «Dubna». System Analysis in Science and Education, 2021;(2):140–150(In Russ). Available from:

Сегодня в образовательной модели высших учебных заведений все чаще применяются технологии электронного обучения. Электронное обучение – это передача знаний и управление процессом обучения с помощью новых информационных и телекоммуникационных технологий [1]. Электронное обучение развивается, практикуется и совершенствуется уже много лет.

Для применения технологий электронного обучения используются системы LMS . Learning Management System ( LMS ) – это система управления обучением, которая позволяет создавать базу электронных курсов и учебных материалов, проводить администрирование назначаемых курсов и формировать статистику для упрощения анализа уровня подготовки студентов. В России LMS также называют системами дистанционного обучения (СДО).

LMS предоставляют:

• -    Свободный доступ к информации. Системы управления знаниями позволяет обучать студентов независимо от их местоположения и времени обучения.

• -    Подробную статистику. Система отслеживает посещаемость, успеваемость, степень овладения материалом и т.д.

• -    Организацию проверки знаний в виде тестирования и проведения проверочных работ.

• -    Удобство контроля над обучением. LMS система увеличивает скорость и удобство обучения, а также предоставляет преподавателю возможность быстрого, удобного контроля и выдачи заданий для всех студентов.

В данной статье рассматривается учебный процесс в университете «Дубна», в частности, описывается система контроля и оценки знаний по математическим дисциплинам. Выделяются проблемы, связанные с этой тематикой. Проводится анализ различных способов автоматизации, направленных на улучшение системы контроля и оценки знаний. Подробно описывается собственная реализация системы электронного обучения, которая не содержит указанных недостатков, и ее апробация.

Учебный процесс в университете «Дубна»

В институте системного анализа и управления (ИСАУ) государственного университета «Дубна» преобладают две образовательных модели – традиционная и дистанционная. Традиционная предполагает очное общение студентов и преподавателей в реальном времени. При дистанционном образовании участники могут не находиться в одном месте в одно и то же время. Сейчас все большую популярность набирает смешанный вариант – традиционная модель с автоматизированными бизнес-процессами взаимодействия студентов и преподавателей (рис. 1).

Рис. 1. Образовательные модели обучения

В ИСАУ при обучении студентов применяется смешанная модель. В данной модели со стороны электронного обучения наиболее ярко выделяются LMS система Moodle [2] и сервис видеоконференций Google Meet . Существующая система образования является многофункциональной и автоматизирует следующие процессы:

• -    Проведения видео лекций и семинаров.

• -    Коммуникация преподавателей и студентов (онлайн доски, чаты и т.д.).

• -    Выдача учебных материалов в электронном виде.

• -    Доступ к балльно-рейтинговой системе.

• -    Создание и проверка проверочных работ.

• -    Электронное оповещение студентов.

Современное образование не стоит на месте и всегда возникают новые потребности, для решения которых необходимо внедрять дополнительные инструменты, улучшающие определенные аспекты обучения. В университете «Дубна» проведен устный опрос преподавателей математических дисциплин. Результаты опроса показали ряд проблем, возникающих при использовании нынешних технологий электронного обучения. Перечислим основные из них:

• -    Система Moodle не имеет специальных форм для решения студентами сложных математических заданий (математических расчетов, доказательств теорем, выполнения трассировки алгоритмов). Поэтому задания выполняются на бумажных листках.

• -    Большие временные затраты по оцениванию работ. Выполненные на бумажных листах задания преподаватель либо уносит домой, либо получает в виде фотографий в системах Moodle или Telegram . Далее преподаватель оценивает работы и вручную заносит данные в систему оценивания. Следует отметить проблему, связанную с плохим качеством некоторых фотографий и расшифровкой плохого почерка студентов.

• -    Отсутствие для студентов возможности самостоятельной проверки знаний с использованием тренажеров, демонстрирующих работу изучаемых алгоритмов.

• -    Недостаток унифицированной обратной связи между студентами и преподавателем на этапе проверки работ.

Проведенный анализ показал, что необходима автоматизация системы контроля и оценки знаний по математическим дисциплинам.

Анализ различных способов автоматизации системы контроля и оценки знаний

Рассмотрим различные способы автоматизации системы контроля и оценки знаний студентов. К ним относятся:

• 1.    Модификация используемой системы Moodle путем написания плагинов и модификации кода.

• 2.    Внедрение дополнительных существующих LMS систем.

• 3.    Разработка и внедрение собственной системы электронного обучения.

Для анализа второго способа рассматривались и изучались популярные LMS системы Ё-СТАДИ [3] и iSpring Learn [4].

Сравнение различных способов автоматизации проводилось по следующим характеристикам: временные затраты, стоимость, гибкость внедряемого функционала, сложность внедрения, сложность поддержки, возможность дальнейшего расширения.

Результаты проведенного анализа представлены в таблице 1. Символы +, ++, +++ отражают уровень влияния характеристик на проведение автоматизации.

Табл. 1. Характеристики подходов

	Способ 1	Способ 2	Способ 3
Временные затраты	++	+	+++
Денежная стоимость	-	+-	-
Гибкость внедряемого функционала	+	+	++
Сложность внедрения	+	++	+++
Сложность поддержки	+	++	++
Возможность будущего расширения	+	+	+++

С точки зрения возможностей дальнейшего расширения и увеличения функционала способ 3 (разработка и внедрение собственной системы электронного обучения) имеет наибольшие преимущества.

На основе выявленных проблем сформулированы следующие требования к автоматизации: наличие тренажеров по математическим дисциплинам, наличие специализированных форм для решения математических заданий, использование математических символов, модернизация таблицы успеваемости, понятность интерфейса, удобство коммуникации между преподавателем и студентом, возможность настройки проведения работ и администрирования системы, получение уведомлений во время выполнения заданий, поддержка различными устройствами (компьютер, планшет, телефон) и учет очных занятий. Возможность реализовать представленные требования для различных способов показана в таблице 2. Символами -, +, ++, +++ обозначена возможность реализации требования. Использовались следующие обозначения:

• -  «-» - нет возможности реализовать требования;

• -  «+» - слабая возможность реализации требований;

• -  «++» - требования можно реализовать не в полном объеме;

• -  «+++» - требования можно реализовано полностью.

Табл. 2. Возможность реализации требований к системе контроля и оценки знаний

	Способ 1	Способ 2	Способ 3
Тренажеры по математическим предметам	-	-	++
Специализированные математические формы для решения работ	-	-	+++
Использования математических символов	+	-	+++
Таблица успеваемость	+	+	++
Понятность интерфейса	+	+	++
Коммуникация между преподавателем и студентом	++	++	++
Настройка проведения работ	+++	++	++
Настройка администрирования системы	+++	++	+

Уведомления	+	+	+++
Поддержка разными устройствами	++	++	++
Учет очных занятий	+	+	++

Из таблицы 2 видно, что при использовании или модернизации готовых систем (Способ 1, Способ 2) возникает ряд проблем. Перечислим наиболее существенные:

• -    Нет возможностей удобного внедрения модулей для тренажеров по необходимым дисциплинам и поддержки математически специализированных форм для проверки заданий в виде доказательства теорем и сложных решений.

• -    Слабо поддается модернизации процесс автоматического заполнения таблицы успеваемости с учетом переписываний заданий, этап настройки уведомлений в процессе выполнения работ и возможность введение математических символов.

На основе проведенного анализа были сделаны следующие выводы.

Система Moodle несмотря на богатый функционал и доступность не подходит для расширения из-за сложности модификации и большой нагрузки на интерфейс.

Внедрение дополнительной существующей системы LMS не подходит из-за невозможности доработки и необходимости платить за полный функционал.

При разработке собственной системы LMS появляется возможность для реализации конкретных требований преподавателей, но в тоже время данный подход является сильно трудозатратным по времени и сложности поддержки.

В связи с этим, было принято решение разработать собственную систему электронного обучения, которая будет предоставлять комплексные возможности для обучения студентов, в том числе выполнит требования к автоматизации процесса контроля и оценки знаний студентов по математическим дисциплинам. Также разрабатываемая система может применяться с нынешней системой СДО ( Moodle ), используемой в университете «Дубна», в опции «Работы на постороннем сайте».

Описание разработанной системы

Реализация системы проводилась по основным этапам: проектирование, разработка, тестирование и написание документации.

На этапе проектирования определены функциональные и нефункциональные требования к системе, описаны сценарии использования, а также спроектированы макеты дизайна системы.

Реализованы клиентская часть приложения и серверная часть с базой данных. Во время разработки использовались технологии: Vue js [5], Typescript [6], Nest js [7] и другие.

Проведено тестирования системы. Написаны и проверены модульные и сквозные тесты для сервера и клиентской части приложения. Для этого использовались инструменты Jest [8], и Playwright [9].

Написана техническая, проектная и пользовательская документация с использованием Confluence [10].

Более детальная разработка взаимодействия элементов системы описана в сценариях. Далее представлены сценарий решения студентами заданий и проверки их преподавателем; сценарий работы преподавателя и студентов с уведомлениями, таблицами успеваемости, тренажерами; сценарий просмотра преподавателем статуса активности студентов.

Решение и проверка заданий

Студент имеет возможность поэтапно отправлять задания на проверку. Например, как только он закончил решать одно задание, то сразу может отправить его на проверку. Это дает преподавателю возможность проверять задание, не дожидаясь решения всей работы, что значительно сокращает время проверки всей работы.

Студент не может редактировать решение задания после его отправки преподавателю, а преподаватель имеет возможность прокомментировать работу студента и при необходимости отправить ее на доработку, поставив статус «Ожидает исправлений».

Изменения в работе интерактивно отображаются у всех участников (студент-преподаватель). Так если преподаватель проверит отдельное задание и поставит оценку, то студент сразу увидит это у себя.

Пример формы для выполнения заданий, возможности пользования математическими символами и оценивания работы студента преподавателем представлен на рисунке 2. В каждом блоке заданий в верхней части слева отображен статус, а справа – оценка задания. В центре условие задания и решение студента. Ниже расположен блок комментариев.

Рис. 2. Форма для выполнения и проверки заданий

Уведомления

Реализована система уведомлений по определенным событиям. Например, как только студент отправляет задание или работу на проверку, у преподавателя появляется уведомление об отправленных на проверку заданий. Пользователь может просматривать список уведомлений, в этом случае уведомления приобретают статус прочитанных. Прочитанные уведомления не удаляется из списка. Уведомление исчезает из списка только если выполняется определенное условие, завязанное на тип уведомления. В примере выше это происходит если преподаватель поставит статус «Нужна доработка» или «Оценено» для задания или работы.

На рисунке 3 представлен пример отображения списка уведомлений, где синим помечены непрочитанные уведомления.

Рис. 3. Просмотр списка уведомлений

Таблица успеваемости

Преподаватель оценивает задание или работу (все задания), а система автоматически заносит поставленную оценку в таблицу успеваемости по каждому заданию. Данная таблица доступна как преподавателю, так и студенту. Студент видит только свою успеваемость, а преподаватель успеваемость всей группы (рис. 4).

В таблице преподавателю предоставлена возможность изменить оценку любого задания, а также возможность быстрого перехода к работам студентов.

Дополнительно реализована возможность экспорта таблицы результатов в Excel и возможность подсчета среднего значения оценок студента.

Тесты и

Занятия          Успеваемость Тренажеры Участники задания

Экспорт в Excel

Контрольная работа 'v

	КЗВ	К39	К40	№	СРЗНАЧ
Lavrov V. А.	5.0	5.0	б:	5.1	5.0
Дроздов H. А.	3.5	3.5	ЗБ	0.1	2.5
Егоров А. И.	5.0	5.0	БЗ	5.1	4.8
Кекин А. А.	5.0	5.0	ЗБ	5.1	4.7
Козловский А. А.	5.0	5.0	БЗ	5.	5.0

Рис. 4. Просмотр таблицы успеваемости

Тренажеры

Для просмотра всех существующих тренажеров преподаватель должен перейти в специальный для этого раздел, на странице управления группой (рис. 5). В этом разделе отображаются все подключенные в систему тренажеры с возможностью взаимодействия с ними.

Изначально все тренажеры находятся в неактивном состоянии, т.е. не отображаются студентам и недоступны для использования. Чтобы открыть доступ для определенного тренажера преподаватель может нажать кнопку «Активировать». Ранее активированные тренажеры всегда можно деактивировать, если будет необходимость. Также для каждого тренажера присутствует возможность предпро-смотра.

Рис. 5. Управление тренажерами для обучающейся группы

Проверка на практике

Разработанная система была представлена на семинарах по курсу МЛиТА для групп 2251, 2252, 2253, 2254, 2181. Проведены инструктажи для преподавателей и студентов, а именно рассказано и показано как:

• -    нет возможностей удобного внедрения модулей для тренажеров по необходимым дисциплинам и поддержки математически специализированных форм для проверки заданий в виде доказательства теорем и сложных решений;

• -    создавать задания;

• -    создавать работы;

• -    создавать курс;

• -    создавать группу;

• -    активировать работу;

• -    решать работы;

• -    отправлять задания на проверку;

• -    приглашать студентов на курс.

Во время инструктажа были созданы учебные группы и курс МЛиТА в системе. Также заполнены задания и работы для данного курса. Во время использования системы активно собирались отзывы пользователей (фидбэк). С помощью этого были улучшены и доделаны некоторые функциональ-ные/интерфейсные компоненты:

• -    переработка интерфейса решения работ, изменения структуры заполнения решения, отправки работы на проверку;

• -    добавления уведомлений о решении/оценки работ;

• -    функционал по рисованию и загрузке файлов в форму решения работ;

• -    возможность отправления одиночных заданий на проверку;

• -    отображения статуса онлайн студентов.

Заключение

В статье проведен обзор существующей модели учебного процесса в университете «Дубна». Рассмотрены применяемые технологии электронного обучения (например, LMS система Moodle ). Проанализирована система контроля и оценки знаний по математическим дисциплинам. На основе выявленных недостатков, сформулированы требования к автоматизации этого процесса. Выделены три возможных способа автоматизации: модификация используемой системы Moodle путем написания плагинов и модификации кода; внедрение дополнительных существующих LMS систем; разработка и внедрение собственной системы электронного обучения. Проанализированы различные способы автоматизации. Для анализа возможности подсоединения дополнительных существующих систем LMS рассматривались системы Ё-СТАДИ, iSpring Learn . На основе проведенного анализа принято решение о разработке и внедрении собственной системы электронного обучения, в которой будут отсутствовать выявленные недостатки.

Сформулированы функциональные и нефункциональные требования к системе, разработана концептуальная модель и различные сценарии взаимодействия, разработан дизайн системы. В работе представлен сценарий решения студентами заданий и проверки их преподавателем; сценарий работы преподавателя и студентов с уведомлениями, таблицами успеваемости, тренажерами; сценарий просмотра преподавателем статуса активности студентов.

Выполнена реализация программного обеспечения. Проведена апробация его работы на семинарах по курсу МЛиТА в группах 2251, 2252, 2253, 2254, 2181. На основе отзывов студентов и преподавателя выявлены и устранены некоторые недостатки в функциональных/интерфейсных компонентах. В результате апробации было установлено, что разработанная система уменьшает время проверки работ и заполнения рейтинга на 3-4 часа в неделю при обучении шестидесяти студентов. Представленное программное обеспечение может служить основой не только для контроля и оценки по математическим дисциплинам, но и по другим дисциплинам посредством добавления новых функций.