Интеллектуально электронно-цифровой университет будущего. Система оценки знаний

В настоящее время мы живем в век цифровизации, когда многие бизнес-процессы, и не только они, переходят в онлайн-среду, а также формируются новые процессы. В результате этой, а также других современных реалий, таких как пандемия COVID -19, меняются требования к специалистам, появляются новые профессии, пересматриваются установленные стандарты образовательного процесса в целом. Как следствие, формируется потребность в «современном» университете, который сможет решить ряд новых задач, которые не в состоянии покрыть классический университет.

Университет – организация по приобретению (передаче) знаний. Современный Университет должен является целостной системой, на входе которой абитуриент, а на выходе специалист. Знания абитуриентов на входе и специалистов на выходе соответствуют некоторым эталонам, заложенным в системе, которые могут меняться исходя из текущих требований и реалий. Система является целостной единицей, в которую входят взаимодействующие, тесно взаимосвязанные структуры, обеспечивающие правильную (корректную) работу системы.

Учебный процесс, инфраструктура университета, научно методическая деятельность, жилищный фонд (общежития), студенческий досуг и т. д. – это университетские структуры, которые являются функционально и структурно разными, но обеспечивают единство системы университета и его надлежащую способность выполнять свою обучающую задачу. Единство данных структур должно обеспечиваться посредствам единого пространства, единой базы знаний, обеспечивающей своевременный, оперативный обмен знаниями, который своевременно обновляются и накапливаются, на основе чего можно управлять системой, с учетом потребностей всех ее структурных компонентов.

Рис. 1. Университет, как единая система

Система интеллектуального электронно-цифровой университет будущего

Система интеллектуального электронно-цифровой университет будущего включает в себя интегрированную (единую) базу данных (БД) и 4 основных взаимосвязанных процесса:

• -  подготовка и редактирование учебного материала;

• -  процесс обучения;

• -  процесс тестирования;

• -  процесс анализа данных.

Рис.2. Общая (упрощённая) модель ИЭЦУ

Анализ систем тестирования

Одним из важных процессов в системе Университет является процесс проверки соответствия знаний неким заданным эталонам в системе тестирования. На рынке существует ряд систем тестирования, в сравнительной таблице 1 представлены 5 систем тестирования.

Табл. 1. Сравнительная таблица систем тестирования

Название системы	Тип	Особенности
Аполо	Облачная версия	Нет встроенной аналитики, видно только количество правильных ответов. Пользователь в системе отображается как адрес электронной почты. Нет проверки на ошибку (получается создать вопрос, где все ответы были не правильные т е ни в одном ответе не была проставлена галочка правильный ответ. Уведомления на почту о назначенном тесте приходят от лица команды Аполо, а не компании, которая использует данную систему для тестирования своих сотрудников. Есть таймер для всего теста, для отдельных вопросов отсутствует. Есть возможность создавать задания с единственный и множественный выбор ответов.
SunRav Web Class	Коробочная версия	Площадка для хранения готовых тестов. Чтобы создавать задания, понадобится отдельный конструктор tMaker. В системе вы можете создавать задания двух: «верно — неверно», «поставь балл от 1 до 10». Программа tMaker поможет расширить этот список до семи: появятся вопросы с единственным и множественным выбором, соответствие, упорядоченный список и вопрос с открытой строкой, в которую нужно вписать вопрос. Есть четыре типа отчётов: матрица ответов, результаты пользователей, групповые отчёты и отчёты по темам. Формат отчётов — csv.
iSpring	Облачная версия	Платформа для онлайн обучения и тестирования. 14 типов заданий: на соответствие, выбор одного или нескольких вариантов ответа, выбор области, drag-and-drop, последовательность. Есть возможность изменить дизайн каждого вопроса и задать правила тесту: установить баллы и штрафы, автоматически перемешивать задания перед тестированием, указать количество попыток и ограничить

		время ответа на каждый вопрос, чтобы сотрудники не списывали. Можно выполнять тесты с компьютера или мобильного телефона. Доступно 15 типов отчетов. Всю информацию (ответы, время) система собирает в отчёты, которые можно скачать в excel-формате.
StartExam	Облачная версия	Есть аналитики — он проверяет ответы и собирает отчёты. В самом тесте можно ограничить время на выполнения заданий и число попыток, включить автоматическое перемешивание вопросы перед началом теста. Можно создавать опросы и проверочные тесты из 9 типов заданий: единственный и множественный выбор, сортировка, соответствие, текстовый ввод, эссе, шкала Ликерта, видеоинтервью и оценка 360 градусов. Помимо вопросов в тест можно добавить слайды информацией. Если сотрудник ошибётся, StartExam автоматически отправит его на этот слайд. В отчёте StartExam по умолчанию 29 полей, можно выбрать нужные параметры и отключайте лишние.
Indigo	Облачная  и коробочная версии	Есть три вида тестов: опрос, тест на проверку знаний и обучающий тест. Последний показывает правильные ответы, если сотрудник ошибся. Конструктор тестов предлагает создать пять типов заданий: единственный и множественный выбор, ввод ответа, расстановка в нужном порядке и соответствие. В настройках можно ограничить время выполнения каждого задания, добавить пояснения и подсказки. Ссылку на готовый тест программа самостоятельно отправит по почте указанным сотрудникам. Статистика: система покажет сколько баллов или процентов набрал сотрудник, какие ошибки допустил в тесте. Отчёты в формате XLS

Исходя из таблицы 1 можно сделать вывод, что ни одна из представленных систем не может быть использована для реализации системы интеллектуального электронно-цифрового университета так как для данной системы необходимо совокупность следующих решений:

• -    сортировать пользователей по группам и возможность назначать тест сразу группе пользователей;

• -    возможность указывать сроки, в которые доступно прохождение того или иного тестирования (например, доступ с 00:00 1 марта по 00:00 7 марта);

• -    ограничение по времени не только для теста в целом, но и также для отдельных вопросов;

• -    создание заданий (вопросов) различных видов;

• -    автоматическая проверка заданий с открытыми ответами;

• -    статистика за определенный промежуток времени как по группам пользователей, так и для отдельных пользователей;

• -    привязка вопросов к учебным материалам и возможность создания рекомендаций автоматически

• -    возможность создавать разные вариации тестов, путем перемешивания списков вопросов.

Вследствие того, что ни одна из систем не отвечает всему ряду требований было принято решение о создании собственной системы для оценки знаний.

Процесс подготовки и редактирования учебных материалов

В процессе подготовки и редактирования учебных материалов (УМ) формируется электронная версия УМ, которые форматируются по определенной технологии во время загрузки УМ в систему. Форматирование учебных материалов построено на идее анализа научных текстов [1,2,3]. В учебном материале выделаются следующие части:

• -    основные атрибуты (отдельные части) научного текста (заглавие, сведения об авторах, аннотация, ключевые слова, основной текст, библиографические ссылки, библиографический список);

• -    ключевые слова (из которых составляется словарик терминов);

• -    вопросы частям основного УМ (к каждой смысловой части выделяются вопросы, ответ на ко-торый(е) содержится в соответствующем отрывке УМ).

Вопросы к УМ

Формируется логико-семантическая сеть «вопрос-ответ». УМ подготавливаются специальным образом для дальнейшего использования в системе. УЧ делятся на темы, к каждой теме составляется список вопросов, формируются прямые ссылки между вопросами и абзацами в теме, в которых рассматривается то или иной вопрос (см. табл. 2). Данное деление позволяет строить индивидуальные траектории обучения: выбор интересующих вопросов и изучение только тех частей темы, которые соответствуют выбранным вопросам. В УЧ материалах выделяются основные термины, составляется список ключевых слов и словосочетаний по теме, которые в дальнейшем будут использоваться для составления тестирований и проверки результатов тестирований.

Табл. 2. Пример деления УМ

Текст темы, разбитый на смысловые части	Номера вопросов, соответствующие теме пара-фа(ов)
Изучение опыта управления успешных мировых корпораций позволило автору прийти к выводу о том, что в повышении эффективности    деятельности ...	1,3,7
После изучения мирового опыта автором были выделены следующие основные модели управления знаниями в корпорациях...	2,4,5
Руководитель-наставник. Существует множество примхеров крупных промышленных компаний...	6,8,10
Достаточно хорошо данную модель иллюстрируют примеры развития высокотехнологических предприятий в СССР...	9

Расписание

Расписание является еще одним важным составляющим при подготовке УМ в ИЭУ. Расписание напрямую связано с (частями) УМ. В расписании указываются даты и время, когда открывается определенная часть УМ (включая тесты), крайние сроки выполнения учебных задний и отправки их на проверку преподавателю, а также расписание онлайн встреч учащегося (группы учащихся) с пре-подавателем(и) (см. табл.3).

Табл. 3. Расписание УМ для дисциплины

УМ	Даты и время (открытия/закрытия доступа к УМ)
Тема 1: Изучение опыта управления успешных мировых корпораций позволило автору прийти к выводу о том, что в повышении эффективности деятельности... Тема 2: После изучения мирового опыта автором были выделены следующие основные модели управления знаниями в корпорациях...	01.09.2022 (00:00) – 31.07.2022 (00:00)
Учебное задание 1: Нарисовать диаграмму...	01.09.2022 (10:00) – 10.09.2022 (00:00)

Учебное задание 1: Составить план...
Лекция 1	01.09.2022 (09:00) – 01.09.2022 (10:40)
Семинар 1	01.09.2022 (10:40) – 01.09.2022 (12:20)
Тест 1	26.09.2022 (00:00) – 30.09.2022 (00:00)

Процесс обучения

Процесс изучения дисциплин(ы) является одним из основных в процессе образования. Данный процесс напрямую связан с проверкой знаний (процесс тестирования), который далее переходит на процесс анализа и работы над ошибками, что в свою очередь влияет на сам процесс обучения. Влияние может происходить в 2 основных направлениях:

• 1)    Группирование/перегруппирование учащихся в соответствии с результатами тестирования, что в дальнейшем позволит индивидуализировать подход к обучению и преподносить УМ в соответствии с результатами тестирования учащихся;

• 2)    Изменение/редактирования учебных материалов и в том числе расписания.

Также можно выделить 3 направление, в исключительных случаях, такого как изменения профессорско-преподавательского состава.

Рис. 3. Процесс обучения в ИЭУ

Словарь к диаграмме:

ФПЗ – фактически приобретенные знания

ТПУ – требуемый (уровень) приобретенных знаний

ТПЗ – технология проведения занятий

УМК – учебно- методические материалы

ДУЗ – достигнутый уровень знаний

Процесс тестирования

Процесс тестирования начинается с заявки на тестирование, которая поступает на вход процесса «Тестирование ТПУ-ФПУ». Результаты тестирования отправляются в Интегрированную БД, а после анализируются (См. рис.3). На основе анализа формируются отчеты и рекомендации, которые также записываются в БД и могут быть основой для внесения корректировок в другие процессы и компоненты ИЭУ (например, УМ, расписание).

Рис. 4. Процесс тестирования

Принцип тестирования

Тестирование основывается на принципе трехуровневого тестирования [4]. ИТЗ=F(ПНМ, УМК, НВК), где понимание (ПНМ) – способность учащегося распознать смысл (содержание) текста или речи. Эта способность базируется на словарном запасе слов, понятий, определений, терминов, сокращений и т.д. Умение (УМН) – способность учащегося сопоставлять сравнивать – выявлять сходство и различие – выделять, аргументировать, рассуждать. Умение – освоенный субъектом способ выполнения действия, обеспечиваемый совокупностью приобретенных знаний и навыков; способность выполнять некое действие по определенным правилам, причем действие еще не достигло авто-матизированности. Владение (навык) ВЛД (НВК) – способность учащегося в автоматическом режиме (без привлечения сознания, на рефлексах) решать типовые задачи дисциплины. Решение задач без привлечения рефлексов можно достичь с помощью решения типовых заданий или с помощью тренингов. Знание дисциплины (ЗНД) – способность учащегося понимать уметь и владеть знаниями, которые изложены в дисциплине.

Шкалы измерения уровня итогового знания и его составляющих. Шкалы существуют как качественные, так и нечеткие. Выбор шкалы должен основываться на типе задания.

Ответы на вопросы:

Ответы:

• -    ответы заданы, среди которых есть правильные и не правильные (параметром ответов – их число);

• -    ответ определяет тестируемый (текст ответа тестируемого ограничен числом строк и при этом тестируемый может пользоваться словарем или тезаурусом);

Вопросы. Классификация вопросов:

• -    Закрытые вопросы. (да-нет-вопросы), возможным ответом на которые обычно служит слово «да» или «нет». Примеры такого рода вопросов: «Является ли вода жидкостью?».

• -    Предметно-открытые вопросы. Какой (кто, сколько)-вопросы, отвечая на которые необходимо указать какой-то конкретный предмет или ряд предметов (одушевленных или неодушевленных), или же запрашиваемую количественную характеристику. Например: «Какие реки впадают в Черное море?», «Сколько притоков у Волги?».

• -    Открытые вопросы. Что такое (почему, зачем, отчего, для чего, как)-вопросы, ответы на которых представляют собой объяснения тех или иных явлений: «Что такое простое число?», «Почему началась Первая мировая война?» и т. п.

Технология формирования теста

• 1)    Тесты на понимание (проблемы, цели, задачи, структура, технологии). Проверка базовых знаний (представлять, осознавать смысл основных терминов, содержательных отношений между терминами, понимать проблемы (вынести оценочные суждения относительно содержания и сложности проблемы);

• 2)    Тесты на умение (способность сформулировать, перевести, трансформировать, интегрировать задачи и проблемы в терминах и суждения заданной предметной области);

• 3)    Тесты на владение (Главный фактор - ограниченное время. Типовые задачи предметной области).

Тест итогового знания включает вопросы на понимание, владение и умение. Варианты:

• -    тест включает фактор времени только на владение;

• -    тест включает общий фактор времени, которые задается или не задается.

Шаблон системы тестирования:

• -    список дисциплин,

• -    учебные материалов дисциплин (теоретический и практический материал).

Учебные материалы представлены в электронной форме в заданном формате.

Формат электронного учебного материала (презентации, тексты, тексты содержащие таблицы, графики, конструкции и т. д.)

Для тестов электронные учебные материалы могут быть представлены:

• -    таблицами;

• -    фреймами;

• -    семантическими сетями;

• -    онтологическими моделями.

Учебные материалы для тестов владения:

Тесты на владение - перечень типовых задач на конструирование. Результатом оценки является:

• -    длительность выполнения теста;

• -    конечный результат;

• -    оригинальность конструкции (алгоритма);

• -    уровень общности конструкции.

Тестирование для учебных процессов требует расписания проведения тестирований! Тесты и тестирование:

На основе УМ составляется список вопросов и вариантов ответов. Обучающемуся необходимо выбрать нужные, по его мнению, варианты ответов. Каждому ответу ученика присваиваются цифры 0 или 1, где 0 - учащийся ответил, что данный вариант не верен, 1- учащийся ответил, что данный вариант верен (см. табл. 4). Ответы учащегося система сравнивает с эталоном (см. подробнее раздел: Оценка результатов тестирования).

Табл. 4. Присвоение знацений 0 и 1 ответам тестируемого

Номер	Вопрос	1	2	3	ответы тестируемого			Локальные оценки
		ответ 1	ответ 2	ответ 3	1	2	3
1	Кем является «пилот» межфункциональной группы?	Руководителем подразделения	Это второе название лидера группы	Организатор группы	1	0	0
...
100	Кем является «пилот» межфункциональной группы?	Руководителем подразделения	Это второе название лидера группы	Организатор группы	1	0	0

Архив списков вопросов (билетов):

Из всего списка вопросов (с присвоенными им вариантами ответов) случайным образом формируются билеты с определенным (заданным) количеством неповторяющихся вопросов из общего списка вопросов. Представим, что в нашем архиве 100 вопросов, а заданное число вопросов в билете 5. Используя функцию СЛУЧМЕЖДУ (1;100) формируется билет (список) из 5 вопросов, который на следующем этапе проверяется отсутствие повторений номеров вопросов в билете. Если повторение отсутствует, то вопросы в данный билете сортируются по возрастания порядкового номера вопроса и билет попадает в архив билетов.

- Проверка на повторения номеров вопросов в билете

Билет сохраняется в архив
Порядковый номер вопроса	Номер вопроса из архива
1	87
2	15
3	4
4	78
5	55

Билет будет переформирован
Порядковый номер вопроса	Номер вопроса из архива
1	87
2	87
3	4
4	78
5	55

Табл. 5. Этапы формирования архива билетов

- Формирование билета случайным образом из общего списка вопросов

Порядковый номер вопроса	Номер вопроса из архива
1	87 {СЛУЧМЕЖДУ (1;100)}
2	15
3	4
4	78
5	55

- Сортировка вопросов

Порядковый номер вопроса	Номер вопроса из архива
1	4

2	15
3	55
4	78
5	87

Табл. 6. Архив билетов

Порядковые номера вопросов	Номера билетов и вопросов
	1	2	...
1	4	5
2	15	60
3	55	74
4	78	91
5	87	100

Эталон вопрос-ответ:

В базе данных системе, кроме списка вопросов и вариантов ответов также хранятся эталоны, сравнивая с которыми можно распознать правильные ответы и допущенные тестируемым ошибки. За каждое совпадение с эталоном пристраивается один локальный бал, баллы суммируются и выставляется локальная оценка за ответ на вопрос (см. табл. 7.1; 7.2).

Табл. 7.1 Эталон ответа

Номер вопроса	Эталон
1	1	0	1
...
100	1	0	0

Табл. 7.2. Сравнение ответов тестируемого с эталоном, выставление локальной оценки

Номер вопроса	Ответы тестируемого	Эталон	Локальная оценка
1	1 0 0	1 0 1	2
...
100               \	1 0 0                                           \	1 0 0                            \	3

Оценка результатов тестирований:

Для оценки результатов тестирования может быть выбрана различная система оценивания

Многократное тестирование:

Существует несколько вариантов многократного тестирования:

Если тестируемый не набрал нужное (желаемое) количество баллов (оценку), то тестирование может быть проведено повторно, с использованием другого билета из архива. Количество повторных попыток может меняться в соответствии с требованиями образовательной организации, дисциплины и так далее.

Тестирование по следующим темам так же будет считаться многократным тестированием. Тестирование по контрольным точкам, например, 2 раза за семестр (в середине семестра и по окончанию семестра). Количество тестирований в течение учебного года может варьироваться в соответствии с требованиями образовательной организации, дисциплины и так далее.

При многократном тестировании возможно осуществить более глубокий анализ результатов тестирования (см. пункт анализ результатов тестирования).

Анализ результатов тестирований:

Благодаря многократному тестированию в базе данных накапливаются данные, по которым можно отследить по каким темам или отдельным частям тем(ы) количество неверных ответов превышает заданный порог, а также темы и ее части, спектр ответов на которые провещает заданный уровень дисперсии.

Дисперсия случайной величины – мера разброса данной случайной величины, т. е. её отклонения от математического ожидания [5].

Высокий уровень дисперсии ответов будет, если тестируемый будет отвечать, как верно, так и не верно на список вопросов по определенной теме (частям темы), что может сигнализировать о неустоявшемся (не сложившемся, не усвоенном) знании по данной теме или ее части. Критическая величина дисперсии может варьироваться в зависимости от требований образовательной организации, дисциплины и так далее.

Рекомендации:

Исходя из результатов однократных тестирований, а также результатов анализа многократных тестирований формируются рекомендации.

Рекомендации – перечень тем, конкретных частей тем, которые необходимо повторить (изучить) учащемуся. Рекомендации составляются на основе вопросов, на которые были даны не правильные ответы, ответы с превышающей заданную дисперсию.

Так как каждый вопрос из базы данных имеет прямую ссылку на часть темы, в котором он рассматривается (см. табл. 2), то данные рекомендации составляются автоматически системой.

Заключение

В статье нами была предложена идея интеллектуального электронно-цифровой университет, как альтернатива традиционному университету, в рамках которого не является возможным решить ряд современных задач. В основу современного университета заложено единство всех структур системы университет, которое обеспечиваться посредствам единого пространства, единой базы знаний, обеспечивающей оперативный обмен знаниями, который своевременно обновляются и накапливаются, на основе чего можно управлять системой, с учетом потребностей всех ее структурных компонентов.

Нами была рассмотрена одна из основных систем любого университета – система проверки знаний. На основе сравнительного анализа систем тестирования был сделан вывод, что существующие системы не подходят для реализации идеи современного университета и поэтому была разработана собственная система.