Автоматизация процесса многокритериального ранжирования студентов с помощью электронного портфолио

УДК 519.87                                               

1,2,3,4 Moscow City University, Institute of Digital Education, Moscow, Russian Federation

Введение. Работа посвящена повышению качества управления образовательной организацией за счет автоматизации персонифицированного сбора, хранения и ранжирования данных. Авторами разработан модуль корпоративной системы вуза ― электронное портфолио студентов, в котором реализован метод многокритериальной оптимизации для расчета рейтинга обучающихся на основе собранных и хранящихся данных. Объектом исследования являются методы многокритериального ранжирования. Предметом исследования является автоматизированный расчет рейтинга студента в рамках электронного портфолио. Целью исследования является разработка инструментария для сбора, хранения и обработки данных об индивидуальных достижениях студентов и реализация математического метода многокритериальной оптимизации для ранжирования обучающихся на основе данных портфолио. Практическая значимость исследования ― предоставить инструмент для эффективного управления учебным процессом.

Метод и инструментарий. Представлен прототип модуля корпоративной системы вуза «Электронное портфолио» на платформе «1С: Предприятие 8.3». Для ранжирования студентов в блоке модуля анализа данных реализован частный случай метода ранжирования альтернатив ― попарное сравнение по степени их относительной важности. При этом использовалась унифицированная шкала отношений.

Результаты исследования . Авторы описали схему функционирования информационной системы (ИС) «Электронное портфолио», представили схему взаимодействия процессов по формированию портфолио, а также схему бизнес-процессов при расчете индивидуального рейтинга. Показан фрагмент выборки, на которой проводилась проверка работоспособности блока многокритериальной оптимизации. Описаны критерии, принимающие участие в расчетах, а также правило отбора альтернатив для нахождения оптимального решения.

Introduction. The paper considers improving the management quality of an educational organization through automating the personalized data collection, storage and ranking. The authors have developed a module of the university corporate system, an ePortfolio of students, which implements a multicriteria optimization method for calculating the students’ rating on the basis of the collected and stored data.

The study object is multicriteria ranking methods. The subject of the study is the automated calculation of student’s rating within the electronic portfolio. The study objective is to develop tools for collecting, storing and processing data on individual achievements of students and the implementation of the mathematical method of multicriteria optimization for ranking students on the basis of the portfolio data. Practical implications include development of a tool for an effective management of the educational process.

Materials and Methods . A prototype module of the university corporate system “ePortfolio” on the platform of 1C: Enterprise 8.3 is presented. To rank students, a special case of the alternative ranking method is implemented in the block of the data analysis module – pairwise comparison in order of their relative importance. At that, a unified scale of relations was used.

Research Results. The authors described the scheme of the information system (IS) operation “ePortfolio”, presented a process interaction pattern for the portfolio formation, as well as a diagram of business processes under calculating an individual rating. A fragment of the sample is shown on which the performance of the multicriteria optimization block has been tested. The criteria of the calculations are described, as well as the rule of screening alternatives for solving for the optimum.

Обсуждение и заключение . В работе приведены результаты работы блока ИС по ранжированию списка студентов. Результаты расчетов совпадают с практическими данными.

Discussion and Conclusion. The paper presents the results of the IS block operation on ranking a list of students. The calculation results coincide with the practical data.

• 8.3».

Образец для цитирования: Автоматизация процесса мно-      For citation: L.A. Ponomareva, et al. Automation of mul- гокритериального ранжирования студентов с помощью      ticriteria ranking of students using ePortfolio. Vestnik of электронного портфолио Л. А. Пономарева [и др.] Вест-      DSTU,   2019, vol.   19, no.   4, pp.   382-388.

ник Донского гос. техн. ун-та. — 2019. — Т. 19, № 4. —      

С. 382-388.

Введение. Оценка эффективности учебного процесса ― одна из важнейших характеристик деятельности вуза при расчете его рейтинга [1]. Для повышения конкурентоспособности образовательной организации (ОО) на рынке образовательных услуг необходим эффективный мониторинг и объективная оценка результатов учебного процесса по каждому студенту [2]. Зачастую данные хранятся разрозненно или в общих списках, что не дает персонифицированного представления для будущего работодателя.

Образовательные организации проводят множество мероприятий, в которых участвует большое количество студентов. Интересны также индивидуальные достижения вне стен вуза, например, волонтерская деятельность, благотворительность, работа в летних молодежных лагерях и т. д. Подобная информация редко собирается и хранится должным образом. На основании собранных сведений можно формировать рейтинг для каждого обучающегося. Ранжирование студентов является одним из приемов эффективного управления деятельностью ОО [3]. Согласно новым стандартам образования и в соответствии с федеральным законом ФЗ 273 «Об образовании в Российской Федерации» [4] необходим автоматизированный сбор, хранение и обработка данных. Одно из решений этой проблемы ― электронное портфолио, которое также позволит осуществлять автоматическое ранжирование студентов.

Методы и инструментарий исследования. Авторами спроектирован и реализован на платформе «1С: Предприятие 8.3» модуль корпоративной системы «Электронное портфолио» (ЭП), который может работать и как самостоятельная информационная система [5]. ИС хранит информацию о достижениях студентов и на основании этой информации производит автоматическое упорядочивание студентов по убыванию. Для ранжирования студентов применен метод векторной оптимизации.

Постановка задачи : построить математическую модель, которая оперирует с множеством F(Х) ― альтернативных решений (альтернатив) (где Х ― некоторое множество критериев), которые будут в дальнейшем расположены в порядке убывания предпочтения. Самое предпочтительное решение будет стоять первым, за ним менее предпочтительное и т. д. Степень предпочтения оцениваться величиной рассчитанного ранга для каждой альтернативы. Ранг рассчитывается из значений весов критериев, которые присвоены лицом, принимающем решение (ЛПР).

Пусть функция F i (X j ) образует вектор оцен ки а льтерн ат ивных решений при выполнении условий:

i = 1,m ;j = 1, n, где m ― количество альтернатив в выборке; n ― число критериев, участвующих в определении ранга студента. Пусть F 1 (X 1 ) ― оценка решения X 1 по первому критерию; F 2 (X 1 ) ― оценка решения X 1 по второму критерию и т. д.

Тогда вектор оценки для первого решения имеет вид:

F(X 1 ) = (F 1 (X 1 ), F 2 (X 1 ), F m (X 1 )) .

Областью множества оценок альтернатив назовем некоторое множество оценок Y D , которые принадлежат допустимой области D , которая определяется на основе данных, хранящихся в базе данных ЭП:

D = [6], где C ― цель, которая заключается в ранжировании списка студентов в порядке убывания рассчитанного рейтинга на основе данных электронного портфолио; F ― альтернативы, т. е. фамилии студентов, подлежащих упорядочиванию; X ― критерии, т. е. данные о достижениях обучающихся, хранящиеся в электронном портфолио; P ― предпочтения: X 1 > X n . Это показатели, которые соответствуют учебному процессу и являются основой для сравнения альтернатив и для принятия решения; G ― ограничения на область допустимых решений.

Информатика, вычислительная техника и управление

Альтернативу F , (X j ) , у которой наибольшее количество исследуемых критериев принимают максимальное значение, можно найти из выражения:

X Е D; F(X j ) Е Y d .

Тогда задачу упорядочивания (ранжирования) альтернатив (F i (X j )) на критериальном множестве D^m в порядке их убывания можно описать выражением:

Y d = F i (D) = {YI Y=F(X), X Е D^m} .

Для решения поставленной задачи авторами применен частный случай метода ранжирования альтернатив — попарное сравнение по степени их относительной важности с использованием унифицированной шкалы отношений [7]. Для каждой функции F(X) ЛПР определялась степень предпочтительности ^Fl(Xj), j = 1,п на основании оценки веса каждого критерия.

Результаты исследования. Автоматизация процесса многокритериального ранжирования студентов происходит в модуле информационной системы их электронного портфолио. Схема функционирования прототипа ИС электронного портфолио на основе разработанной конфигурации в «1С: Предприятие 8.3» [8] представлена на рис. 1.

Администратор

Администровать

ИС Портфолио

Обучающийся

Заместитель д по учебной

Сформировать портфолио обучающегося

Вести БД

ИС Портфолио

Сформировать рейтинговую оценку ектора подаватель

Директор ИЦО

Заместитель директора по воспитательной работе

Сотрудник учебного отдела

Рис. 1. Схема функционирования электронного портфолио

Для формирования портфолио обучающегося предусмотрено:

• •    ввод данных;

• •    преобразование данных в электронный формат;

• •    хранение данных;

• •    предоставление отчетов, в том числе рассчитанные рейтинги студентов и упорядоченные списки по кафедрам, факультетам, ОО.

Процесс формирования портфолио представлен на рис. 2.

Рис. 2. Схема формирования портфолио

Спроектирована база данных для ИС электронного портфолио [9], трансформационная модель которойизображена на рис. 3.

Группа

Код_группы: Число

Шифр_группы: Строка(30)

Направление_подготовки Строка(50) Кур с: Число

ОбщестееннаЯ-Деятельность

Код_о бу чающегося: Число (FK) Код_ОД: Число

Учебные-достижения

Код_УД: Число

Код-Обучающегася: Число (FK)

Научные рукоеодители

Код_маучрука: Число

Название_УД Строка(ЗО) Вид_УД Строка(25) Дат а_УД: Дата

Назван ие_ОД Строка(30) 8кд_0Д Строке(25) Дата ОД Дата

Обучающийся

Код_научрука: Число (FK)

Наэеание_НД Строка(30)

Вид_НД: Строка(25)

^1 Место_НД Строка(50)

П Дата_НД Дата

Научныв-Достижения

Код_обучающегося: Число Код_НД: Число

ФИО_научрука Строка(50)

Код_о бу чающегося: Число

Код_группы: Число (FK) ФИО Строка(50)

Возраст: Число

Дата_рождения_обучающегося: Дата Адрес_об у чающегося: Строка(50) Почта_обучающегося: Строка(300 Фото обучающегося Хранилище Значения

Успеваемость _______________

Код_дисциплины: Число (FK) Код_обучающегося: Число (FK)

Теорческиецаостижения

Дата_получени я: Дата Семестр: Число

Код_ТД: Число

Кад_обучающегося: Число (FK)

Название_ТД: Строка(30)

Вид_ТД Строка(25)

Дата_ТД: Дата

Спортивные ..достижения

Код_СД: Число

Код_обучающегося: Число (FK)

Название_СД: Строка(30) ВиД-СД: СтрОКО(25) Место_СД: Строка(50)

Дата.СД Дата

Дисциплина

Кад_дисциплины: Число

Название^писциплины: Строка(30)

Втщисциплины: Строка(25) Трудоёмкость: Число

Рис. 3. Модель базы данных электронного портфолио

Взаимодействие информационных процессов по формированию индивидуального рейтинга обучающегося на основании информации, хранящейся в базе данных системы, продемонстрировано на рис. 4.

Рис. 4. Схема функционирования блока ИС по формированию рейтинговой оценки обучающегося

В ИС предусмотрено формирование различных отчетов [10]. Например, пользователь может отобразить блоки сравнительной оценки по учебным, спортивным, общественным, творческим и научным достижениям. Одна из форм отчёта представлена на рис. 5.

Информатика, вычислительная техника и управление

4- ■* | Портфолио обучающегося

ФИО:

Дата рождения:

Группа:

Адрес:

Аксаненко Светлана Владимировна 13.08.1994 0:00:00

Женский

МБ-151мз

Учебные достижения:

Номер Достижение         Вид               Рейтинг

1          Интеллектуальные игр| Конкурс            |1

Научные достижения:

Номер Достижение         Организация Вид                        Рейтинг

1        | Конференция |ГАОУВОМГПУ | Конференция

Общественные достижения:

Номер Достижение         Организация Вид                        Рейтинг

| Донорство крови | ГАОУ ВО МГПУ      | Донорство

Спортивные достижения:

Номер Достижение

Уровень

Вид

Место Рейтинг

| Борьба'

| Институтский

I Дзюдо

|Лауреат |1

Творческие достижения:

Номер Достижение         Вид               Место                      Рейтинг

11         I Интеллектуальная игр! Интеллектуальная Hrd Первое1

2         | Турнир              | Турнир по настольный Третье|3

Рис. 5. Отчет в виде сформированного портфолио

Работу блока ИС, отвечающего за ранжирование студентов, проверяли на выборке из 1000 человек. К выборке было применено правило: . .                                   . *.                            1 .

F.(X) > F. (X ), i = 1,m, io: Fffl(X) > Fffl(X), где Fi0 (Х*) — парето-оптимальное решение.

После возможных удалений, реализованных в соответствии с правилом, в таблице остались 250 взаимно несравнимых альтернатив, а из ранее сравнимых ― только лучшие. Таким способом была сформирована выборка для дальнейших исследований, фрагмент которой представлен в таблице 1.

Фрагмент выборки для ранжирования

Таблица 1

№ п/п	ФИО	Участие  в олимпиаде	Участие в спорт. Соревнов	Член профсоюза	Повышенная стипендия	Стипендия	Публикация научных статей	Участие в научных конференц	Волонтер	Донор	Благотворительно сть
1	КОЛОМОЙЦЕВА ГАЛИНА ЮРЬЕВНА	XX         X   X       X X      X       XX X     XX X        X          XX X     X   X  XXX X       XX X    XX       X
2	МАРТЫНЕНКО ЕЛЕНА АНАТОЛЬЕВНА
3	ЮРЧЕНКО ЛЮДМИЛА МИХАЙЛОВНА
4	КОНОВОДОВ ЮРИЙ НИКОЛАЕВИЧ
5	АЛИЕВА АНТОНИНА ЛЕОНИДОВНА
6	БАЙЦАР АЛЕКСАНДР ПАВЛОВИЧ
7	СМИРНОВА ЕЛЕНА ВАСИЛЬЕВНА

Оптимизация проводилась по 13-и критериям: участие в научных конференциях, наличие стипендии, участие в общественных организациях и т. д. Далее строилась матрица критериев, где каждому критерию приписывался вес в соответствии с предпочтениями ЛПР (таблица 2).

Таблица 2

Матрица весов критериев

Критерии		Х1	Х2	Х3	Х4	Х5	Х6	Х7	Х8	Х9	Х10	Х11	Х12	Х13	Ср. геом-е
Участник олим.	Х1	1,00	0,14	3,00	0,25	2,00	1,00	1,00	3,00	0,25	2,00	5,00	5,00	3,00	1,2773764
Участ в спорт соревн	Х2	7,00	1,00	8,00	1,00	5,00	5,00	2,00	5,00	0,33	9,00	7,00	7,00	7,00	3,5535071
Член профсоюза	Х3	0,33	0,13	1,00	0,14	0,33	0,20	3,00	0,14	0,20	0,50	3,00	1,00	1,00	0,4675483
Повышенная стип.	Х4	4,00	1,00	7,00	1,00	7,00	5,00	9,00	7,00	5,00	9,00	5,00	7,00	5,00	4,6581847
Стипендия	Х5	0,50	0,20	3,00	0,14	1,00	0,33	0,33	0,33	0,14	0,20	3,00	0,14	1,00	0,434096
Публикация НС	Х6	1,00	0,20	5,00	0,20	3,00	1,00	7,00	5,00	5,00	7,00	7,00	0,33	5,00	2,007042
Участие в науч. Конф.	Х7	1,00	0,50	0,33	0,11	3,00	0,14	1,00	0,33	0,20	1,00	3,00	0,33	0,33	0,5143549
Волонтерство	Х8	0,33	0,20	7,00	0,14	3,00	0,20	3,00	1,00	0,14	5,00	7,00	5,00	5,00	1,2315968
Донорство	Х9	0,25	3,00	5,00	0,20	7,00	0,20	5,00	7,00	1,00	9,00	9,00	7,00	7,00	2,4958934
Благотворительность	Х10	0,50	0,11	2,00	0,11	5,00	0,14	1,00	0,20	0,11	1,00	5,00	0,20	0,20	0,4581585
Летние лагеря	Х11	0,20	0,14	0,33	0,20	0,33	0,14	0,33	0,14	0,11	0,20	1,00	1,00	0,25	0,259332
Творч конкурсы	Х12	0,20	0,14	1,00	0,14	7,00	3,00	3,00	0,20	0,14	5,00	1,00	1,00	0,17	0,6757149
Учасник общ-ого движ.	к13	0,33	0,14	1,00	0,20	1,00	0,20	3,00	0,20	0,14	5,00	4,00	6,00	1,00	0,7389604
	Итого	16,65	6,91	43,67	3,84	44,67	16,56	38,67	29,55	12,78	53,90	60,00	41,01	35,95	18,77

В таблице 1 значок «×» заменяли на вес критерия. Далее проводили попарное сравнение студентов относительно какого-либо критерия, например, первого. Сравнение проводили следующим образом: наивысшее преимущество одного студента перед другим ― это значение веса первого критерия плюс единица. Единица нужна для того, чтобы при делении единицы на вес критерия не получалось большого числа. Это число должно быть меньше, чем максимальный вес критерия. Т. е. вес критерия ― это максимальное значение в таблице (наивысший приоритет). На следующих шагах обработки данных система производит определенные расчеты [11]:

• •    находит количественную оценку противоречивости сравнений;

• •    вычисляет степень неточности сравнений;

• •    определяет общий критерий для каждой альтернативы;

• •    находит наилучшее решение;

• •    проверяет достоверность решения.

Обсуждение результатов. В результате работы блока прототипа ИС «Электронное портфолио», который отвечает за расчет рейтинговой оценки студента и упорядочивание предоставленного списка обучающихся по убыванию, можно получить отчет, который представлен в таблице 3.

Таблица 3 Фрагмент таблицы с результатами ранжирования студентов

	X1	X2	X3	X4	X5	X6	X7	X8	X9	X10	X11	X12	X13	Итоговые
	0,068048	0,189301	0,024907	0,248148	0,023125	0,106918	0,027400452	0,065609	0,132959973	0,024407	0,013815004	0,035996	0,039366	значения
F1	4,69	9,93	0	10,99	2,43	0	2,56	0	0	0	0	0	4,08	5,213001
F2	4,69	0	2,52	0	2,43	7,48	0	0	0	0	1,61	4,05	0	1,4058781
F3	0	0	2,52	0	0	0	0	6,14	0	3,16	0	0	4,08	0,7033417
F4	0	9,93	0	0	2,43	0	0	0	9,42	3,16	1,61	0	0	3,2877994
F5	4,69	0	2,52	10,99	2,43	7,48	2,56	0	0	0	0	4,05	0	4,1809328
F6	4,69	0	0	0		0	0	6,14	0	3,16	1,61	0	4,08	0,9819622
F7	0	0	2,52	0	2,43	0	2,56	0	0	3,16	0	4,05	0	0,412015
F8	4,69	9,93	0	0	0	0	0	0	0	0	0	0	0	2,1988993
F9	0	0	2,52	10,99	0	0	0	0	0	0	0	4,05	0	2,9357024
F10	0	9,93	0	10,99	0	7,48	0	6,14	0	0	1,61	0	4,08	5,9923473

В таблице F1–F10 ― фамилии студентов; верхняя строка ― названия критериев, по которым рассчитывался ранг каждого объекта; вторая строка сверху ― вес критерия; другие числовые значения ― количественные оценки студента за участие в той или иной деятельности. Наивысшее предпочтение ЛПР отдавалось критериям, которые были связаны с учебой (стипендия, повышенная стипендия, научная деятельность и т. д.). По результатам расчета видно, что первые четыре места займут студенты, которые получают повышенную стипендию. Самый высокий рейтинг у студента F10 ― он получает повышенную стипендию, имеет научные публикации и является участником спортивных соревнований. ИС позволяет различные однотипные достижения (например, спортивный разряд, победитель или участник соревнований) объединять в один кластер и давать общую оценку кластеру (представлять в расчетах в качестве одного критерия с определенным весом).

Заключение . Авторы предлагают инструмент, который предоставляет пользователю возможность количественной оценки исследуемых объектов при большом объеме информации об этих объектах. Электронное портфолио позволяет максимально учитывать различные достижения студентов, и не только в стенах вуза, обеспечивает доступность данных для самих студентов, хранит большое количество информации об обучаемом. Расчет индивидуального рейтинга и ранжирование улучшает качество учебного процесса, что в результате повлияет на общий рейтинг вуза.