Выбор метода нахождения весовых коэффициентов для формирования частных рейтингов студентов

Повышение качества высшего образования напрямую связано с совершенствованием систем оценки деятельности студентов. Одним из ключевых инструментов в этой области признано портфолио, которое служит для комплексного отражения академических и профессиональных достижений обучающегося. Актуальность этого инструмента дополнительно возрастает в свете проблем трудоустройства выпускников, поскольку работодатели зачастую испытывают недостаток в структурированной и достоверной информации о компетенциях соискателей. Именно этим объясняется активная работа вузов по внедрению электронных портфолио, призванных стать связующим звеном между выпускником и рынком труда [1].

Современные информационные системы, используемые в сфере образования, всё чаще включают элементы систем поддержки принятия решений. Такие системы позволяют учитывать широкий набор факторов при оценке достижений обучающихся, что особенно важно при переходе к комплексной оценке студента как участника образовательного процесса и внеучебной деятельности. Рейтинг обучающегося становится инструментом, который может использоваться не только администрацией учебного заведения, но и работодателями, заинтересованными в объективной оценке компетенций и активности потенциальных сотрудников.

Комплексность оценивания деятельности учащегося определяет этот процесс как многокритериальную задачу, решение которой вызывает определенные трудности, связанные с информацией, получаемой от лица, принимающего решение (ЛПР). В стремлении устранить многокритериальность и улучшить информативность было реализовано объединение множества критериев в один с помощью коэффициентов важности критериев или весовых коэффициентов [2].

Одним из ключевых этапов построения итогового рейтинга является определение весовых коэффициентов, которые устанавливают относительную значимость отдельных частных показателей — академических достижений, участия в научной, спортивной, волонтёрской и иной активности. К требованиям весов важности относится равенство их суммы единице. От корректности выбора метода определения весов зависит точность итоговой оценки, её прозрачность, удобство использования и интерпретации.

Целью настоящей работы является выбор наиболее подходящего и интуитивно понятного с точки зрения пользователя метода определения весовых коэффициентов для автоматизированного подсчёта рейтинга студента в информационной системе, учитывающей широкий спектр внеучебных достижений и позволяющей работодателю — как одному из акторов системы — задавать собственные предпочтения относительно важности различных направлений деятельности.

Метод исследования основан на ознакомлении с научными трудами, систематизации и критического обобщения и сравнительном анализе основных методов взвешивания критериев.

На основании того, что в системе будет участвовать один эксперт, рассматриваются три подхода: метод прямого присвоения весовых коэффициентов, метод ранжирования и метод анализа иерархий (МАИ). Каждый из них будет подвергнут оценке с точки зрения удобства для пользователя, требований к ЛПР, устойчивости к субъективным ошибкам, а также применимости в условиях разработки информационной системы.

Метод прямого присвоения заключается в непосредственном указании числовых значений весов каждому критерию экспертом, исходящим из своих собственных соображений, как правило, анализируя достоверность и достаточность использованной информации. Учитывая, что сумма всех коэффициентов должна равняться единице или ста процентам (в случае выражения весов в процентном соотношении), эксперту необходимо строго контролировать сумму назначаемых слагаемых, что вызывает затруднения при практическом превышении количества факторов - от 5 до 7 штук., при этом итерационные процессы и непрерывное суммирование значений не упрощают работу [3].

При многокритериальном выборе когнитивная работа эксперта может приводить к внутренним противоречивым решениям. Высокая субъективность оценок снижает надёжность метода, а отсутствие механизма автоматической проверки согласованности может сделать результаты неоднозначными.

Для того, чтобы уйти от постоянного контроля сумм и возврату к предыдущим действиям имеет смысл давать оценку каждому фактору по заведомо выбранной шкале и находить вес в долях от единицы:

C l

- (1)

где C j — оценка фактора.

Но при данном упрощении работы мы плавно переходим к другому методу.

Метод ранжирования основан на упорядочении факторов по степени важности, то есть эксперту достаточно просто расположить оцениваемые критерии в нужном порядке. После чего каждому фактору по порядку присваивается ранг от 1 до n . Преобразовав формулу 1 заменив оценку на ранг вес определяется следующим образом:

i

^Wi=^                  (2)

где ту — ранг фактора, i =1, 2 ... n - порядковый номер ранга.

Для того, чтобы критерию, стоящему первым в списке и имеющим первый ранг, соответствовал наибольший вес, следует преобразовать формулу 2, заменив порядковый номер на п — г^ + 1. Используя формулу суммы первых n-чисел натурального ряда:

П

E ^rf=

п(п + 1) 2

1=1

получим итоговую формулу расчета весовых коэффициентов:

2(п — т^ + 1)

W; = ----------- п(п + 1)

Данная формула называется шкалой Фишберна.

К достоинствам метода стоит отнести то, что он позволяет присвоить нескольким факторам одинаковый ранг, в случае если ЛПР затрудняется отметить какие критерии важнее в рамках выделенной группы. Факторам в рамках такой группы присваивается значение ранга, равное средне арифметическому их рангов в упорядоченном списке.

Метод анализа иерархий, введенный в широкое использование при решении многокритериальных задач математиком Томасом Саати, является одним из самых известных и методологически строгих способов определения весов. Он основан на попарном сравнении каждого критерия с последующим построением матриц попарных сравнений факторов и расчёте итоговых весов через собственные вектора матриц.

По идее Саати попарное сравнение критериев заключается в присвоении приоритетов по разработанной шкале от 1 до 9, где единица является равной предпочтительностью, а девять – абсолютной предпочтительностью [4]. Для критериев 1, 2 … m составляется обратно симметричная матрица размерностью m х m , диагональ которой состоит из единиц, так как сравнение элемента с самим с собой дает равную значимость. Как правило, заполняются ячейки по одну сторону диагонали, ячейки другой стороны заполняются симметрично диагонали обратными числами. Допустим для критериев А, Б, В, Г назначено сравнение: «В» незначительно важнее «А», тогда в соответствующую ячейку вносим 3; «Г» значительно важнее «Б», вносим 5; «Г» явно важнее «В», вносим 7 и так далее. Получаем матрицу размерностью 4х4 (см. табл. 1)

Таблица 1

Матрица парных сравнений.

	А	Б	В	Г
А	1	1/3	3	1/7
Б	3	1	5	1/5
В	1/3	1/5	1	1/7
Г	7	5	7	1

МАИ подразумевает проверку результатов оценки эксперта на согласованность, так как при его «недобросовестной» работе может возникнуть нарушение транзитивности. Согласно аксиоме транзитивности: если «А» важнее «Б», а «Б» важнее «Г», то «А» должен быть важнее «Г» [3].

Качество работы эксперта оценивается по отношению согласованности:

ОС = —, СИ,

где ИС – индекс согласованности, определяемый по формуле 6, CИ – случайные индексы, полученные в лаборатории Окриджа на базе 100 случайных выборок для матриц разного порядка (см. табл. 2).

Индекс согласованности:

и   -тах

ИС =---

— т

т —

1   ,

где m – число критериев, которые сравнивает эксперт, λ max (максимальное) собственное число матрицы.

–

главное

Таблица 2

Случайные индексы

m	1	2	3	4	5	6	7	8	9	10	11	12
СИ	0,00	0,00	0,58	0,90	1,12	1,24	1,32	1,41	1,45	1,49	1,51	1,48

Результат работы эксперта считается применимым, если значение отношения согласованности меньше или равно 0,1 [4].

Несмотря на свою пригодность для решения многокритериальных задач, МАИ имеет ряд недостатков, которые отражены в работах авторов [3, 5]. Сюда следует отнести неинвариантность шкалы отношений; ошибочный алгоритм определения весов; проблема согласованности матриц, сомнительный показатель случайных индексов, полученный эмпирическим путем и произвольно введенный автором для оценки эксперта.

В рамках разработки информационной системы МАИ предъявляет высокие требования к квалификации пользователя и требует значительных временных затрат. Для работодателя, который будет взаимодействовать с системой эпизодически, необходимость составления матриц попарных сравнений и контроля за согласованностью может оказаться чрезмерно сложной. В стремлении создания надежного инструмента, который минимизирует когнитивную нагрузку на работодателя-эксперта и при этом даст математически корректный результат, данный метод не применим.

Таким образом, на рассмотрение остаются два метода – метод прямого присвоения и метод ранжирования. На практике результаты применения каждого их данных двух методов различаются. Это обусловлено измерением разных аспектов восприятия важности, так как ранжирование сфокусировано на порядке сравниваемых предметов, а прямое присвоение – на непосредственной оценке предпочтений.

Допустим, эксперт оценивает семь критериев А, Б, В, Г, Д, Е, Ж. При прямой оценке по стобалльной шкале эксперт может присвоить баллы: А (100), Б (100), В (95), Г (95), Д (88), Е (55), Ж (45). После нормализации значений получаем веса W P . Методом ранжирования получаем веса W R , используя формулу Фишберна. Полученные результаты занесем в таблицу 3.

Таблица 3

Весовые коэффициенты для семи критериев

Критерий	Балл	W P	Ранг	W R
А	100	0,17301	1,5	0,232143
Б	100	0,17301	1,5	0,232143
В	95	0,16436	3,5	0,160714
Г	95	0,16436	3,5	0,160714
Д	88	0,152249	5	0,107143

Е	55	0,095156	6	0,071429
Ж	45	0,077855	7	0,035714

Из сведенных значений видно, что веса, полученные методом оценки, имеют меньший разрыв между значениями, чем у весов, полученных ранжированием.

Различие результатов объясняется разной когнитивной нагрузкой на эксперта, разной «чувствительностью» шкал, ошибкой центральной тенденции при оценивании. Стремление оценивающего избегать крайних оценок является когнитивным искажением, при котором эксперты склонны оценивать события как более близкие к среднему значению, чем они есть на самом деле. Это может привести к неверным результатам из-за недооценки или переоценки крайних значений [6].

При прямом оценивании ЛПР также может стремиться к более круглым значениям баллов из-за удобства. К примеру, один критерий эксперт мог бы оценить в 1,5 раза весомее второго, но из-за округления оценок соотношение существенно меняется. При ранжировании лидирующие места имеют больший разрыв из-за нелинейности значений.

Метод ранжирования является более предпочтительным для использования формирования гибкого рейтинга для работодателя, с точки зрения пользователя системы. Данный подход значительно упрощает процесс, обеспечивает более высокую логическую согласованность, поскольку исключается необходимость выбора конкретных числовых значений весов. Метод ранжирования легко интегрируется в интерфейс информационной системы и обеспечивает баланс между простотой и корректностью вычислений.