Разработка системы для расчёта рейтинга преподавателей на основе квалиметрического подхода и онтологии

В настоящее время в связи с реформированием образования в России происходит не только перестройка учебных планов в соответствии с различными его ступенями и компетенциями, но и изменение требований к профессорско-преподавательскому составу (ППС) в части оценки их деятельности. Предлагается и применяется методика оценки качества деятельности ППС, в которой за каждый показатель выполненных работ преподаватель получает баллы. Стоимость каждого такого балла исчисляется в рублёвом эквиваленте и непосредственно влияет на заработную плату преподавателя. Данная методика содержит такой элемент, как вес каждого показателя. Так, например, проведение межвузовских олимпиад регионального уровня, требующее больших временных, психологических затрат (составление заданий различной сложности, развёртывание системы автоматической проверки исходного кода на различных языках и мониторинга рейтинга, общение с представителями других ВУЗов) в балльном эквиваленте ниже, чем, например, написание небольшой статьи. В связи с этим можно утверждать о наличии трудностей в оценке работы, поскольку должным образом не учитываются важные атрибуты (трудоёмкость, потребные ресурсы и пр.). Использование квалиметрического подхода позволяет избавиться от этого недостатка, а совместное использование базы данных (БД) и онтологии позволит функционально отделить накопление информации и расчёт различных характеристик от выполнения запросов. Так как процесс преобразования БД в онтологию должен повторяться неоднократно при появлении новой информации в БД, целесообразно автоматизировать этот процесс, например, с помощью программного средства для создания компиляторов ANTLR [1].

1 Основы расчёта рейтинга преподавателя в университете

Советом университета выделяются группы показателей образовательной, научной, иных видов деятельности (такие как издательская и методическая деятельность, учебная деятельность, публикационная активность, цитируемость публикаций), в каждой группе определены показатели и их весомость в баллах [2].

В настоящее время в университете ежемесячно в течение учебного года собираются показатели результативности для преподавателей кафедр. Эта информация загружается в БД университета и отображается на сайте. При выполнении показателя коллективом авторов баллы делятся пропорционально числу авторов от университета независимо от вклада каждого автора. Для подсчёта суммарного балла применяется формула, закреплённая в положении о рейтинге:

= ∑ , где n - число показателей преподавателя;

P i - число баллов за данный показатель;

C i - количество экземпляров показателя (число статей и т.д.).

Для каждой должности советом университета назначается плановое значение (PZ) суммы баллов. Преподаватели, набравшие менее 50% PZ не получают стимулирующей выплаты. При значениях PZ в диапазоне от 50% до 100% включительно преподаватели получают стимулирующую выплату. Преподавателям, перевыполнившим установленное PZ, назначается премиальная выплата [2].

Механизм денежного стимулирования деятельности преподавателя, базирующийся на оценке его личного вклада, служит для установления непосредственной зависимости между размером денежного поощрения и результатами труда преподавателя. Системный подход к мотивации деятельности преподавателя ВУЗа позволяет декомпозировать алгоритм расчёта выплат, установить взаимосвязь между размером вознаграждения и реальными трудовыми затратами, определить личный вклад каждого преподавателя и применить соответствующие денежные поощрения за результаты работы.

Квалиметрия является наукой о количественной оценке качества объекта, подлежащего оцениванию и описываемого набором признаков, в виде расчётной модели. Эта модель пред- ставляет собой описание признаков объекта, имеющих определённые оценки их важности

(веса). Введённые показатели пересчитываются к квалиметрической шкале в [0,1]:

vals-ng vg-ng

=

, где

ks – пересчитанное к квалиметрической шкале значение показателя, s=1…n; n – количество признаков, vals– значение показателя, vg – верхняя граница показателя, ng – нижняя граница показателя.

По значениям показателей при имеющихся весах рассчитываются интегральные характеристики Q и DeltaQ , где Q – количественное значение соответствия качества объекта предъявляемым требованиям, DeltaQ – количественное значение отклонения объекта от требований [3-7]. В результате рассчитывается итоговый интегральный показатель в диапазоне от 0 до 1.

2    Структура БД

Для решения задачи оценки рейтинга преподавателя выделены основные сущности и их атрибуты (см. таблицу 1).

Таблица 1 – Сущности БД и их атрибуты

Название сущности	Атрибуты сущности	Обозначения атрибутов в структуре БД
Институт (institute)	название института	has_name
Подразделение института (subdivision)	название подразделения, название института	has_name, institute_idinstitute
Сотрудник (employee)	ФИО, должность, название подразделения, плановый показатель должности	has_name ,has_position, subdivision_idSubDiv, plan_pos_idPlan
Группа показателей (grp)	Название группы	has_name
Показатель\ (attribute)	имя показателя, имя группы, вес показателя	has_name, grp_idGrp, has_weight
Плановый показатель (plan_pos)	должность, предел баллов	position, has_plan
Временной период (time_period)	Начало периода, конец периода	has_begin, has_finish
Показатель сотрудника (employee_attribute)	ФИО сотрудника, временной период, название показателя, количество	emploee_idEEmployee, timeperiod_idtimeperiod, attribute_idattribute, has_count
Интегральные характеристики сотрудника (inte-gral_employee)	ФИО сотрудника, временной период, число баллов по традиционной методике, интегральная квалиметрическая характеристика	emploee_idEEmployee, timeperiod_idtimeperiod, has-_integralreit ,has-_integralkv,

Основные группы показателей приведены в таблице 2.

Таблица 2 – Основные группы показателей и входящие в них показатели

Группа показателей	Показатель
Издательская и методическая деятельность	Издание учебника с грифом Министерства науки и высшего образования по дисциплинам учебных планов ИРНИТУ
	Издание учебного пособия с грифом Министерства науки и высшего образования по дисциплинам учебных планов ИРНИТУ
	Издание учебного пособия по дисциплинам учебных планов ИРНИТУ
	Издание лабораторного практикума / пособия по выполнению практических работ и других видов учебных изданий по дисциплинам учебных планов ИРНИТУ
Учебная деятельность	Научное руководство студенческой проектной командой
	Получение ученого звания
	Работа в качестве трекера студенческой проектной команды
Развитие электронных, дистанционных ресурсов	Разработка электронных образовательных ресурсов по дисциплинам учебных планов ИРНИТУ
	Организация обучения по созданным электронным образовательным ресурсам
Публикационная активность	Публикация статьи в рецензируемых журналах, входящих в наукометрические системы Web of Science,
	Публикация статьи в рецензируемых журналах, входящих в наукометрические системы Scopus
	Публикация статьи в рецензируемых журналах ВАК
	Публикация монографии
Цитируемость публикаций	Количество цитирований Scopus
	Количество цитирований Web of Science

Веса показателей назначаются пользователями системы по разработанным ими критериям и могут быть изменены в ходе её эксплуатации.

После выделения сущностей производится нормализация БД, то есть выполнение ряда действий над сущностями, которые обеспечивают устранение избыточности за счёт их декомпозиции таким образом, чтобы в каждой сущности хранились только первичные факты. Структура БД описана с помощью средства визуального проектирования DbDesigner [8] и представлена на рисунке 1.

Рисунок 1–Структура БД

3    Структура системы

Структура разработанной системы расчёта рейтинга преподавателей представлена на рисунке 2. С помощью DbDesigner создан скрипт, содержащий операторы CREATE TABLE языка SQL. При запуске этого скрипта на сервере MSSQL создана БД kval, перечень таблиц которой показан на рисунке 3, где их имена совпадают с именами сущностей, приведённых в таблице 1.

После создания БД разработано клиентское приложение для корректировки таблиц и вычисления интегральных характеристик. В результате работы приложения БД наполнена записями и сформирован скрипт, содержащий операторы языка SQL CREATE TABLE (для добавления таблиц) и INSERT INTO (для добавления записей в таблицы).

С использованием этого скрипта формируется (или корректируется) онтология, классы которой соответствуют таблицам БД, а атрибуты и отношения – атрибутам таблиц. Таким образом БД трансформируется в базу знаний (БЗ). Переход от описания на языке SQL к описанию на контролируемом языке CNL (от англ. Controlled Natural Language), используемом в редакторе онтологий FLUENT, можно выполнять вручную. Так как корректировка БД и онтологии, которые должны быть синхронизированы, может происходить многократно, выполнение этой процедуры осуществляется автоматизированно с помощью ANTLR [9].

Рисунок 2 – Структура разработанной системы

J Ц kval

J Q Таблицы l>  Я Системные таблицы t>  Я Внешние таблицы

• >   й dbo.attribute

О   Н dbo.employee

• >  Н dbo.employee_attribute

• >   Й dbo.institute

• >  H dbo.integral_employee

• >  H dbo.Plan_Pos

• >  H dbo.subdivision

• >  Щ dbo.time_pericd

Рисунок 3 – Перечень таблиц БД на сервере

4 Приложение для наполнения БД

На рисунке 4 показана главная форма приложения БД для пользователя из отдела, отвечающего за поддержку БД в актуальном состоянии. Просмотр и корректировка данных осуществляется через пункт меню «Просмотр». На рисунках 5 и 6 показаны формы просмотра институтов и сотрудников с возможностью выполнения всех видов корректировки.

Рисунок 4 – Главное окно приложения БД

Рисунок 5– Окно просмотра и корректировки институтов

Рисунок 6 – Окно просмотра и корректировки сотрудников

С помощью пункта меню Запросы производится вычисление интегральных квалиметри-ческих характеристик.

В процессе эксплуатации приложения БД были выявлены следующие недостатки:

• ■    результатом запроса к БД является информация, хранимая в самой БД, нет возможности найти данные, которые можно получить как результат логического вывода, что можно сделать, используя онтологию;

• ■    при использовании БД трудно моделировать сложные связи в отличие от онтологического подхода.

Преодолеть названные недостатки приложения позволяет онтология, являющаяся современной формой представления знаний и позволяющая производить автоматизированную обработку семантики информации [10, 11].

5 Использование инструмента ANTLR для трансформации БД в БЗв онтологическом редакторе FLUENT

ANTLR (от ANother Tool for Language Recognition – Инструмент для Распознавания Языков) – это инструментарий для создания компиляторов или интерпретаторов языков программирования [12, 13]. ANTLR используется для трансформации БД MSSQL в БЗ. ANTLR позволяет при наличии описания по определенным правилам грамматики входного языка (в данном случае - подмножества SQL) автоматически создать основные блоки компилятора с этого языка, а также генерацию кода программы на выходном языке (в данном случае CNL). С этой целью генерируются классы Lexer, Parser и Emitter, которые включаются в состав программы на языке C#. С помощью этой программы могут многократно обрабатываться скрипты на языке SQL. В грамматику для ANTLR включаются лексические, синтаксические правила и семантические атрибуты (attributes), а также семантические действия (actions), позволяющие сгенерировать код программы на языке C#.

Фрагмент описания грамматики языка – подмножества MSSQL средствами ANTLR – показан на рисунке 7. В правом окне перечисляются правила для лексических и синтаксических конструкций языка, в левом окне формируются имена конструкций.

r^.dbg

• program

• к»yvwxd_creoie ф keyword jneert Ф keyword_*iue« • km*ord_pk Ф ftregn j* Ф pre^trwxei • keyword_go • hpe

• notjxJ

Ф idem ty

• if*.d*e

. 9r азсаг kv»l_®;                                                                                             »

• ¹ option* [language • CShaip3;|                                                                                      ,—।

Сртодтее ;fell_creake*lfull_An»ert4l full_lnaert* full_create*I full_creata* full_in»ert*;

□keyword create ; (00*71 TABLE');

t keywordlnaert : (‘DtSERT ПГТО ); keyword values ; ("VALUES');

• ■ Okeywordjpt : <*икпмх szyj;                                                                          _E

Dforel^j* I ( rcREIOi KEY);

prefe rance»: ( КЕГЕЯЕЖЕ$ •);

I ; keyword go : {'GO');

• • dw : r!■т■G»^eгv>Jlau»•l•D*1I'rn^жr•): Qnot nul ! (ЮГ MOLL');

DAdemtAty ; (’ 1ВЕУТГТТ");

Oinfo_data:n>l ID' Ч,е,П>,е':

| insert body

| □;lBfo_dita ('. Anfo_data)•; endc reate

I □ Ike/word^pk *(* Anfo_data ')' (*,• foreign_pk *(' lnfo_data ’)' preferences info^data *(' Anfo_data ')')•;

I:type length: *(' Anfo data •)*;

Ctype^forwt: type notarial I type I type identity I type not nul identity I type type length;

Рисунок 7– Фрагмент грамматики подмножества языка MSSQL в ANTLR

6 Онтология в редакторе FLUENT и запросы к ней

Онтология — целостная структурная спецификация некоторой предметной области (ПрО), её формализованное представление, которое включает словарь терминов ПрО и множество логических связей (типа «элемент-класс», «часть-целое»), которые описывают, как эти термины соотносятся между собой. Основные элементы онтологии:

• ■    классы, которые описывают понятия ПрО;

• ■    атрибуты описывают свойства классов и их экземпляров;

• ■    экземпляры (объекты) содержат конкретные значения атрибутов;

• ■    отношение - это вид атрибута, определяющий зависимости между классами.

FLUENT Editor [14, 15] – это многофункциональное и интуитивно понятное приложение, которое позволяет редактировать онтологии, визуализировать связи между понятиями и их экземплярами и выполнять запросы к БЗ на основе логического вывода. Используется язык представления знаний, что позволяет писать точные, формализованные описания различных ПрО. Естественно-языковое описание является главным отличием FLUENT Editor от других онтологических редакторов и позволяет освоить создание онтологий гораздо более широкой группе пользователей.

Для рассматриваемой ПрО онтология содержит классы, соответствующие таблицам БД (институты, кафедры, преподаватели и т.д.), а их атрибуты и отношения – это атрибуты таблиц. Фрагмент онтологии, сгенерированной с помощью ANTLR, приведён на рисунке 8

Document

Every institute is a thing.

Every plan-pos belong-to employee and has-pos nothing-but (some string value) and has-plan nothing-but (some integer value)

Every subdivision belongs-to an institute.

Every institute is-parts a sububdivision.

Every institute has-name nothing-but (some string value).

Every subdivision has-name nothing-but (some string value).

Every employee has-name nothing-but (some string value).

Every employee has-position nothing-but (some string value).

Every employee works-on a subdivision.

Every grp is a thing.|

Every grp has-name nothing-but (some string value) and is-parts a attribute.^

Every attribute belong-to a grg.

Every attribute has-name nothing-but (some string value).

Every attribute has-norm nothing-but (some real value).

Every attribute has-weight nothing-but (some real value).

Every time-period is a thing.

Every time-period has-begin nothing-but (some string value).

Every time-period has-finish nothing-but (some string value).

Every employee-attribute relates a time-period.

Every employee-attribute contains an attribute.

Every employee-attribute refers-to an employee.

Reasoner

|who-Or-What

Рисунок 8– Фрагмент онтологии в редакторе FLUENT

Предложения вида Every institute is a thing определяет классы, находящиеся на верхнем уровне иерархии (имена классов начинаются с малой латинской буквы). Атрибуты классов определяются предложениями вида Every institute has-name nothing-but (some string value). Отношения между классами определяются предложениями вида Every employee works-on a subdivision. Экземпляры классов определяются предложениями вида Insta is an institute and has-name equal-to 'КИБЕРНЕТИКИ', а имена объектов начинаются с заглавной латинской буквы. В созданной онтологии есть несколько правил вида X has-integral-employee Y if-and-only-if Y belong-to X. Каждое из них показывает какое отношение в прямом направлении связано с другим отношением в обратном направлении [15]. Имена таблиц БД, соответствующих им классов, атрибутов, объектов и отношений представлены в таблице 3.

Таблица 3 – Имена таблиц, классов, объектов, атрибутов и отношений

Таблица	Класс	Объекты	Атрибуты	Отношения
institute	institute	Insta,Instb,…	has-name	is-parts
subdivision	subdivision	Suba,Subb,…	has-name	belong-to
grp	grp	Grpa,Grpb,…	has-name	is-parts
attribute	attribute	Attra,Attrb,…	has-name. has-weight	belong-to
Plan_Pos	plan-pos	Ppa, Ppb,…	has-pos, has-plan	belong-to
employee	employee	Empa,Empb,…	has-name, has-position	works-on
employ-ee_attribute	employee-attribute	Eaa,Eab,…	has-count	relates, contains, refers
time_period	time-period	Tpa,Tpb,…	has-begin, has-finish
integral_employee	integral-employee	Iea,Ieb,…	has-integralkv, has-integralreit	belong-to, relates

На основании описания онтологии редактор FLUENT формирует иерархию классов, их экземпляров, атрибутов и отношений, показанную на рисунке 9.

Построенный граф связей между классами, их экземплярами и отношениями представлен на рисунке 10.

Запросы к онтологии набираются в окне Reasoner вручную пользователем. При создании запросов используется CNL [15]. Результат запроса можно увидеть на экране и скопировать в таблицу Excel . Примеры запросов.

Запрос 1. Какие преподаватели имеют интегральную ква-лиметрическую характеристику, равную 10?

Who-Or-What is employee that has-integral-employee that has-integralkv equal-to 10.0?

Результат:

Препода втель

Empa

Empb

Подразделение Должность

Suba           профессор

Subb          доцент

ФИО

Солер

Зарак

Запрос 2. Какие подразделения относятся к институту кибернетики?

Who-Or-What is subdivision that belong-to institute that has-name equal-to КИБЕРНЕТИКИ’?

J *6 "thing" t r ♦ attribute ^ 6 ♦ employee

Empa

T • Empb T • Empc T • Empd t P ♦ employee-attribute ► Сф grp I r ♦ institute t> € ф integral-employee ♦ plan-pos t ^ ♦ subdivision

' Ф sububdivision t 6ф time-period О ♦ "nothing" J relation

— belong-to

— be-parts — contain

— have-integral-employee

Рисунок 9 – Дерево иерархии в редакторе FLUENT

Результат:

Институт	Подразделение	Название
Insta	Subd	АСУ
Insta	Subc	ВТ

Запрос 3. Каковы интегральные характеристики преподавателя Солер?

Who-Or-What is employee that has-name equal-to 'Солер' and has-integral-employee

Результат:

ФИО     Должность |

Солер   профессор I

Рисунок 10 – Граф связей между классами в редакторе FLUENT

Заключение

Предложенный в статье подход позволит оценивать качество работы преподавателей путём расчёта итоговых интегральных характеристик по всем показателям с учётом весов каждого в зависимости от реальных трудозатрат. Применение ANTLR даёт возможность автоматизировано трансформировать БД в онтологию. Используемый онтологический подход помогает детально и наглядно представить все элементы, применяемые при оценке качества, а FLUENT, используемый в качестве инструмента для выполнения запросов, позволяет выполнить необходимые запросы.