Методика обработки экспертной информации о качестве научных статей

Эффективность оценивания статей, предлагаемых к публикации, в последние годы является предметом ограниченного количества исследований. Сущность экспертной оценки рукописей раскрыта в работах A. Keenum и J. Shubrook [1], R. Tandon [2], D.J. Ortinau [3], T. Allen [4-5]. Их авторы предлагают рекомендации к процессу рецензирования и выполняют анализ критериев для оценки рукописей. В этих работах рассмотрены модели взаимоотношений между участниками процесса и описаны проблемы, возникающие в процессе их взаимодействия.

Примером экспертной оценки является механизм для определения ценности информации представленной рукописи, описанный в работе А.Л. Гусева [6]. Автор рассматривает показатели, позволяющие оценить творческую активность авторов, качество работы рецензентов и экспертов.

В статьях [7-11] представлены методы организации сетевого взаимодействия редколлегии научного журнала на основе системы Open Journal System и платформенной программы Петрозаводского государственного университета (ПетрГУ). Проанализированы особенности автоматизации процесса выбора рецензентов. Рассмотрены инструментальные средства, поз- воляющие осуществить полный цикл мероприятий, связанных с подготовкой выпуска журнала и его публикацией.

Анализ организации документооборота в издательской деятельности выявил отсутствие систем поддержки принятия решения (СППР), применяемых для автоматизации процесса экспертной оценки статьи [12]. Поиск результатов интеллектуальной деятельности проводился среди заявок, патентов и авторских свидетельств за период с 1994 по 2015 годы. В качестве источников информации использовались: реестр изобретений на сайте ФГБУ Федеральный институт промышленной собственности (ФИПС) - ; сервис поиска патентной информации Espacenet и Google Patent Search.

Результаты интеллектуальной деятельности [13-16] относятся к области издательской деятельности и процессу рецензирования. Они содержат описание современных подходов к оценке качества научных статей с использованием автоматизации взаимодействия авторов и рецензентов. Основой систем является усовершенствованный метод рецензирования процесса экспертной оценки научных публикаций.

По результатам поиска зарегистрированных программ для ЭВМ и БД были выбраны свидетельства, описывающие актуальные информационные системы (ИС) используемые в издательской деятельности [17-23]. Такие системы предназначены для обеспечения взаимодействия членов распределённой редакционной коллегии на этапах редакционноиздательского процесса. Однако в них реализованы функции рецензирования без обработки результатов экспертных оценок научных статей.

Процесс рассмотрения статей перед изданием в научном журнале включает шесть основных этапов (рисунок 1). Автор подготавливает статью и направляет её главному редактору, который назначает ответственного редактора. Редактор осуществляет подбор рецензентов. Рецензенты оценивают статью и составляют рецензию, которую рассматривает главный редактор и принимает решение об издании или отклонении статьи. Отобранные для печати статьи направляются в вёрстку. Если по итогам рецензирования статья нуждается в доработке, то она направляется автору для исправления, после которого проходит все этапы проверки сначала.

Рисунок 1 - Основные этапы процесса рассмотрения рукописей

Взаимодействие субъектов рассмотренного процесса, в соответствии с изложенными этапами предиздательской подготовки, представлено на рисунке 2.

Описанный процесс рассмотрения рукописей требует доработок, т.к. главному редактору, при подготовке очередного выпуска журнала, в сжатые сроки необходимо обрабатывать большое количество поступивших в редакцию статей и рецензий. Частичная автоматизация этого процесса позволяет сократить временные и трудовые затраты редактора в процессе отбора статей (рисунок 3).

Рисунок 2 - Технологическая цепочка «Автор - Редакция - Рецензент - Редакция»

Рисунок 3 - Роль СППР в процессе рассмотрения рукописей

1 Цель и задачи исследования

Целью исследования является сокращение временных затрат редакционной коллегии на принятие решения об издании рукописи за счёт обработки результатов экспертных оценок научных статей.

Для реализации поставленной цели необходимо:

• 1)    провести семантический анализ процесса рецензирования в издательской деятельности;

• 2)    построить математическое обеспечение системы на основе функций принадлежности,

характеризующих уровень качества критериев;

• 3)    создать базу знаний, определяющую уровень качества рукописей;

• 4)    разработать алгоритм оценивания рукописей для СППР;

• 5)    провести апробацию для разработанной математической модели.

Семантический анализ процесса рецензирования в издательской деятельности представлен в работах [24-26]. В рамках данной статьи рассматривается математическое обеспечение системы, база знаний, разрабатывается алгоритм оценивания рукописей для СППР, представляется апробация для разработанной модели.

2 Математическое обеспечение системы для оценки качества научных статей

Разработка и внедрение математического обеспечения для СППР предоставляет возможность оценить статьи на основании унифицированных результатов рецензирования. Для разработки математического обеспечения по оценке рукописей, поступающих в редакцию, введены обозначения, представленные в таблице 1.

Исходными данными для работы СППР являются экспертные бальные оценки, начисленные для семи независимых критериев, принадлежащих к входному множеству X = {X j , Х 2 , .... x ? } .

Подробное рассмотрение критериев, влияющих на уровень качества статьи, представлено в работе [25]. Применяемый список критериев был сформирован в результате анализа издательских политик и рекомендаций для рецензентов научных журналов: Вестник Уфимского государственного авиационного технического университета , Cloud Journal of Science and Technology , Образование личности .

Таблица 1 - Обозначения, используемые для математического обеспечения оценки рукописей

Обозначение	Назначение
X = { X 1 , X 2 , ..., X 7 }	Множество экспертных балльных оценок, начисленных для семи независимых критериев
T h = { t H | 1< t H <3}	Множество для обозначения меры низкого качественного показателя критерия
T c = { t c | 4< t c <7}	Множество для обозначения меры среднего качественного показателя критерия
T e = { t e | 8< t e <10}	Множество для обозначения меры высокого качественного показателя критерия
O krj	Средний суммарный балл по каждому критерию
T = [1;10]	Интервал, которому принадлежат значения среднего суммарного балла
R = { Г н , Г с , Г в }	Терм-множество, характеризующее уровень качества критериев
H z 1 , H z 2 , H z 3	Функции принадлежности для выделенных уровней качества критерия
Y = { У 1 , У 2 , У 3 }	Терм-множество, характеризующее уровень качества статьи

Критерии x 1 - x ₇ имеют качественный характер. Следовательно, при оценке одного и того же показателя несколькими экспертами могут возникать разные мнения. Поэтому, по диалектическому закону Ф. Энгельса «Взаимного перехода количественных изменений в качественные» необходимо выполнить переход от качественных измерений к количественным [27]. Несмотря на существенные различия количество и качество - это части одного целого, представляющие собой стороны одного и того же предмета. Это единство называется мерой и представляет собой границу, определяющую пределы возможного количественного изменения в рамках данного качества. Такой подход позволяет определить разные по смыслу частные показатели как лингвистические переменные (таблица 2).

Таблица 2 - Мера качества критериев оценки статей

Качественный показатель	Мера (баллы)		Обозначение
	min	max
Низкий	1	3	T а={ t н | 1< t н <3}
Средний	4	7	T :={tc | 4< t c <7}
Высокий	8	10	T в ={ t в | 8< t в <10}

Пороговые значения меры устанавливаются редакцией журнала. Таким образом, для поступившей в редакцию статьи каждый из критериев оценивается тремя рецензентами по десятибалльной шкале. Полученные оценки используются при расчёте среднего суммарного балла для каждого критерия:

V kr_i

^^  3 m

о^

_ m=1____ kreCm где О^ - средний суммарный балл по каждому критерию; kr- - сумма баллов по крите' j                                                                                                                         j m рию; krec - количество рецензий. Значения среднего суммарного балла принадлежат интер валу T = [1;10]. Полученные значения среднего суммарного балла округляются до целых.

Уровень качества критериев характеризуется терм-множеством R = {rH, rc, гв}, принима ющим значения rH - низкий уровень качества, rc - средний, гв - высокий. Выбор трёхуровне- вой шкалы оценки качества обусловлен тем, что в кратковременной (рабочей) памяти человека одновременно удерживается от пяти до девяти понятий [28-29]. Поэтому в связи с большим количеством обрабатываемых критериев целесообразно использовать именно трёхуровневую шкалу оценки качества.

Терм-множество r_H включает критерии низкого уровня качества ( Н) и определяется Z -линейной функцией принадлежности (2).

О_кГ] <  С н

( )

^dH ^{- O}kr j ^dH ^{- С} н

^Сн <  O kr j <  d н О кГ ] >  d н .

где с_н = max { t_H } - максимальное пороговое значение меры для низкого уровня качества критерия ( c_H=3, d_H=d_c) .

Трапецеидальная функция принадлежности (3) описывает терм-множество r_c критериев среднего уровня качества ( С )

0 ,

^Okr j ^{- С}С

О кГ ] <  С с

Сс < Okrj < dc dc < Okr] < ac dc - Cc

1, bc - Okr]

b c - ^ac

0 ,

a c <  O kr ] < b c b c < O kr-

где d_c = min { t_c } и a_c = max { t_c } - минимальное и максимальное пороговое значение меры для среднего уровня качества критерия ( c_c = c_H , d_c =4, a_c =7, b_c = b_e) .

К ритерии высокого уровня качества ( В ) описывает терм-множество r_e . Оно характеризуется 5 -линейной функцией принадлежности (4).

0 ,

^Okr j ^{- а}в

O kr ] <  а в

Bz 3 O] ав, be ав < Okrj < be Okr] ^ be.

^be ^{- a}e 1 ,

где b_e = min { t_e } - минимальное пороговое значение меры для высокого уровня качества критерия (a_в=а_c, b_e=8) .

Функции принадлежности p^r ( x_k ) характеризует субъективную меру уверенности редактора в том, что значение среднего суммарного балла для критерия x_k соответствует нечёткому терму r i . Графическое представление функций принадлежности для выделенных уровней качества показано на рисунке 4.

Для снижения уровня субъективизма при рассмотрении статей рецензентами разработаны рекомендации по оценке критериев входного множества [30-34].

• 1)    при оценке качества критерия x ₁ следует учесть: уровню качества r_c характерно полное раскрытие исследуемой проблемы в работах других авторов; рассмотрение важных современных проблем и недостаточность раскрытия исследуемой темы в работах других авторов характерно для уровня качества r_e .

• 2)    для оценки критерия x ₂ большое значение имеет степень раскрытия научных аспектов работы. При уровне качества r_H . в работе они не раскрыты, а при уровне качества r_c рас-

• крыты недостаточно. Высокому уровню качества характерно обширное рассмотрение научных аспектов решаемой проблемы.

UJiW

123456789 10

---Низкий--Средний ......Высокий

Рисунок 4 - Функции принадлежности для i -ого критерия

• 3)    уровню качества г_с критерия x 3 свойственно описание перспективных идей, а для его высокого уровня качества типично наличие оригинальных идей.

• 4)    основным аспектом при оценке уровня качества критерия х₄ является полнота исследования. Отсутствие постановки проблемы и выводов свойственно низкому уровню качества этого критерия. Описание результатов незавершённого исследования характерно для среднего уровня качества критерия. Если рукопись охватывает цикл целостного исследования, то её качество по этому критерию оценивается как высокое.

• 5)    при оценке критерия x ₅ ключевым фактором является обоснованность представленных в рукописи результатов исследования. Если результаты не подтверждены, то критерию следует присваивать низкий уровень качества. Для частично подтверждённых результатов характерен уровень качества г_с . Когда результаты исследования полностью подтверждены научным инструментарием, критерию следует присвоить высокий уровень.

• 6)    структурированность рукописи оценивает критерий x ₆. Если в рукописи не выделены разделы, уровень качества по этому критерию является низким. При отсутствии заключения или введения критерию присваивается уровень г_с . Наличие всех общепринятых в научных публикациях разделов характерно для высокого уровня этого критерия.

• 7)    результаты исследования сформулированы неоднозначно при среднем уровне качества критерия x 7 . Если представленные результаты сформулированы в виде положений, то уровень качества этого критерия высокий.

Степень качества проделанной работы ниже среднего свойственна низкому уровню качества критериев x 1 , x ₃, x 7 .

3    База знаний для оценивания уровня качества научной статьи

Уровень качества статьи характеризуется выходным терм-множеством Y = {у 1 , у ₂ , у ₃ }, принимающим значения: у 1 - низкий уровень качества, у ₂ - средний, у ₃ - высокий. Оценка качества статьи происходит на основе базы знаний с правилами типа «ЕСЛИ - ТО» и установленных для каждого критерия уровней качества. База знаний, используемая при оценке статей, содержит большое количество правил (3 7 = 2187 правил), поэтому для удобства её представления правила со сходными наборами элементов объединены в группы (таблица 3).

Рассмотрим группу правил № 26, выделенную в таблице 3 фоном, по значениям среднего суммарного балла для каждого критерия: статья получила четыре низких (Н) оценки, две средних (С) и одну высокую (В). Следовательно, её уровень считается низким.

Рекомендации для дальнейшей работы с рукописью после определения её уровня качества представлены в таблице 4.

Предлагаемые рекомендации позволяют главному редактору повысить уровень работоспособности за счёт увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.

Таблица 3 - База знаний системы оценки рукописей

Код группы правил	Распред ел ени е критериев по			Качество ■статьи	Код группы правил	Распред ел ение критериев по			Качество ■статьи	Код группы правил	Распределение критериев по			Качество статьи
	н	с	В			н	С	В			н	С	В
1	0	7	0	У2	18	7	0	0	У1	28	0	0	7	Уз
2	0	6	1		19	6	1	0		29	0	1	6
3	0	5	2		20	6	0	1		30	0	2	5
4	0	4	3		21	5	2	0		31	0	3	4
5	1	6	0		22	5	0	2		32	1	0	6
6	1	5	1		23	5	1	1		33	1	1	5
7	1	4	2		24	4	3	0		34	1	2	4
8	1	3	3		25	4	0	3		35	2	0	5
9	2	5	0		16	4	2	1		36	2	1	4
10	2	4	1		27	4	1	2
И	2	3	2
12	2	2	3
13	3	4	0
14	3	3	1
15	3	2	2
16	3	0	4
17	3	1	3

Таблица 4 - Рекомендации по работе с рукописями

Уровень качества	Рекомендация
У 1	Отклонить материалы без возможности доработки
У 2	Отправить статью автору на доработку. Необходимо произвести доработку по всем критериям, уровень которых оценён как низкий
У 3	Одобрить статью к печати без доработок

4    Алгоритм оценивания рукописей для СППР

Алгоритм для рассмотренного математического обеспечения включает три блока:

• 1.    Оценивание рукописи по критериям входного множества X .

• 2.    Определение уровня качества критерия (множество R ).

• 3.    Определение уровня качества рукописи (множество У ).

Блок-схема работы алгоритма разработанного математического обеспечения СППР представлена на рисунке 5.

Таким образом, каждому элементу множества критериев X необходимо сопоставить один из элементов множества R, определяющий уровень качества критерия. На основе полученных оценок, используя базу знаний, необходимо определить соответствующий элемент мно- жества Y, характеризующего уровень качества статьи. Результатом работы системы является выбор альтернативы (отклонить, доработать, одобрить), наиболее соответствующей качеству статьи (низкое, среднее, высокое).

Начало

Мера уровней качества критерия

• ⁷ I Пороговые значения для функций

• —I принадлежности определяют меру и устанавливаются редакцией журнала

  
  
  

  Баллы начисленные рецензентами для каждого критерия

  
  
  

  I Цикл по каждому критерию для 1_определения уровня качества

  
  

  Цикл по критериям от

  Х 1 до х₇

  1
  Расчёт среднего суммарного балла для критерия
  Расчёт значений функции принадлежности для критерия
  Определение уровня качества критерия
  *
  <          Цикл по Х          у
  Подсчет количества критериев по уровням
  *
  Определение группы правил из базы знаний «ЕСЛИ-ТО»
  Определение уровня качества статьи

  
  

  I Определение среднего

  1_балла для каждого

  Вычисление значения функций - "I принадлежности по значению । среднего суммарного балла

  
  

  _I Вывод уровня качества 1_для критерия

  
  

  Вычисление количества критериев

  - -I принадлежащих к низкому, среднему и I высокому уровню качества статьи

  
  

  _I Определение наиболее подходящей группы правил из базы знаний

  
  

  _I Вывод значения уровня качества статьи

  
  

Конец

Рисунок 5 - Алгоритм работы СППР

5 Апробация математического обеспечения для оценки качества научных статей

По результатам тестовой эксплуатации разработанного алгоритма СППР в редакции журнала «Ab ovo... (С самого начала...)»1 (Том второй за 2014 год) из 35 представленных в редакцию на рассмотрение рукописей 19 статей было отобрано для печати, 16 статей были отклонены без возможности доработки по причине низкого уровня качества (рисунок 6). Следует отметить что, более 70% статей из числа одобренных в процесс предиздательской подготовки отправлены авторам на доработку, и только 30% из них приняты без доработок.

Рисунок 6 - Распределение поступивших в редакцию статей по уровням качества

Пример работы СППР для материалов, поступивших в редакцию научного журнала «Ab ovo... (С самого начала...)» приведены в таблицах 6-8. Правила базы знаний, используемые для определения уровня качества рассмотренных статей, представлены в таблице 5.

Таблица 5 - Фрагмент базы знаний

Код группы правил	Распределение критериев по уровням качеств а			Качеств о статьи
	Низкий (Н)	Средний (С)	Высокий (В)
2	0	6	1	У2
21	5	2	0	У*
30	0	2	5	Уз

Статье «Реализация задачи принятия решений в ранжировании карьерных экскаваторов, имеющих оценки по нескольким критериям» (авторов Великанов В.С., Махмудовой С.Н., Шабанова А.А.)2 после экспертной оценки был присвоен средний уровень качества (группа правил №2) и рекомендована печать после доработки.

Таблица 6 - Пример определения уровня качества статьи, имеющей средний уровень

Эксперт	Оценки критериев
	Х 1	Х 2	Х з	Х 4	Х 5	Х 6	Х 7
Эксперт 1	4	6	5	6	7	8	5
Эксперт 2	5	5	7	5	8	8	6

1

² Великанов В.С. Реализация задачи принятия решений в ранжировании карьерных экскаваторов, имеющих оценки по нескольким критериям / В.С. Великанов, С.Н. Махмудова, А.А. Шабанов // Ab ovo... (С самого начала...). 2014. Т. 2. -С. 42-47.

Эксперт	Оценки критериев
	Х ]	Х 2	Х з	Х 4	Х 5	Х б	Х 7
Эксперт 3	6	5	6	7	6	7	4
Показатели
O krj	5	5	6	6	7	8	5
Уровень качества критерия	С	С	С	С	С	В	С

Рукопись «Влияние технологических факторов на выход, состав и свойства смолы» (автор Малюкина А.Д.) после экспертной оценки получила низкий уровень качества (группа правил №21). Следовательно, ее рекомендовано отклонить без возможности доработки.

Таблица 7 - Пример определения уровня качества статьи, имеющей низкий уровень

Эксперт	Оценки критериев
	Х ]	Х 2	Х з	Х 4	Х 5	Х б	Х 7
Эксперт 1	5	3	6	3	3	3	2
Эксперт 2	5	2	7	3	3	2	2
Эксперт 3	6	2	6	3	3	2	2
Показатели
O krj	5	2	6	3	3	2	2
Уровень качества критерия	С	Н	С	Н	Н	Н	Н

Статье «Результаты предпроектного обследования для распознавания и классификации поверхностных дефектов холоднокатаного проката на основе нечётких нейронных сетей» (авторов Микова А.Ю., Логуновой О.С.)3 после экспертной оценки был присвоен высокий уровень качества (группа правил №30). Количество оценок: две средних, пять высоких, ноль низких. Статья рекомендована к печати без доработки.

Таблица 8 - Пример определения уровня качества статьи, имеющей высокий уровень

Эксперт	Оценки критериев
	Х ]	Х 2	Х з	Х 4	Х 5	Х б	Х 7
Эксперт 1	9	8	7	8	9	7	8
Эксперт 2	8	8	6	8	8	6	9
Эксперт 3	10	9	7	8	9	6	9
Показатели
Okr j	9	8	7	8	9	6	9
Уровень качества критерия	В	В	С	В	В	С	В

Заключение

Разработанное математическое обеспечение позволило предложить унификацию процесса рецензирования за счёт использования единой системы критериев, мер качества и рекомендаций по их оцениванию.

Предложена формула расчёта среднего суммарного балла по каждому выявленному критерию и функций принадлежности, ставящие в соответствие рассчитанное значение с терм-множеством, характеризующим качество статьи. Разработанные рекомендации позволят главному редактору повысить уровень работоспособности за счёт увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.

Авторы полагают, что предложенный подход позволит частично автоматизировать процесс рецензирования, что способствует сокращению временных затрат на отбор материалов к публикации в научном журнале; а также может быть применён не только в предметной области издательской деятельности, но и в других областях, задачами которых является оценка научных работ, например, при оценке качества квалификационных работ в рамках образова- _       4

тельного процесса .

В дальнейшем планируется развитие представленной методики, в частности усовершенствование системы критериев и расчёт весов для каждого критерия, а также доработка базы правил СППР.