Компьютерная реализация нечеткой модели объективного оценивания диссертационной работы

Педагогика – это одна из областей знаний, где человек имеет дело с нечеткими высказываниями,   размытыми   словесными суждениями,   «размытыми»

представлениями о воспитательных и дидактических явлениях. Именно здесь используют такие слова, как «почти», «немного», «приблизительно», «мало-мальски», «вроде» и т.д. Поэтому, для оценивания педагогических процессов, где используют такие выражения, приходится формализовать человеческие высказывания таким способом, который будет пригоден для компьютерной обработки, т. е. в виде схем, графиков, формул (с помощью математических символов и знаков операций) [1]. Но обрабатывать такие массивы вербальных высказываний очень непросто, необходимо придумать специальный математический аппарат, который мог бы делать выводы именно по человеческим суждениям. Здесь и приходит на помощь теория нечеткой логики и теория нечетких множеств.

В исследованиях украинских   ученых   рассматривались вопросы образовательного оценивания учебных достижений [2–8]; исследованию наукометрических измерений уделяли внимание российские исследователи [9–12]; решению проблем математической реализации психолого-педагогических закономерностей посвящены научные работы В. П. Беспалько [13], А. М. Дахина [14], И. П. Подласого [15]. Развитие идет по пути интеграции педагогических исследований и открытий в области точных наук. Математика имеет серьезные наработки в плане формализации социально-образовательных закономерностей, которые воплощены в компьютерных системах анализа и принятия решений. Однако проблема реализации модели объективного оценивания диссертационных работ еще недостаточно исследована как в теоретическом, так и в практическом аспектах. Без внимания исследователей остались такие важные вопросы как компьютерная (то есть вычислительная средствами компьютерной техники) реализация нечеткой модели объективного оценивания диссертационной работы.

Вместе с тем, учитывая практическую значимость объективного оценивания диссертационных работ для обеспечения их высокого качества, отсутствие теоретического обоснования и практического внедрения такой системы в высших учебных заведениях, была избрана тема статьи: « Компьютерная реализация нечеткой модели объективного оценивания диссертационной работы ».

Для ВАК Украины, специализированных ученых советов высших учебных заведений и научных учреждений эта тема исследования является очень актуальной , и ее раскрытие станет теоретико-практической основой не только для научных работников [16], которые связаны с проблемами образовательных измерений и наукометрии, но и педагогам-практикам, которые занимаются поиском объективных подходов в оценке различных типов итоговых и выпускных работ: рефератов, курсовых, дипломных.

Цель статьи - наглядно показать компьютерный способ реализации теории нечетких множеств и теории нечеткой логики для объективного оценивания диссертационной работы соискателя научной степени.

Среди задач , которые возникают при этом, была выделена лишь одна: реализация педагогического моделирования на основе самой мощной на сегодняшний день информационной системы нечеткой логики - Fuzzy Logic Toolbox (через модуль компьютерной программы матричной лаборатории Mat Lab , релиз R2013a).

Оценивание диссертационной работы с помощью программы нечеткой логики Fuzzy Logіc Toolbox

На основе понятий, представленных нечеткими множествами, можно интерпретировать человеческие суждения, которые в дальнейшем можно использовать для процесса моделирования и прогнозирования педагогических процессов.

В педагогике преподавателю или учащемуся (студенту), как правило, легче всего очертить какие-то процессы или явления учебно-воспитательной действительности на уровне словесных описаний, т. е. - в неформализованном виде [17]. Человеку удобнее использовать качественные нечеткие оценки типа «много», «мало», «довольно высокий», «далеко», «очень близко», «быстро», «очень медленно», «средняя» (например, подготовка), «слишком слабая» и т. д.

Допустим, что X = {«Кембриджский университет», «Стэндфордский университет», «Московский государственный университет», «Киевский национальный университет»} - есть множество престижных университетов мира. Тогда нечеткое множество А = «Отличный университет» может быть определено следующим образом:

А = {(Кембридж/1), (Стэнфорд/0,8), (МГУ/0,3), (КНУ/0,1}, где цифры, стоящие возле названий, выражают степень отражения (приближения) понятия «Отличный университет».

Ясно, что функция принадлежности для каждого нечеткого множества определяется, вообще говоря, субъективно. Для нашего примера, вид функции принадлежности нечеткого множества отражает точку зрения оценки независимого справочника «F1 Study, 2010», с которой, возможно, будут согласны не все.

Несмотря на размытость границ нечеткого множества А , оно может быть точно определено сопоставлением каждому элементу х числа, лежащего между 0 и 1 , которое представляет его принадлежность к А .

Например, функция принадлежности понятия « внешний конфликт » (речь идет о конфликте вне себя) на языке теории нечетких множеств будет записана таким способом:

Внешний конфликт = {20/0,01 + 20/0,9 + 20/0,5 + 10/0,5 + 10/0,2 + 10/0,1}.

Здесь знак «+» не является обозначением операции сложения, а имеет смысл объединения.

Число 20 означает показатель уровня конфликтности лиц с выраженной экстраверсией , а число 10 – показатель конфликтности лиц с выраженной интроверсией . Любому из этих значений Экстравертов–Интровертов соответствует мера близости, например, с учетом стиля поведения этих индивидов во внешнем конфликте (по классификации американского психолога Р. Томаса). Для сотрудничества эта величина составляет 0,01, для соперничества – 0,9, для компромисса – 0,5, для приспособления – 0,2 и для избегания конфликта – 0,1. Из перечисленных стилей только один – сотрудничество, является активным и эффективным в смысле определения результата конфликтной ситуации. Наиболее конфликтным считается второй активный стиль – соперничество (коэффициент близости – 0,9); избежание и приспособление характеризуются пассивной формой поведения, поэтому им мера близости отводится меньшая (0,1 и 0,2). Компромисс занимает как бы промежуточное положение, соединяя в себе и активную, и пассивную формы реагирования (ему отводится коэффициент 0,5).

Если рассматривать новые суждения относительно базового понятия «конфликт», то в теории расплывчатых множеств их можно представить таким способом:

Инцидент = конфликт2 (конфликт в квадрате);

Вызов = конфликт3 (конфликт в кубе);

Эскалация = конфликт4 (конфликт в четвертой степени).

В теории нечетких множеств функция принадлежности играет ключевую роль, так как это основная характеристика нечеткого объекта, а все действия с нечеткими объектами производятся через операции с их функциями принадлежности. Определение функции принадлежности – это первая и очень важная стадия моделирования, позволяющая затем оперировать с нечеткими объектами.

Не существует строгих правил, которые могли бы быть использованы для выбора соответствующей функции принадлежности, как и не существует методов оценки правильности и корректности функций принадлежности, выдвигаемых различными способами. Методы, используемые для построения функции принадлежности, должны быть достаточно гибкими, чтобы они могли легко перестраиваться для оптимизации действия алгоритмов, использующих эти функции принадлежности. Проблема выбора функции принадлежности важна и потому, что эффективность многих алгоритмов зависит от формы используемой функции принадлежности.

Учитывая то, что резкой границы между элементами, которые входят и не входят в какое-нибудь множество, может и не быть, поэтому мы часто и не можем дать четкий ответ на вопрос о значении функции принадлежности в границах традиционной формальной логики. Профессор Калифорнийского университета Лотфулла Заде (Lotfі A. Zadeh) еще в 1965 году разработал основы теории нечетких множеств; им же и был предложен выход из этой непростой ситуации.

Лингвистическая переменная – это переменная, которая принимает значение из множества слов или словосочетаний некоторого естественного или искусственного языка. Лингвистическую переменную можно определить как переменную, значениями которой являются не числа, а слова или предложения естественного языка, используемого в вербальных человеческих общениях. Например, лингвистическая переменная « обученность » может принимать следующие значения: «очень слабая», «слабая», «выше среднего», «средняя», «ниже среднего», «высокая», «очень высокая» и др. Эти значения, которые отображают степень выраженности переменной, в теории множеств называют термами (терм от англ. term – называть). Ясно, что переменная « обученность » будет обычной переменной, если ее значения – точные числа, лингвистической она становится, когда используется в нечетких рассуждениях человека. Каждому значению лингвистической переменной соответствует определенное нечеткое множество со своей функцией принадлежности. Так, лингвистическому значению « Отличный университет » может соответствовать функция принадлежности какой-то математической зависимости, а термами лингвистической переменной могут быть высказывания такого типа, например: очень отличный университет, отличный университет, отличный университет среднего типа, не совсем отличный университет и т. д.

Для уменьшения субъективизма экспертов, оппонентов, а также членов специализированного ученого совета предлагаем стройную модель нечеткой логики объективного оценивания качества выполненной и публично защищенной диссертационной работы.

Источниками информации о качестве деятельности соискателя научной степени являются: 1) эксперты от специализированного ученого совета, которые рассматривают выполненную диссертационную работу и дают разрешение на ее публичную защиту; 2) оппоненты , которые оценивают представленную диссертацию к защите как конечный продукт; 3) члены специализированного ученого совета , которые принимают окончательное решение о выполненной работе с учетом ее публичной защиты.

Если обозначить итоговую оценку (назовем ее – Результат), показывающую качество диссертации буквой R (она же будет выходной переменной), то в качестве входных переменных будут использованы три основных компонента: X – аргументированные выводы эксперта (дальше – Эксперт), который предварительно оценивает качество представленной в специализированный совет диссертационной работы; Y – обоснованные положения Оппонента, который оценивает качество диссертации как конечного продукта; Z – член спецсовета, который оценивает качество публичной защиты и дает обобщающие заключения относительно выполненного диссертационного исследования (рис. 1).

Рис. 1. Общая схема оценивания качества диссертационной работы: X - первая входная переменная ( Эксперт ), Y - вторая ( Оппонент ), Z - третья ( Член спецсовета ), R -выходная переменная ( Результат )

В свою очередь, каждая входная переменная имеет отдельную вложенность. Иными словами, она сама становится выходной переменной ( output ), и для нее существуют свои входные переменные ( input ), а именно: для группы X ( Эксперт ) – пять входных переменных ( x1, x2, x3, x4, x5 ); для группы Y ( Оппонент ) – десять входных переменных ( y1, y2, y3, y4, y5, y6, y7, y8, y9, y10 ); для группы Z ( Член спецсовета ) – четыре входные переменные ( z1, z2, z3, z4 ) (рис. 2).

Рис. 2. Внутренняя вложенность переменных X, Y и Z , которые стали выходными переменными

Распишем теперь уже внутренние переменные (для нашего случая – они становятся входными) для выходных переменных X, Y и Z . Для этого воспользуемся содержательным материалом, взятым из работы И. В. Вешневой [18].

Выходная переменная X ( Эксперт ) имеет входные меняющиеся значения (входные переменные). Она оценивает представленную на рассмотрение в специализированный совет диссертационную работу соискателя научной степени по следующим показателями: x1 – добросовестность соискателя; x2 – умение самостоятельно работать с литературой; x3 – достижение цели, сформулированной как темы диссертационного исследования; x4 – умение обобщать и систематизировать результаты разработанной темы и строить заключения; x5 – объем и качество самостоятельно полученных результатов .

Выходная переменная Y. Оппонент оценивает работу по таким показателям: y1 – обоснование актуальности темы исследования; y2 – новизна научной работы; y3 – объем и качество обзора литературы; y4 – соблюдение стандартов (качество оформления работы и графических материалов); y5 – научный язык и стиль изложения; y6 – использование компьютерной техники и современных методик; y7 – возможность практического использования; y8 – степень обоснованности решений; y9 – степень достоверности полученных результатов; y10 – качество полученных результатов.

Выходная переменная Z. Член специализированного ученого совета оценивает диссертационную работу по следующим показателям: z1 – качество доклада; z2 – наличие и качество иллюстративного материала; z3 – степень самостоятельности и качество ответов на вопросы; z4 – обобщенная оценка диссертационной работы.

Было бы правильно, если бы каждому компоненту ( Эксперт, Оппонент и Член спецсовета ) поставили в соответствие определенный вес (значимость) его интегральной оценки. На наш взгляд, Э ксперт должен иметь немного ниже показатель значимости, чем другие компоненты, так как он только дает допуск к рассмотрению выполненной диссертационной работы. Оценивая диссертацию соискателя, в некоторой степени оценивают и степень квалификации ее предварительного рассмотрения, поэтому было бы целесообразно установить вес такой оценки, который равнялся бы 1 (условной единице).

Оппонент – одна из ключевых фигур, которая наиболее полно и всесторонне изучает диссертационную работу, хотя это же может сделать и любой член спецсовета (но у него на это практически не хватает времени). С другой стороны, член спецсовета, кроме оценивания самой работы, может еще убедиться, насколько самостоятельно она выполнена, проверить на защите, насколько умеет соискатель научной степени отстаивать (защищать) положения, которые вынесены им на защиту, насколько он владеет профессиональными и коммуникативными компетенциями и мастерством публичного выступления (умением представить перед общественностью главные идеи научного исследования). Нельзя забывать и о том, что каждый оппонент и член спецсовета несет персональную ответственность перед обществом за объективность оценивания результатов диссертационного исследования.

Исходя из этих соображений, и оппоненты, и члены спецсовета имеют одинаковые «весовые» показатели, которые измеряются в виде ранга равного – 2. Необходимо к сказанному добавить, что председатель специализированного ученого совета имеет преимущество перед другими ее членами, и, как правило, имеет два голоса, поэтому его «вес» измеряют в виде ранга равного – 4.

Было бы логично установить и весовые коэффициенты для внутренних (в данном случае – входных) переменных. Проделаем и эту операцию, соответственно для каждого блока:

для блока X : переменной x4 ( умение обобщать и систематизировать ) повысим весовой показатель до 2, а x5 ( объем и качество самостоятельно полученных результатов ) – до 3;

для блока Y : переменной y7 ( возможность практического использования ), y8 ( степень обоснованности решений ) и y9 ( степень достоверности полученных результатов ) повысим вес до 2, а y10 ( качество полученных результатов ) – до 3;

для блока Z : переменной z3 ( степень самостоятельности и качество ответов на вопросы ) и z4 ( обобщенная оценка диссертационной работы ) – повысим вес до 3.

Всем остальным переменным по умолчанию устанавливается весовой коэффициент, равный 1.

Для каждой переменной без исключения было бы разумно ввести единую 7-ми уровневую шкалу степени выраженности этих показателей (с учетом их оттенков или градаций). Этим показателям-термам нужно было бы поставить в соответствие оценки по шкале в международной (ЕСТS) и национальной системе оценивания, так как это показано ниже:

очень высокий – PB (positive big) А (отлично); высокий – PM (positive medium) В (очень хорошо); выше среднего – PS (positive small) С (хорошо); средний – ZЕ (zero) D (удовлетворительно); ниже среднего – NS (negative small) Е (достаточно); низкий – NM (negative medium) FХ (неудовлетворительно, с правом пересдачи); очень низкий – NB (negative big) F (неудовлетворительно, без права пересдачи).

Но, в связи с тем, что при таком подходе резко увеличивается количество правил вывода (особенно для перебора всех вариантов второго блока Y Оппонент : 10 входных переменных по 7 термов), мы несколько упростим задачу. Для этого используем 3-х уровневую семибальную систему термов:

высокий – PB средний – ZЕ низкий – NM очень низкий (для оценивания диссертации не рассматривается)

отлично (6 – 7 баллов);

хорошо (4 – 5 баллов);

удовлетворительно (2 – 3 балла);

неудовлетворительно (1 балл).

От этой системы легко перейти к международной общепринятой системе оценивания (ЕСТS):

очень высокий – PB А (отлично) высокий – PM      В (очень хорошо) выше среднего – PS С (хорошо) средний – ZЕ       D (удовлетворительно) ниже среднего – NS Е (достаточно) низкий – NM       FХ (неудов.) очень низкий – NB  F (неудов.)

высокий (отлично 6 – 7 баллов); средний (хорошо – 5 баллов); средний (хорошо – 4 балла); низкий (удов. – 3 балла); низкий (удов – 2 балла); очень низкий (неудов. – 1 балл); очень низкий (неудов. – 0 баллов).

Прежде чем приступить к составлению базы правил для нечеткого логического моделирования, расшифруем каждую переменную (показатель качества) в соответствии с каждым из предложенных уровней их значимости (по каждому терму) [18]. Эти описания термов, по сути, являются своеобразными рекомендациями для экспертов соответствующих категорий. Они дают возможность словесно более точно оценить уровень каждого показателя, тем самым в целом повысить объективность оценивания качества выполненной диссертационной работы. Начнем с описания термов для лингвистических переменных первого блока X ( Эксперт ) (табл. 1).

Таблица 1

Рекомендации эксперту для оценивания показателей в соответствии с уровнем их выраженности

Показатель		Уровни оценки показателей (термы)
		Низкий	Ниже среднего	Средний	Выше среднего	Высокий
x1	Добросовест ность соискателя	Нуждается в жестком контроле	Не полностью понимает и выполняет задания	Своевременн о выполняет задания	Предупрежда ет получаемые задания	Квалифициров анно выполняет работу
x2	Умение самостоятел ьно работать с литературой	Недостаточн ый анализ заданной литературы	Работает с заданной отечественной литературой	Работает с заданной отечественно й и зарубежной литературой	Активно находит и изучает отечественну ю литературу	Активно находит и изучает отечественную и зарубежную литературу

x3	Достижение цели, сформулиров анной в качестве темы диссертацио иной работы	Не полностью раскрыты задачи и цели диссертацион ной работы	В основном цель достигнута	Цель достигнута	Цель достигнута, логически открывает следующий круг задач	Цель достигнута, раскрыты логически вытекающие задачи
x4	Умение обобщать и систематизи ровать результаты выполненной работы и делать выводы	Нуждается в пояснениях и активной помощи руководителя при проведении систематизац ии	Частично проводит обобщение, нуждается в помощи руководителя	Проводит обобщение полученных результатов с корректировк ой руководителя	Проводит обобщение полученных результатов и систематизац ию с корректировк ой руководителя	Четко и грамотно структурирует результаты, логически раскрывая системность исследования
x5	Объем и качество самостоятел ьно полученных результатов	Использует чужие результаты	Использует результаты руководителя и группы	Использует свои результаты, руководителя и группы	Использует свои результаты и группы	Результаты получены полностью самостоятельн о

Описание термов для лингвистических переменных второго блока У ( Оппонент ) представлено в табл. 2.

Таблица 2

Рекомендации оппоненту для оценки показателей в соответствии с уровнем их выраженности

Показатель		Уровни оценки показателей (термы)
		Низкий	Ниже среднего	Средний	Выше среднего	Высокий
y1	Обоснование актуальности темы научного исследования	Тематика устарела, результаты исследования получены ранее	Результаты исследования получены ранее, актуальность не раскрыта	Работа актуальна, однако ее актуальность не вполне обоснована	Работа актуальна и ее актуальность обоснована	Работа соответствует передовым научным исследованиям и ее актуальность четко обоснована
y2	Научная новизна	Отсутствует	Дублирует уровень мало перспективных образцов	Дублирует уровень средних образцов	Перспективные образцы	Оригинальные идеи
y3	Объем и качество обзора литературы	Недостаточный анализ	Отечественная литература	Современная отечественна я литература	Отечественная и зарубежная литература	Новая отечественная и зарубежная литература
y4	Соблюдение стандартов (качество оформления работы и графических материалов)	Установленные требования не выполнены	Установленные требования выполнены, иллюстрации не раскрывают смысл проекта	Не полностью раскрывают смысл, есть погрешность в оформлении	Установленные требования выполнены с мелкими ошибками	Полностью соответствует установленным стандартам

y5	Научный язык и стиль изложения	Много стилистических и грамматических ошибок	Есть отдельные стилистические и грамматические ошибки	Есть отдельные грамматические ошибки	Текст читается легко, есть отдельные ошибки	Текст читается легко, ошибки отсутствуют
y6	Использование компьютерной техники и современных методик	Использование компьютерной техники отсутствует или носит второстепенный характер, устаревшие методики	Использование компьютерной техники, устаревшие методики	Современные пакеты программ в основной части, известные методики	Современные пакеты программ в основной части, современные методики	Оригинальные программнотехнические средства и методики в основной части работы
y7	Возможность практического использования	Нет конкретных практических рекомендаций	Возможно приведение рекомендаций	Результаты имеют рекомендаци онный характер	Результаты имеют рекомендационный характер, частично возможно использование	Возможно непосредственное использование
y8	Степень обоснованности решений	Вариантные расчеты отсутствуют	Есть результаты только одного варианта	Обоснован выбор оптимального варианта	Обоснован и доказан выбор оптимального варианта	Обоснован выбор оптимального варианта и практически применен
y9	Степень достоверности полученных результатов	Результаты не подтверждаются	Результаты частично не подтверждаются	Результаты обсуждаются на уровне построения аналогий	Результаты подтверждаются подобными исследованиями	Результаты подтверждены экспериментально и на практике
y10	Качество полученных результатов	Результаты сомнительны		Ординарные результаты		Неординарные результаты

Описание термов для лингвистических переменных третьего блока Z ( Члены спецсовета ) представлено в табл. 3.

Таблица 3

Рекомендации членам спецсовета для оценки показателей в соответствии с уровнем их выраженности

Показатель		Уровни оценки показателей (термы)
		Низкий	Ниже среднего	Средний	Выше среднего	Высокий
z1	Качество доклада	Не соблюден регламент, недостаточно раскрыта тема проекта	Не раскрывает тему проекта	Есть ошибки в регламенте и использовании иллюстраций	Соблюдение времени, раскрытие актуальности, новизны, метода с использованием иллюстраций	Свободное владение представленным материалом и вниманием аудитории

z2	Наличие и качество иллюстративного материала	Наглядный материал отсутствует	Не отвечают докладу, выполнены на низком уровне	Не полностью отвечают содержанию доклада, есть ошибки в оформлении и отклонение от стандартов	Есть незначительные погрешности в оформлении	Полностью отвечают содержанию доклада, дополняют его, отвечают требованиям стандартов
z3	Степень самостоятельности и качество ответов на вопросы	Не может ответить на дополнительные вопросы	В основном	Знание основного материала	Высокая эрудиция, нет существенных ошибок	Ответы точные, высокий уровень эрудиции
z4	Обобщенная оценка диссертационной работы	Низкий	Ниже среднего	Средний	Выше среднего	Высокий

Приступим к созданию базы правил. Начнем эту процедуру в обратной последовательности, т. е. с переменных внутренней вложенности. Для первого блока правил X ( Эксперт ) переберем все возможные варианты (их количество насчитывает 85 шт.).

Приведем несколько примеров:

Правило 28:

ЕСЛИ Добросовестность соискателя – Средняя, И Умение самостоятельно работать с литературой – Высокое, И Достижение цели, сформулированной в качестве темы диссертации – Низкое, И Умение обобщить и систематизировать результаты проделанной работы и сделать выводы – Высокое, И Объем и качество самостоятельно полученных результатов – Высокие, ТО Результат X – Высокий .

Правило 70:

ЕСЛИ Добросовестность соискателя – Низкая, И Умение самостоятельно работать с литературой – Среднее, И Достижение цели, сформулированной в качестве темы диссертации и делать выводы – Высокое, И Умение обобщить и систематизировать результаты проделанной работы и сделать выводы – Среднее, И Объем и качество самостоятельно полученных результатов – Средние, ТО Результат X – Средний .

Правило 114:

ЕСЛИ Добросовестность соискателя – Высокая, И Умение самостоятельно работать с литературой – Низкое, И Достижение цели, сформулированной в качестве темы диссертации – Низкое, И Умение обобщить и систематизировать результаты проделанной работы и сделать выводы – Средние, И Объем и качество самостоятельно полученных результатов – Низкие, ТО Результат X – Низкий .

Эти же правила, записанные в виде условных обозначений:

Правило 28:

IF x1=ZE AND x2=PB AND x3=NM AND x4=PB AND x5=PB TO X=PB

Правило 70:

IF x1=NM AND x2=ZE AND x3=PB AND x4=ZE AND x5=ZE TO X=ZE

Правило 114:

IF x1=PB AND x2=NM AND x3=NM AND x4=ZE AND x5=NM TO X=NM.

То же проделаем для второго блока правил Y ( Оппонент ). Их количество составляет уже 604 вариантов.

Примеры для второго блока Y :

Правило 156:

ЕСЛИ Обоснование актуальности темы исследования – Высокое, И Научная новизна работы – Высокая, И Объем и качество обзора литературы – Высокие, И

Соблюдение стандартов (качество оформления работы и графических материалов) – Низкое, И Научный язык и стиль изложения – Высокие, И Использование компьютерной техники и современных методик – Высокое, И Возможность практического использования – Средняя, И Степень обоснованности решений – Высокая, И Степень достоверности полученных результатов – Высокая, И Качество полученных результатов – Высокое, ТО Результат Y – Высокий .

Правило 371:

ЕСЛИ Обоснование актуальности темы исследования – Среднее, И Научная новизна работы – Средняя, И Объем и качество обзора литературы – Средние, И Соблюдение стандартов (качество оформления работы и графических материалов) – Среднее, И Научный язык и стиль изложения – Низкие, И Использование компьютерной техники и современных методик – Среднее, И Возможность практического использования – Средняя, И Степень обоснованности решений – Высокая, И Степень достоверности полученных результатов – Высокая, И Качество полученных результатов – Среднее, ТО Результат Y – Средний .

Правило 591:

ЕСЛИ Обоснование актуальности темы исследования – Низкое, И Научная новизна работы – Низкая, И Объем и качество обзора литературы – Низкие, И Соблюдение стандартов (качество оформления работы и графических материалов) – Высокое, И Научный язык и стиль изложения – Низкие, И Использование компьютерной техники и современных методик – Низкие, И Возможность практического использования – Низкая, И Степень обоснованности решений – Низкая, И Степень достоверности полученных результатов – Низкая, И Качество полученных результатов – Среднее, ТО Результат Y – Низкий .

Эти же правила, представленные в виде условных обозначений:

Правило 156:

IF y1=PB AND y2=PB AND y3=PB AND y4=NM AND y5=PB AND y6=PB AND y7=ZE AND y8=PB AND y9=PB AND y10=PB TO Y=PB

Правило 371:

IF y1=ZE AND y2= ZE AND y3= ZE AND y4= ZE AND y5=NM AND y6= ZE AND y7= ZE AND y8= ZE AND y9=PB AND y10= ZE TO Y= ZE

Правило 591:

IF y1=NM AND y2= NM AND y3=NM AND y4=PB AND y5= NM AND y6= NM AND y7= NM AND y8= NM AND y9= NM AND y10=ZE TO Y= NM

И, наконец, для блока правил Z ( Члены спецсовета, их количество равняется 81 шт.):

Правило 16:

ЕСЛИ Качество доклада – Среднее, И Наличие и качество иллюстративного материала – Высокое, И Степень самостоятельности и качество ответов на вопросы – Средняя, И Общая оценка диссертационной работы – Высокая, ТО Результат Z – Высокий .

Правило 53:

ЕСЛИ Качество доклада – Высокое, И Наличие и качество иллюстративного материала – Среднее, И Степень самостоятельности и качество ответов на вопросы – Среднее, И Общая оценка диссертационной работы – Низкая, ТО Результат Z – Средний .

Правило 67:

ЕСЛИ Качество доклада – Высокое, И Наличие и качество иллюстративного материала – Высокое, И Степень самостоятельности и качество ответов на вопросы – Низкая, И Общая оценка диссертационной работы – Низкая, ТО Результат Z – Низкий .

Эти же правила, записанные в виде условных обозначений:

Правило 16:

IF z1=ZE AND z2=PB AND z3=ZE AND z4=PB TO Z=PB

Правило 53:

IF z1=PB AND z2=ZE AND z3=ZE AND z4=NM TO Z=ZE

Правило 67:

IF z1=PB AND z2=PB AND z3=NM AND x4=NM TO Z=NM.

Создадим три файла (Zminna_X.fis, Zminna_Y.fis, Zminna_Z.fis), предварительно введя для каждого блока необходимое количество входных переменных, их имена, интервалы их действия (области определения), соответствующие термы. Запустив механизм редактора правил ( Edit → Rules ) в соответствии с полным перебором, введем записи этих правил в базу знаний (рис. 3).

Рис. 3. Окно ввода правил для переменной X

Теперь посмотрим окно визуализации нечеткой логики для каждого набора перечисленных правил, и соответственно, для каждой входной переменной (рис. 4).

Рис. 4. Графический интерфейс системы работы правил для переменной X

Этим и заканчивается создание общей системы нечеткой модели оценивания выполненного диссертационного исследования. С ее помощью можно достаточно объективно оценивать качество выполненной диссертационной работы (экспертом и оппонентом) и оценивать публичное ее представление при защите (членом спецсовета).

Покажем, как работает предложенная модель на практике.

Пусть эксперт диссертационного исследования представил следующий набор оценивающих данных (табл. 4).

Таблица 4

Пример оценивания Экспертом уровня выполненной диссертационной работы (блок X )

Показатель		Название терма	Расшифровка показателя
x1	Добросовестность соискателя	Низкий (NM – 3 баллов)	Нуждается в жестком контроле
x2	Умение самостоятельно работать с литературой	Средний (ZE – 5 баллов)	Работает с заданной отечественной и зарубежной литературой
x3	Достижение цели, сформулированной как темы научного исследования	Высокий (PB – 7 баллов)	Цель достигнута, раскрыты логически вытекающие задачи
x4	Умение обобщать и систематизировать результаты проделанной работы, сделать выводы	Средний (ZE – 5 баллов)	Проводит обобщение полученных результатов с корректировкой эксперта
x5	Объем и качество самостоятельно полученных результатов	Высокий (PB – 7 баллов)	Результаты получены полностью самостоятельно

Enter и увидим общую оценку для переменной X (рис. 5). Эксперт оценивает работу соискателя в 4,41 балла (по 7-ми балльной шкале).

Рис. 5. Общая оценка работы соискателя, выданная Экспертом

Оппонент представил свое видение качества выполненной диссертационной работы (табл. 5).

Таблица 5

Пример оценивания Оппонентом уровня выполненной диссертационной работы (блок Y )

Показатель		Название терма	Расшифровка показателя
y1	Обоснование актуальности научного исследования	Средний (ZE – 5 баллов)	Работа актуальна, однако ее актуальность не вполне обоснована
y2	Научная новизна работы	Низкий (NM – 3 баллов)	Отсутствует
y3	Объем и качество обзора литературы	Средний (ZE – 5 баллов)	Современная отечественная литература
y4	Соблюдение стандартов (качество оформления работы и графических материалов)	Высокий (PB – 7 баллов)	Полностью соответствует установленным стандартам
y5	Научный язык и стиль изложения	Высокий (PB – 7 баллов)	Текст читается легко, ошибки отсутствуют
y6	Использование компьютерной техники и современных методик	Низкий (NM – 3 баллов)	Использование компьютерной техники отсутствует или носит второстепенный характер, устаревшие методики

y7	Возможность практического использования	Низкий (NM – 3 баллов)	Нет конкретных практических рекомендаций
y8	Степень обоснованности решений	Средний (ZE – 5 баллов)	Обоснован выбор оптимального варианта
y9	Степень достоверности полученных результатов	Низкий (NM – 3 баллов)	Результаты не подтверждаются
y10	Качество полученных результатов	Средний (ZE – 5 баллов)	Ординарные результаты

Соответственно, во втором блоке программы Оппонент ( Y ) в файле Zminna_Y.fis откроем такую же программу просмотра правил системы нечеткой логики и установим соответствующие баллы для термов переменной Y : 5; 3; 5; 7; 7; 3; 3; 5; 3; 5. Нажмем клавишу Enter и увидим общую оценку для переменной Y (рис. 6). Оппонент оценивает диссертационную работу соискателя в 4,00 балла.

Рис. 6. Общая оценка работы соискателя, выданная Оппонентом

Рядовой член спецсовета тоже оценил публичное выступление (защиту) диссертационной работы и дал обобщенную оценку качества самой работы (табл. 6).

Таблица 6

Пример оценивания уровня выполненной диссертационной работы рядовым

Членом спецсовета (блок Z )

Показатель		Название терма	Расшифровка показателя
z1	Качество доклада	Средний (ZE – 5 баллов)	Есть ошибки в регламенте и использовании иллюстраций
z2	Наличие и качество иллюстративного материала	Высокий (PB – 7 баллов)	Полностью отвечают содержанию доклада, дополняют его, отвечают требованиям стандартов
z3	Степень самостоятельности и качество ответов на вопросы	Низкий (NM – 3 баллов)	Не может ответить на дополнительные вопросы

z4

Обобщенная оценка диссертационной работы

Низкий (NM – 3 баллов)

Низкий

Подобным образом в третьем блоке программы Член спецсовета ( Z ) в файле Zminna_Z.fis снова откроем программу просмотра правил системы нечеткой логики и установим соответствующие баллы для термов переменной Z : 5; 7; 3; 3. После нажатия клавиши Enter в последней колонке результатов увидим общую оценку для переменной Z (рис. 7). Рядовой член спецсовета оценивает работу соискателя в 3,83 балла.

Рис. 7. Общая оценка работы соискателя, выданная Членом спецсовета

Анализируя полученный материал из трех представленных источников, можно достаточно объективно оценить работу соискателя научной степени. Для этого необходимо объединить эти данные вместе.

Приведем несколько примеров:

Правило 5:

ЕСЛИ Эксперт – Низкая, И Оппонент – Высокая, И Член спецсовета – Высокая, ТО Результат R – Высокий .

Правило 36:

ЕСЛИ Эксперт – Средняя, И Оппонент – Низкая, И Член спецсовета – Высокая, ТО Результат R – Средний .

Правило 44:

ЕСЛИ Эксперт – Низкая, И Оппонент – Высокая, И Член спецсовета – Низкая, ТО Результат R – Низкий .

Эти же правила, записанные в виде условных обозначений:

Правило 5:

IF X=NM AND Y=PB AND Z=PB TO R=PB

Правило 36:

IF X=ZE AND Y=NM AND Z=PB TO R=ZE

Правило 44:

IF X=NM AND Y=PB AND Z=NM TO R=NM.

В окне программы просмотра правил системы нечеткой логики ( View → Rules ) в поле Input введем полученные значения переменных X, Y и Z : 4.41; 4.00; 3.83 (рис. 8). Программа нечеткой логики даст окончательный объективный ответ: выставить соискателю научной степени 3.99 ≈ 4 балла (по 7-ми бальной шкале), что в пересчете по международной (ЕСТS) и национальной системе оценивания будет звучать так: оценка С ( хорошо ) или выше среднего (PS – positive small).

Рис. 8. Окно просмотра правил системы нечеткой логики с окончательной оценкой диссертационной работы

Будет интересна и визуализация поверхности нечеткого вывода для системы оценивания диссертационной работы соискателя. Для этого вызовем соответствующее окно (рис. 9).

Рис. 9. Окно визуализации поверхности параметров нечеткой логики

Проведем небольшой эксперимент. Возьмем крайние значения параметров входных переменных, сначала минимальные (1; 1; 1), а затем максимальные (7; 7; 7).

Система нечеткого логического вывода дает вполне разумные ответы. При крайне плохой оценке всеми тремя участниками этого процесса программа Fuzzy Logic Toolbox оценивает диссертационную работу в 1.98 ≈ 2 балла, что в переводе означает ниже среднего (negative small) (рис. 10), а в системе оценивания (ЕСТS) – Е ( достаточно ); при завышенной положительной оценке всех участников программа дает ответ – 6.02 ≈ 6 баллов, то есть оценка очень высокая (positive big) – А ( отлично ). Это говорит о том, что, как и в реальной жизни, система отдает предпочтение в пользу соискателя научной степени. На наш взгляд, это достаточно объективный подход неодушевленной компьютерной системы.

Рис. 10. Оценка системы нечеткой логики при крайне отрицательных показателях

Напомним, что общий результат получен лишь по отношению к одному члену спецсовета. Подобные расчеты необходимо выполнить для каждого участника этого процесса, при этом необходимо учесть их весовые показатели: Эксперт – 1, Оппонент – 2, Рядовой член спецсовета – 2 и Председатель спецсовета – 4. Чаще всего специализированный ученый совет назначает трех экспертов, два оппонента (для кандидатской) или три (для докторской диссертации) и 15 – 25 членов спецсовета. Обработав все их обобщения, можно действительно получить объективную оценку выполненной и публично защищенной диссертационной работы.

Анализ и оценка разработки

Создав такую систему оценивания, специализированный ученый совет и высшая аттестационная комиссия (ВАК) получат автоматизированный и, что очень важно, объективный банк данных, который будет содержать информацию о личностных и профессиональных особенностях соискателей научной степени, а также, используя его, эффективно корректировать и прогнозировать качество подготовки диссертаций. Информация этой базы может быть использована и для написания объективной характеристики на соискателя научной степени, а также может быть применена для обобщающего анализа эффективности и качества диссертационных исследований по разным категориям лиц, участвующих в их оценке.

Заключение

Завершая описание компьютерного оценивания диссертационных работ соискателей научной степени, на основании полученных результатов делаем вывод, что на основе теории нечеткой логики и нечетких множеств можно достаточно объективно выполнять этот процесс. Оценивание является одним из условий повышения эффективности научно-исследовательских работ, роста уровня научных достижений специалистов высшей квалификации и совершенствования количественных методов изучения развития науки как информационного процесса, а это, в свою очередь, является составной частью новой ветви человеческих знаний – наукометрии. Модель, основанная на компьютерной системе нечеткой логики, позволяет человеческие достижения, оформленные в виде диссертаций, как наиболее интеллектуально емких и сложных работ человеческой деятельности, оценивать с помощью количественных характеристик научной информации. Это дает возможность избежать субъективизма в оценке продуктивности и качества научной мысли.

Интеграция образовательных и информационных технологий является велением времени и сейчас невозможно провести четкую грань, с одной стороны, между достижениями в сфере непрерывного образования и, с другой – успехами в области математики и компьютерных технологий в принятии эффективных педагогических решений.