К вопросу о методологии оценки научных публикаций

• 1.    Введение

  Методология оценки научных публикаций последнее десятилетие стала одной из наиболее часто обсуждаемых проблем в научном сообществе самых разных специализаций [National Academy…, 2018; Foltýnek et al., 2019; Розенберг, 2018; Розенберг и др., 2020; Харченко, 2020; Хохлов, 2019¹]. Но особенную остроту этому обсуждению добавил документ, «Методика расчета…, 2019). Предложенная в нём МНиВО РФ система оценок сразу вызвала целый поток вопросов, так как она имеет явный сдвиг в оценках журналов в сторону Web of Science Core Col-

• 1Харченко Сергей Григорьевич, профессор, докт. физ.-матем. наук, kharchenko-sg@rudn.ru; Докукин Пётр Александрович, доцент, канд. техн. наук, dokukin-pa@rudn.ru; Кучер Дмитрий Евгеньевич, доцент, канд. техн. наук, kucher-de@rudn.ru
2.    Объекты и методы исследования 3.    Методология исследования

lection в ущерб Scopus, хотя по объективным характеристикам «европейская» система уж явно не хуже «американской». Однако МНиВО РФ намеренно предпочитает всё «американское» в ущерб «европейскому», пренебрегая международным опытом в этой сфере, в частности, опытом большого числа европейских университетов.

В настоящее время публикация в рецензируемых научных журналах является основным показателем результативности деятельности ученого – как сотрудника НИИ, так и преподавателя вуза. Хотя ученые из АН СССР ещё в конце 1960-х годов уже пользовались показателем Science Citation Index, поскольку Библиотека им. В.И. Ленина закупала эти издания Института научной информации (США), но широкое использование эти издания получили только в 1990-х годах, когда научные базы данных появились на компьютерных дисках2 и затем в сети Интернет.

Однако, научные публикации имеют ценность только в том случае, если высказанные в них мысли, полученные результаты, их обсуждение и выводы – являются оригинальными. Поэтому оценка степени оригинальности научной работы – будь то статья, монография или диссертация, является важной и необходимой стадией перед её опубликованием. Особенно большое значение эта стадия имеет для оценки диссертации (магистерской, кандидатской или докторской), поскольку диссертация является научноквалификационной работой, имеющей важные последствия для её автора (финансовые, должностные, престижные и т.д.). Считается, что проверку «оригинальности» гораздо легче проводить в естественных науках: «медицинские» факты можно установить только один раз, и все образованные ученые должны знать, кто установил данный «медицинский» факт. Однако в практике научного рецензирования журнальных статей одного из авторов этой статьи был случай, когда он отверг рецензированную статью на том основании, что «открытие» автора было описано ещё в «Основах химии» Д.И. Менделеева и привел том и страницу. Но так случилось, что тогда он ещё неплохо помнил труды классиков науки. Сейчас бы такую ссылку многие сочли бы некорректной и устаревшей, так как современные бюрократические требования настоятельно рекомендуют ссылаться только на самую последнюю научную литературу, желательно изданную за последние 5 лет. Однако ссылаться всегда нужно на первоисточник, если такая ссылка доступна.

Исследование проводили на более 200 магистерских диссертациях, 14 кандидатских и трёх докторских диссертациях, защищенных в Российской академии народного хозяйства и государственной службы при Президенте РФ и в Российском университете дружбы народов. При проведении анализа использо- вался программный продукт система «Ан-типлагиат»3.

В связи с вышесказанным во введении оценка «оригинальности» или степень заимствования имеет первостепенное значение для оценки работы.

Чтобы быть точными в понимании термина «плагиат», приведём значение этого термина из наиболее авторитетных источников.

Согласно онлайн-словарю Merriam-Webster (2014), «плагиат» означает:

– Красть и выдавать (чужие идеи или слова) за свои собственные.

– Использовать (чужую продукцию) без ссылки на первоисточник.

– Совершить литературную кражу.

– Представлять как новую и оригинальную идею или продукт, полученный из существующего источника.

Британская Энциклопедия определяет плагиат как «акт взятия сочинений другого человека и выдача их за свои собственные. Мошенничество тесно связанное с подделкой документов и пиратством — практикой, как правило, нарушающей законы об авторских правах. Однако если мысли только дублируются, выражаются разными словами, то нет никакого нарушения договора. Кроме того, нет никакого нарушения, если можно доказать, что дублированное словосочетание было получено независимо»4.

Оксфордский словарь американского английского языка указывает происхождение понятия «плагиат» от латинского plagiarius ‘похититель’ (от латинского plagium ‘похищение’, от греческого plagion)5.

Одну из самых подробных трактовок этого понятия приводит Оксфордский словарь английского языка для студентов6:«Плагиат – это представление чужих работ или идей как своих собственных, с их согласия или без него, путем включения их в свою работу без полного признания чужого авторства. Все опубликованные и неопубликованные материалы, будь то в рукописной, печатной или электронной форме, подпадают под это определение. Плагиат может быть преднамеренным, опрометчивым или непреднамеренным. Согласно правилам проведения экзаменов, умышленный или опрометчивый плагиат является дисциплинарным проступком». Далее поясняется, что «необходимость признания чужих работ или идей относится не только к тексту, но и к другим средствам массовой информации, таким как компьютерный код, иллюстрации, графики и т. д. Это в равной степени относится к опубликованным текстам и данным, почерпнутым из книг и журналов, и к неопубликованным текстам и данным, будь то лекции, диссертации или эссе других студентов. Вы также должны атрибутировать текст, данные или другие ресурсы, загруженные с веб-сайтов».

Однако в погоне за оригинальностью важно «не переусердствовать» – особенно это касается диссертаций и других научноквалификационных трудов, то есть трудов, в которых автор должен показать, что он знаком с научными работами, выполненными до него вплоть до настоящего времени. И не только показать знание этих работ, но и выразить своё отношение к ним, свою оценку полученных в этих работах результатов, отразить своё согласие или несогласие ними и обосновать своё мнение.

Конечно, в случае точных наук присвоение чужих результатов бывает достаточно очевидным для профессионалов, но в гуманитарных науках присвоение чужих идей доказывать не столь просто, если это не сопровождается полным копированием текста. В таких случаях только квалифицированный эксперт-лингвист может профессионально оценить степень оригинальности текста.

Последние 15–20 лет в мире появилось несколько программных продуктов, проверяющих текст на оригинальность. С помощью бесплатных инструментов проверки плагиата, которые могут проводить поиск по миллиардам документов и находить совпадения, даже если они состоят всего из нескольких слов, найти плагиат стало так же просто, как обнаружить информацию в сети интернет с помощью поисковика, такого как Google. Теперь это только вопрос простой обработки вашего запроса и предоставления вам результатов. Широко известны в мире такие программные продукты как Grammarly Online Plagiarism Checker, Unicheck, Urkund, iThenticate, Plagiarisma, Plagium, PlagTracker, Turnitin, Viper, Plagiarism Scanner, PlagScan и многие другие. Опубликован обзор 33 программных продуктов по проверке на наличие плагиата7, а Sobhagyawati Gupta выделяет 31 программу.8 В России и странах СНГ широко известны две аналогичные программы проверки на наличие плагиата – одна из них «Антиплагиат»9 имеет государственный статус и используется 85% студентов ВУЗов России и СНГ, другая – используется только Вольным сетевым сообществом экспертов «Диссернет» (на основе программного комплекса, получивший название «диссерорубка профессора Ростовцева»)10. Поскольку вторая программа не имеет свободного доступа, мы имели возможность проанализировать только программу «Антиплагиат», тем более, что именно этой программой пользуются практически все преподаватели и студенты вузов, председатели и члены диссертационных советов и члены экспертных советов ВАК, которых мы имели возможность опросить.

4.    Результаты и их обсуждение

Как же работает система «Антиплагиат» по описанию самих разработчиков?8 Процесс протекает в четыре стадии: Загрузка, Поиск,

Анализ и Результат. То есть Пользователь загружает документ в систему; система ищет текст документа в базах источников с помощью уникальных алгоритмов поиска; система анализирует совпадения и определяет фрагменты заимствования или цитирования; пользователь получает отчёт о результатах проверки документа на заимствования.

Абсолютное большинство пользователей системы «Антиплагиат» уверены, что вышеуказанных действий вполне достаточно, и ориентируются только на конечную оценку отчёта о результатах проверки. Одно очень важное замечание в руководстве пользователя программы эти пользователи пропускают без внимания, хотя именно с этих слов начинается замечание: «Важно! Сервис производит лишь предварительную оценку, реальную оценку источнику может дать только пользователь.» [В данном случае – это проверяющий работу преподаватель. (Руководство эксперта…, 2019)]. Именно поэтому необходимо ввести в практику обязательное правило – научные руководители должны нести ответственность за плагиат своих аспирантов и соискателей: если научный руководитель не уверен в качестве работы, то он не должен под ней подписываться. Если он не способен обеспечить квалифицированную оценку качества работы, он должен отказаться от руководства, или понести заслуженное наказание, например, публичное отстранение от руководства работ. Пока недобросовестное руководство не будет подвергнуто публичному осуждению научной общественности, только усилия Диссернета могут дать существенные результаты в борьбе с плагиатом.

Проанализируем некоторые важные особенности отечественной системы проверки на наличие плагиата «Системе «Антиплагиат», которые, к сожалению, не отмечены в её Руководстве пользователя.12, 11

Хотя для разработки «Системы Антиплагиат» были привлечены хорошие программисты, но не были привлечены профильные аналитики, лингвисты. В результате полученная система приобрела целый ряд заметных недостатков. Несмотря на повсеместную практику использования данной системы в автоматическом режиме, система «Антиплагиат» не приспособлена для автоматической работы. Справедливости ради необходимо отметить, что разработчики системы везде указывают, что «система является вспомогательным инструментом, определение корректности и правомерности заимствований или цитирований, а также авторства текстовых фрагментов проверяемого документа остается в компетенции проверяющего». Поэтому надо знать следующие важные моменты работы системы, на которые не обращает наше внимание разработчик, эти недостатки наносят урон честному имени и репутации авторов проверяемых работ:

• 1)    автор магистерской, кандидатской или докторской диссертации обязан следуя требованиям ГОСТ называть все организации в соответствии с утверждённым стандартом, но все названия организаций, министерств, ведомств и т.д. воспринимаются системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку;

• 2)    все условные сокращения воспринимаются системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку;

• 3)    титульный лист, вторая страница автореферата, список литературы, глоссарий, приложения и т.д. воспринимаются системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку или загрузить работу для проверки без титульного листа, без списка литературы, без глоссария и без приложений, особенно в том случае, если проверяющий не владеет системой «Антиплагиат» профессионально. В тех случаях, когда проверяющий проводит оценку вместе со списком литературы, он фактически расписывается в полном непонимании предназначения и принципах работы этой системы;

• 4)    самоцитирование (а по положению ВАК диссертант обязан опубликовать все основные идеи диссертации и оппоненты оценивают: насколько полно содержание диссертации представлено в опубликованных статьях и монографиях автора) воспринимается системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку – таким обра-

• зом, процент самоцитирования необходимо прибавлять к проценту оригинальности;

• 5)    в тех случаях, когда в тексте идёт ссылка на фамилию автора и приводится содержание высказанной им мысли и в конце предложения в квадратных скобках указан источник (т. е. это - корректное цитирование), также воспринимается системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку;

• 6)    такие модули проверки как «Модуль поиска перефразирований Интернет» фактически являются набором случайных фраз из неидентифицируемых источников Интернета, которые далеки от рассматриваемой темы и в целом ряде вузов рекомендованы к исключению из условий проверки как искажающие корректность и адекватность оценки (в представленном отчете на них приходится несколько процентов или даже десятых процента), т. е. достоверность таких ссылок равна нулю;

• 7)    некоторые модули поиска в этой системе вообще комичны, например, такой как « Модуль поиска переводных заимствований», который со ссылкой на Read eBooks online считает заимствованием, если текст на русском языке соответствует тексту на английском языке в источнике, для которого официального перевода на русский язык вообще не существует или ссылка на такой источник как «шпора», подготовленная студентом к сдаче экзамена;

• 8)    все названия законов, постановлений правительства, указов Президента РФ, не зависимо от того, есть ли на них ссылка, воспринимаются системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку;

• 9)    все общеупотребительные выражения типа: «экономика и управление народным хозяйством»; «труды отечественных и зарубежных авторов»; «теоретической и методологической основой исследования являются»; «труды отечественных и зарубежных ученых в области»; «практическая значимость работы состоит в том, что»; «аспирантов и молодых ученых»; «теоретическая и практическая значимость работы»; «сделан вывод о том, что»; «что, в свою очередь, позволит…» и многие другие воспринима-

• ются системой как плагиат, поэтому проверяющий обязан в ручном режиме сделать соответствующую правку.

• 10)    отдельно нужно отметить, что в таких разделах диссертаций и статей как «Объекты и методы исследования» (а это обязательные разделы многих работ) использование «нестандартных» описаний неизбежно приведёт к искажению правильных представлений о объектах и методах исследования. Описание бактерий и условий их культивирования сохраняются десятилетиями, и полное копирование их описания подтверждает правильность выбора и их характеристику. Точно также как описание стандартных методов исследования. Несомненно, все эти описания должны сопровождаться ссылками.

5. Выводы

Используя общеизвестное определение: Плагиат – «умышленно совершаемое физическим лицом незаконное использование или распоряжение охраняемыми результатами чужого творческого труда, которое сопровождается доведением до других лиц ложных сведений о себе как о действительном авторе» (Бобкова и др., 2016), необходимо отметить, что ни один из вышеприведённых случаев не является плагиатом, хотя и отмечается системой «Антиплагиат». Если проверяющий не знает об этих особенностях системы или сознательно ими пренебрегает, то его оценка работы является намеренным искажением фактов и сознательным занижением оценки оригинальности работы .

Однако значительная часть научных руководителей, членов диссертационных советов, членов экспертных советов ВАК об этих особенностях системы «Антиплагиат» не знает и свято верит, что автоматической проверки вполне достаточно. Иначе чем воинствующий непрофессионализм такой взгляд назвать нельзя. Кстати, если «слепо верить» результатам автоматической проверки, то получаются интересные курьезы, например, что классики марксизма списали свои труды из школьных и студенческих рефератов. Просто разработчики системы не предусмотрели приоритетность и последовательность процесса проверки. Справедливости ради необходимо отметить, что разработчики постоянно совершенствуют систему, выпуская новые релизы, но в системе всё ещё сохраняется множество недостатков.

Причинами, определяющими недостатки системы «Антиплагиат», могут быть следующие. Работу выполняли достаточно хорошие программисты, однако они сами, по-видимому, никогда не пользовались этой системой для массовой проверки работ. Но в команде исполнителей не было опытного руководителя, определяющего формулировку цели и постановку задач, а также определение граничных условий. В этом случае нередко получается, что работа, имеющая оригинальность 93–95%, при автоматической проверке едва набирает 50–60% оригинальности. Таким образом, при отсутствии у проверяющего необходимых знаний системы «Антиплагиат» (а это массовое явление) происходит искусственное занижение оригинальности работ. Нельзя забывать, что система «Антиплагиат» – это полезный инструмент в руках профессионала, который своей подписью на данном документе гаран- тирует его правильность и должен быть готов к публичной защите своей оценки. А если оценка проводится кулуарно и оценщик не готов гарантировать ее правильность (а как он может это гарантировать, если не владеет системой профессионально), то происходит массовое искажение системы оценок. В любом случае, в настоящее время последнее слово должно оставаться за компетентным профессионалом, который готов нести полную ответственность за результаты своей оценки наличия или отсутствия плагиата. Система «Антиплагиат» может существенно помочь в этой работе, но для этого к её разработке необходимо привлечь специалистов разных профессий, в частности, по структурной лингвистики. Только они могут поднять уровень работы этой системы на необходимую высоту и обеспечить выполнение требований к системе.