О тенденции изменения качества выпускных квалификационных работ студентов-химиков по результатам оценки заимствований системой "Антиплагиат"
Автор: Пустовит С.О., Ларионова В.М.
Журнал: Международный журнал гуманитарных и естественных наук @intjournal
Рубрика: Педагогические науки
Статья в выпуске: 7-2 (94), 2024 года.
Бесплатный доступ
В представленной статье рассматривается один из актуальных аспектов проблемы оценивания качества выпускной квалификационной работы студентов бакалавриата по направлению подготовки 04.03.01 Химия - установление фактов заимствований средствами системы «Антиплагиат». На примере научных студенческих работ определяется наличие возможной тенденции в изменении показателя оригинальности исследований по результатам применения параметрических методов для статистической обработки представленных данных.
Качество образования, выпускная квалификационная работа, проверка на заимствования, статистическая обработка данных, непараметрические критерии
Короткий адрес: https://sciup.org/170206351
IDR: 170206351 | DOI: 10.24412/2500-1000-2024-7-2-109-114
Текст научной статьи О тенденции изменения качества выпускных квалификационных работ студентов-химиков по результатам оценки заимствований системой "Антиплагиат"
Вопрос оценки качества подготовки студентов по естественнонаучным направлениям, включая, химическое образование, представляет собой одну из актуальных проблем высшей школы [1-4]. С одной стороны, стремительно развивающиеся технологии предъявляют требования в отношении способности выпускника-химика к постоянному самообучению, которое охватывает целенаправленный поиск и систематизацию современной информации, её эффективное применение в конкретной ситуации. С другой стороны, в условиях постоянного обновления содержания образования существует потребность в адекватной оценке химической компетентности студента. Важным дидактическим инструментом, применяемым с целью определения готовности студента к выполнению будущей профессиональной деятельности, является выполнение им выпускной квалификационной работы (ВКР).
Одним из показателей, демонстрирующих степень самостоятельно вклада студента в исследование по теме ВКР, следовательно, в определённой мере - уровень развития его компетенций, является оригинальность выполненного исследования. На фоне споров среди научно-педагогического сообщества о целесообразности и корректности применения данного показа- теля [5-7] он всё же в некоторой мере способствует формированию первичного представления о самостоятельности выполнения ВКР, в частности, и оценке подготовки выпускника, в целом.
В связи с этим закономерно возникает вопрос о тенденциях, происходящих в образовательном процессе касательно качества ВКР, которые частично прослеживаются через показатель их оригинальности. Так, кафедра химии КГУ им. К.Э. Циолковского (г. Калуга) более 10 лет осуществляет выпуск студентов бакалавриата по направлению подготовки 04.03.01 Химия. Поэтому особый интерес представляет изменение значения оригинальности работ обучающихся данного направления по результатам проверки работ на заимствования, осуществляемой средствами системы «Антиплагиат» [8].
Проверка работ на заимствования
Выпускники-химики востребованы на рынке труда в регионе. Поэтому в обеспечении качества подготовки студентов заинтересованы, как сотрудники кафедры, так и представители работодателей г. Калуги и области.
Кафедра химии проверяет ВКР, отражающие уровень сформированности химической компетентности выпускника, на наличие заимствований средствами системы «Антиплагиат». В последнее время в условиях числа баз данных в системе «Антиплагиат» и возможностей компьютерных технологий по идентификации текстов заметно повысилось число студенческих работ высокими значениями оригинальности. Поэтому закономерно возникает вопрос о наличии тенденции в изменении среднего значения оригинальности ВКР за последние годы выпуска студентов.
Первичная обработка данных показателя оригинальности
Согласно локальным нормативным документам КГУ им. К.Э. Циолковского каждая ВКР может быть проверена на заимствования дважды (при первом неудовлетворительном результате). Поэтому оценка показателя оригинальности ВКР студентов, представленная в данной статье, осуществляется нами для последней проверки на заимствование (при наличии повторной проверки), т.е. для конечного результата представленной работы.
С целью выявления возможной тенденции в изменении показателя оригинальности работ за 2016-2024 годы выпуска студентов при обработке первичных данных было вычислено его cреднее арифметическое значение и среднее квадратичное отклонение: x ср. ± ∆x (см. табл. 1) [9].
Таблица 1. Первичная обработка данных выборки студентов-химиков
|
№ студента, п/п |
Год выпуска студентов, % оригинальности |
|||||||
|
2016 |
2017 |
2018 |
2019 |
2021 |
2022 |
2023 |
2024 |
|
|
1 |
76,6 |
62,2 |
66,5 |
70,9 |
61,5 |
81,2 |
75,4 |
68,5 |
|
2 |
83,3 |
74,3 |
83,9 |
66,2 |
62,5 |
72,1 |
91,6 |
60,7 |
|
3 |
87,1 |
67,2 |
65,8 |
70,1 |
76,3 |
91,7 |
86,4 |
76,7 |
|
4 |
82,9 |
69,9 |
91,6 |
70,0 |
80,8 |
87,3 |
77,7 |
96,0 |
|
5 |
89,9 |
77,5 |
66,6 |
78,8 |
82,9 |
67,7 |
95,0 |
88,7 |
|
6 |
67,6 |
76,8 |
64,5 |
71,7 |
60,9 |
84,8 |
96,8 |
82,5 |
|
7 |
85,8 |
62,2 |
72,3 |
78,6 |
77,3 |
86,1 |
71,2 |
74,3 |
|
8 |
73,6 |
80,6 |
69,7 |
82,5 |
72,2 |
67,7 |
76,5 |
66,5 |
|
9 |
78,0 |
87,0 |
90,8 |
60,2 |
73,4 |
62,1 |
67,9 |
85,3 |
|
10 |
70,7 |
71,1 |
73,1 |
77,2 |
87,2 |
74,6 |
99,4 |
67,8 |
|
11 |
71,5 |
73,5 |
68,9 |
60,9 |
73,6 |
80,2 |
82,9 |
87,1 |
|
12 |
68,7 |
86,3 |
86,7 |
70,6 |
63,6 |
88,3 |
70,9 |
96,4 |
|
13 |
71,9 |
66,3 |
72,6 |
93,9 |
71,1 |
94,0 |
84,8 |
79,6 |
|
14 |
83,1 |
72,4 |
89,9 |
78,2 |
79,4 |
61,2 |
75,8 |
84,1 |
|
15 |
84,8 |
71,4 |
70,9 |
86,3 |
81,7 |
86,7 |
90,5 |
62,8 |
|
16 |
73,6 |
72,2 |
71,3 |
94,7 |
83,9 |
82,6 |
95,8 |
65,5 |
|
17 |
87,9 |
82,9 |
80,0 |
66,9 |
84,0 |
77,1 |
77,4 |
89,5 |
|
18 |
78,9 |
73,7 |
78,8 |
74,5 |
64,4 |
71,9 |
||
|
19 |
73,5 |
73,6 |
61,8 |
89,5 |
69,2 |
|||
|
20 |
74,0 |
81,1 |
89,0 |
68,5 |
88,9 |
|||
|
21 |
74,2 |
81,6 |
79,5 |
81,5 |
80,5 |
|||
|
22 |
64,5 |
86,3 |
82,6 |
76,1 |
||||
|
23 |
89,3 |
67,2 |
||||||
|
24 |
62,3 |
86,5 |
||||||
|
25 |
71,6 |
|||||||
|
26 |
66,5 |
|||||||
|
x ср. ± ∆x |
77,4 ± 7,1 |
73,8 ± 7,2 |
75,5 ± 8,9 |
75,2 ± 9,8 |
75,5 ± 7,8 |
77,9 ± 10,2 |
80,8 ± 10,1 |
78,2 ± 10,4 |
Пояснение к таблице: 1) в 2020 году не было выпуска студентов направления подготовки 04.03.01 Химия;
2) нижний проходной порог оригинальности ВКР в КГУ им. К.Э. Циолковского – 60% (установлен нормативными документами).
На первый взгляд, наблюдается повышение среднего значения показателя оригинальности ВКР в 2019-2023 гг. Однако выдвинутое предположение требует проверки с применением методов статистической обработки данных.
Статистическая обработка значений показателя оригинальности
Выборка студентов – небольшая (в группе – по 17-26 человек). Поэтому для оценки полученных значений в данной статье применяем непараметрические методы. Кроме того, сравниваемые данные являются независимыми, полученными для несвязанных выборок испытуемых: в приведённом исследовании сравниваются значения, полученные для работ студентов разных лет выпуска. В результате для статистической обработки используем следующие методы [9]: S-критерий различий Джонкира, Н-критерий Краскела-Уоллиса, критерий Манна-Уитни.
S-критерий различий Джонкира
Для установления статистически достоверных отличий в нескольких независимых группах (3 и более групп) применяем S-критерий различий Джонкира, который предназначен для установления достоверности тенденции изменения признака при переходе от одной выборки к другой [9].
Формулируем направленные гипотезы – нулевую (Н 0 ) и альтернативную (Н 1 ): Н 0 – достоверной тенденции в изменении оригинальности текста выпускной квалификационной работы в исследованиях студентов нет; Н 1 – тенденция в изменении оригинальности текста выпускной квалификационной работы в исследованиях студентов достоверна.
Условием применения выбранного критерия является одинаковое число испытуемых и число групп – от 3 до 8. Формируем подходящие выборки. Для групп 20192023 лет выпуска студентов методом случайного выбора убираем лишние данные. Оставляем во всех группах первые 10 измерений (см. табл. 2).
Приводим расчёты значения S-критерий различий Джонкира [9].
-
1. Определяем среднее арифметическое значение для каждого года выпуска студентов и среднее квадратичное отклонение (см. табл. 2).
-
2. В каждой колонке данные распределяют по возрастанию. Подсчитывают число значений в столбиках данных, расположенных правее анализируемого столби-
- ка и имеющих более высокие значения (см. табл. 3). Суммируем полученные значения: получаем промежуточное значение – А [9].
-
3. Вычисляем значение B по формуле: В = С·(С-1)·n2/2, где С – число выборок, n – число испытуемых лиц в выборке; В = 4·(4-1)·102/2 = 600 [9].
-
4. Рассчитываем значение S эксп. по формуле [9]: S эксп. = 2 · А – В.
Таблица 2. Первичная обработка данных выборки для применения S-критерия различий
Джонкира
|
№ студента, п/п |
Год выпуска студентов, % оригинальности |
|||
|
2019 |
2021 |
2022 |
2023 |
|
|
1 |
70,9 |
61,5 |
81,2 |
75,4 |
|
2 |
66,2 |
62,5 |
72,1 |
91,6 |
|
3 |
70,1 |
76,3 |
91,7 |
86,4 |
|
4 |
70,0 |
80,8 |
87,3 |
77,7 |
|
5 |
78,8 |
82,9 |
67,7 |
95,0 |
|
6 |
71,7 |
60,9 |
84,8 |
96,8 |
|
7 |
78,6 |
77,3 |
86,1 |
71,2 |
|
8 |
82,5 |
72,2 |
67,7 |
76,5 |
|
9 |
60,2 |
73,4 |
62,1 |
67,9 |
|
10 |
77,2 |
87,2 |
74,6 |
99,4 |
|
x ср. ± ∆x |
72,6 ± 10,7 |
73,5 ± 8,8 |
77,5 ± 9,2 |
83,8 ± 10,1 |
Таблица 3. Расчёт значения А для S-критерия различий Джонкира
|
№ студента, п/п |
Год выпуска студентов, % оригинальности |
||||||
|
2019 |
S 1 |
2021 |
S 2 |
2022 |
S 3 |
2024 |
|
|
1 |
60,2 |
30 |
60,9 |
20 |
62,1 |
10 |
67,9 |
|
2 |
66,2 |
26 |
61,5 |
20 |
67,7 |
9 |
71,2 |
|
3 |
70,0 |
24 |
62,5 |
19 |
67,7 |
9 |
75,4 |
|
4 |
70,1 |
23 |
72,2 |
14 |
72,1 |
8 |
76,5 |
|
5 |
70,9 |
23 |
73,4 |
12 |
74,6 |
8 |
77,7 |
|
6 |
71,7 |
22 |
76,3 |
12 |
81,2 |
5 |
86,4 |
|
7 |
77,2 |
15 |
77,3 |
14 |
84,8 |
5 |
91,6 |
|
8 |
78,6 |
14 |
80,8 |
10 |
86,1 |
4 |
95,0 |
|
9 |
78,8 |
13 |
82,9 |
9 |
87,3 |
4 |
96,8 |
|
10 |
82,5 |
11 |
87,2 |
6 |
91,7 |
3 |
99,4 |
|
А, ∑S i |
- |
201 |
- |
136 |
- |
65 |
- |
S эксп. = 2 · 302 – 600 = 4.
По таблице для данного критерия [9] определяем критическое значение S кр. для уровня статистической значимости p ≤ 0,05: при С = 4 и n = 10 данное значение составляет 138. S эксп. < S кр. , значит, H 1 отклоняется, т.е. достоверных изменений тенденции нет. Изменения показателя оригинальности ВКР не являются значимыми.
Н-критерий Краскела-Уоллиса
В отношении оценки данных для групп студентов за 2019-2023 гг. применяем Н-критерий Краскела-Уоллиса [10], который позволяет установить достоверность (но не направление) изменения признака при переходе от группы к группе для 3-4 и более независимых выборок испытуемых без указания верхней границы количества изменений признака. Количество испытуемых в каждой выборке не играет роли, поэтому применяем критерий для всех студентов соответствующих групп (см. табл. 1).
Формулируем гипотезы: H0 – между выборками 2019, 2021, 2022, 2023 гг. существуют лишь случайные различия по уровню исследуемого признака; H1 – меж- ду выборками 2019, 2021, 2022, 2023 гг. существуют неслучайные различия по уровню исследуемого признака.
Применяем критерий для каждого года выпуска студентов (см. табл. 1) онлайн [11]: H эмп. = 4,21; количество степеней свободы (υ) равно 3 (υ = С – 1, где С – число независимых групп). Критическое значение для данных условий (при р ≤ 0,05) χ2 кр. = 7,815 [10]. H эмп. < χ2 кр. , значит, принимается гипотеза Н 0 , т.е. статистически значимых различий между результатами групп нет.
Критерий Манна-Уитни
С целью выявления факта наличия различий между выборками сравним попарно, соответственно, результаты 2019 и 2021, 2021 и 2022, 2022 и 2023 гг. выпуска студентов. Для сравнения 2-х независимых выборок онлайн применяем непараметрический критерий критерий Манна-Уитни [12], при котором число изменений признака должно находиться в пределах 3-60, что соответствует объёму исследуемых выборок.
Формулируем гипотезы для каждой пары выборок: H 0 – между двумя выборками существуют лишь случайные различия по уровню исследуемого признака; H 1 – между двумя выборками существуют неслучайные различия по уровню исследуемого признака. Получаем следующие результаты (см. табл. 4).
Таблица 4. Сравнение признака в парах независимых выборок
|
Сравниваемые годы выпуска студентов |
U эмп. |
U кр. при р ≤ 0,05 |
Подтверждаемая гипотеза |
|
2019, 2021 |
170 |
134 |
Н 0 |
|
2021, 2022 |
248 |
216 |
Н 0 |
|
2022, 2023 |
253 |
216 |
Н 0 |
Для всех попарно сравниваемых групп студентов полученные эмпирические значения U эмп. меньше U кр., т.е. находятся в зоне незначимости: различие в значениях оригинальности ВКР нами не выявлено.
Выводы
-
1. Среднее арифметическое значение показателя оригинальности для выпусков студентов 2016-2024 гг. (2016, 2017, 2018, 2019, 2021, 2022, 2023 гг.) показывает, в целом, небольшое повышение самостоятельности выполнения ВКР. Поэтому для подтверждения общей тенденции изменения признака в небольших выборках студентов были применены статистические
-
2. При использовании непраметриче-ских критериев (S-критерий тенденций Джонкера, Н-критерий Краскела-Уоллиса, критерий Манна-Уитни) для исследованных выборок студентов статистически достоверной тенденции изменения показателя оригинальности ВКР не выявлено.
-
3. Статистическая обработка только одного показателя не позволяет сделать полноценный вывод о качестве ВКР, однако демонстрирует стабильность в выполнении требований к самостоятельности обзора литературных данных в научных студенческих работах выпускников-химиков.
методы.
Список литературы О тенденции изменения качества выпускных квалификационных работ студентов-химиков по результатам оценки заимствований системой "Антиплагиат"
- Аржакова, М.И. Оценка профессиональной компетентности будущих учителей химии в современных условиях / М.И. Аржакова, К.Е. Егорова // Педагогика и просвещение. - 2021. - № 1. - С. 25-35.
- Василевская, Е.И. Формирование профессиональной компетентности будущего специалиста при обучении на химическом факультете университета / Е.И. Василевская // София: электронный научно-просветительский журнал. - 2017. - № 1. - С. 3-7.
- Корж, Е.Н. Совершенствование преподавания дисциплины «Химия» в высшей школе / Е.Н. Корж, Л.А. Яковишин, Е.В. Савченко // Булатовские чтения. - 2022. - Т. 2. - С. 223225.
- Hagverdiyev, K.N. Perspectives for sustainable development of chemistry education / K.N. Hagverdiyev // Национальная Ассоциация Ученых. - 2021. - № 36-4(63). - P. 19-20.
- Васюков, А.Е. Проблемные вопросы качества выпускных квалификационных работ бакалавров по направлению подготовки 04.03.01 Химия / А.Е. Васюков, В.М. Ларионова, С О. Пустовит // Школа будущего. - 2021. - № 4. - С. 44-61.
- Зимовец, А.В. Анализ эффективности использования систем типа «Антиплагиат» для проверки уровня оригинальности научных студенческих работ / А.В. Зимовец, О.С. Семерий // Актуальные проблемы современной экономики. Математические методы, модели и информационные технологии: Сборник докладов XVIII научно-практической конференции преподавателей, студентов, аспирантов и молодых ученых, Таганрог, 14-15 апреля 2017 года. - Таганрог: Таганрогский институт управления и экономики, 2017. -С. 163-166.
- Калдузова, А.А. Значение системы «Антиплагиат» в оценке оригинальности научных достижений студентов / А.А. Калдузова // Педагогический журнал. - 2022. - Т. 12, № 6-2. - С. 899-904.
- Петров П.К. Математико-статистическая обработка и графическое представление результатов педагогических исследований с использованием информационных технологий: учеб. Пособие / П.К. Петров. - 2-е изд., испр. и доп. - Ижевск: Удмуртский университет, 2016. - 176 с. - [Электронный ресурс]. - Режим доступа: https://lfk.sportedu.ru/sites/lfk.sportedu.ru/files/mat.statistika_posobie_petrov.pdf (дата обращения: 13.07.2024).
- Основные статистические критерии. - [Электронный ресурс]. - Режим доступа: https://disshelp.ru/blog/osnovnye-statisticheskie-kriterii-neparametricheskij-kriterij-kraskela-uollesa-h-kriterij-kraskela-uollisa-odnostoronnij-dispersionnyj-analiz-kraskela-uollisa-kruskal-wallis-one-way-analysis-of-varia/ (дата обращения: 13.07.2024).
- Kruskal-Wallis Test Calculator. - [Электронный ресурс]. - Режим доступа: https://www.socscistatistics.com/tests/kruskal/default.aspx (дата обращения: 13.07.2024).
- Математические методы обработки данных. - [Электронный ресурс]. - Режим доступа: https://www.psychol-ok.ru/statistics/mann-whitney/ (дата обращения: 13.07.2024).
