A comparative analysis of the students' rating indicators made by computerized and written forms of assessment on “Mathematics”

Как известно, тестирование является одной из основных форм текущего контроля знаний. Практика применения выявила ряд преимуществ и недостатков данного вида контроля знаний. Рассмотрим это на примере дисциплины «Математика» Уфимского государственного нефтяного технического университета (УГНТУ). Сотрудниками кафедры математики УГНТУ разработаны учебно-методические комплексы (УМК) и контрольноизмерительные материалы (КИМ), размещенные на сайте www.rusoil.net (рис. 1) [15–19].

Тестирование студентов проходит в компьютерной форме. Задачи берутся из банка тестов, являющихся частью (КИМ), соз- данных сотрудниками кафедры «Математика» [15, 16, 18]. КИМ для студентов доступен на бумажном и цифровом носителях, что позволяет учащимся проработать материал самостоятельно.

Рассмотрим преимущества и недостатки тестового контроля [1, 4, 7, 8, 11, 14, 25, 26].

Во-первых, оперативность оценивания вследствие автоматизации контроля: оценка или балл выставляется после прохождения теста. И как следствие, во-вторых, оценка является более объективной, не зависящей ни от личности преподавателя, ни от отношения к обучаемому. В-третьих, экономия времени преподавателя (наличие базы тестов): препо-

Учебно-методическая литература Учебно-методические комплексы

Главная

История кафедры Состав кафедры

Учебная работа

□Учебно-методические I издания

Студенческие олимпиады Тестирование студентов Тренажер для студентов

Учебно-методический комплекс кафедры метематика

Раздел 1 "Линейная и векторная алгебра"

П Анонсы ,11

14.01.2016

УЧЕБНО - МЕТСДИЧЕС КОЕ ПОСОБИЕ " ЭЛЕМЕНТЫ ТЕОРИИ

ФУНКЦИЙ КОМПЛЕКСНОГО ПЕРЕМЕННОГО " 2015

ПОДРОБНЕЕ □

05.11.2015

Методические указания и контрольные работы для студентов заочной формы обучения экономических специальностей (III семестр)

ПОДРОБНЕЕ □

06 02.2015

Контрольные работы для студентов-заочников технических специальностей II семестр (ФГОСЗ+)

ПОДРОБНЕЕ □

07.10.2014

Тео ретические основы (.p df)

аЧЕбНОМСТОДИЧССКИИ КОМПЛЕКС дисциплины "Мотсматино"

Контрольно-измерительные материалы f.pdf)

Рис. 1. Сайт кафедры математики УГНТУ с размещенными УМК и КИМ даватель тратит время на проведение тестирования, но не на проверку. В-четвертых, такая проверка может проходить после изучения одного блока (модуля).

Однако следует отметить и минусы по сравнению с письменной формой контроля [9, 10, 12].

Во-первых, в связи с тем, что тесты в закрытой форме вида «множественный выбор», предусматривают выбор ответа из списка возможных, то нередки случаи угадывания. Особенно это касается тех задач, в которых возможно подстановка ответов в условие. От этого страдает качество обучения. Наличие теоретических знаний становится вероятностной величиной. Для снижения этой негативной стороны тест должен содержать наибольшее количество предложенных ответов (как минимум 4) или быть в открытой форме.

Открытая форма теста имеет ряд особенностей при компьютерном тестировании. Компьютер может учитывать реестр букв, учет точки или запятой при написании десятичных дробей, невозможность написания таких значений как бесконечность или иррациональных чисел. Составитель теста должен учитывать этот нюанс.

Во-вторых, невозможность проверки не- которых умений и навыков. Например: метода решения математической задачи, умений построения чертежа, рисунка.

В-третьих, студент может усвоить материал, уметь провести его анализ, выбрать правильный метод решения, но по определенным причинам допустить вычислительную ошибку. При письменной форме контроля преподаватель учитывает усвоение материала и снижает балл, но не аннулирует его полностью. При тестовом виде контроля такой студент ставится на уровень не усвоившего материал.

В-четвертых, правильность ответа зависит от выбора метода решения: например, задачи на вычисление интеграла. В результате студент может получить правильный результат, но среди предложенных ответов он не окажется. В итоге задача не засчитывается. Если же студенту предложить в условии метод решения, то тогда будет тяжело говорить о том, что сформирован навык самостоятельного поиска и выбора решения.

Таким образом, от составителя теста требуется наличие определенных навыков и умений по формированию тестов. Задания тестов должны проходить экспертную оценку на предметную чистоту, валидность и др. параметры [23, 24].

Рассмотрим особенности проверки знаний в форме тестов в письменной форме и при помощи компьютера. На кафедре «Математика» действует балльно-рейтинговая система (БРС) [22, 27], согласно которой текущий рейтинг студентов в семестре определяется по результатам выполнения им всех видов работ, предусмотренных рабочей программой дисциплины «Математика». В течение семестра за все виды работ учащийся набирает максимум 100 баллов. К рейтинговым видам работ относятся:

– расчетные задания;

– лабораторные работы;

– аттестационные тестирования.

Аттестационные тестирования (АТ) студентов проводятся во время аудиторных занятий. Каждый билет аттестационного тестирования включает тестовые задания различной сложности. Общая оценка в баллах представляет собой сумму баллов за каждую решенную задачу, согласно весовым коэффициентам в баллах соответствующих тестовых заданий.

Расчетные задания выполняются студентом самостоятельно во внеаудиторное время. Защита расчетных заданий производится во внеурочное время в форме компьютерного тестирования (КТ) в системе САТ АСУ ВУЗ университета. Структура билета составляется из банка мегатестов кафедры. В помощь студентам разработано пособие [13].

Содержание учебных модулей дисциплины «Математика» для студентов по направлению подготовки (специальности) БМА, БМК, БМЗ, БМП, БМР, БМС, БПБ, БЧС, ББП, БОС, БТП, БТБ, БТС, БТК, БГБ, БГР, БГГ, БГЛ, БГШ, ГЛ, ГФ, БАГ, БАТ, БАЭ, БПО, БУС, БГТ, БМТ, БСТ, БТЭ в 1 семестре (табл. 1, 2).

Таблица 1

Содержание учебных модулей 1 семестра дисциплины «Математика»

№ модуля	Содержание модуля	Отчетная работа	Максимальное количество баллов
1	Линейная и векторная алгебра. Аналитическая геометрия	Расчетные задания № 1 (КТ_1)	10
		Лабораторная работа № 1 «Решение систем линейных уравнений методом Гаусса»	5
		Аттестационное тестирование № 1 (АТ_1)	20
2	Введение в математический анализ. Дифференциальное исчисление функции одной переменной	Расчетные задания № 2 (КТ_2)	10
		Аттестационное тестирование № 2 (АТ_2)	20
2	Дифференциальное исчисление функции нескольких переменных	Расчетные задания № 3 (КТ_3)	10
		Лабораторная работа № 2 «Метод наименьших квадратов»	5
		Аттестационное тестирование № 3 (АТ_3)	20

Направления подготовки (специальности)

Таблица 2

Направление / специальность	Специализация / Профиль / Программа	Аббревиатура
Автоматизация технологических процессов и производств	Автоматизация технологических процессов и производств (в нефтяной и газовой промышленности)	БАГ
	Автоматизация технологических процессов и производств (в нефтепереработке и нефтехимии)	БАТ
Биотехнология	Биотехнология	БТБ
Геология	Геология	БГЛ
Информатика и вычислительная техника	Программное обеспечение средств вычислительной техники и автоматизированных систем	БПО
Машиностроение	Оборудование и технология сварочного производства	БМС

Окончание табл. 2

Направление / специальность	Специализация / Профиль / Программа	Аббревиатура
Нефтегазовое дело	Бурение нефтяных и газовых скважин	БГБ
	Эксплуатация и обслуживание объектов добычи газа, газоконденсата и подземных хранилищ	БГГ
	Эксплуатация и обслуживание объектов добычи нефти	БГР
	Эксплуатация и обслуживание объектов нефтегазового комплекса арктического шельфа	БГШ
	Эксплуатация и обслуживание объектов транспорта и хранения нефти, газа и продуктов переработки	БГТ
	Эксплуатация и обслуживание объектов транспорта и хранения нефти, газа и продуктов переработки	БМТ
	Сооружение и ремонт объектов систем трубопроводного транспорта	БСТ
Теплоэнергетика и теплотехника	Промышленная теплоэнергетика	БТЭ
Технологические машины и оборудование	Оборудование нефтегазопереработки	БМЗ
	Машины и оборудование нефтяных и газовых промыслов	БМП
	Машины и оборудование нефтяных и газовых промыслов	БМП
	Проектирование технических и технологических комплексов	БМР
Техносферная безопасность	Безопасность технологических процессов и производств	ББП
	Пожарная безопасность	БПБ
	Защита в чрезвычайных ситуациях	БЧС
Управление в технических системах	Системы и средства автоматизации технологических процессов	БУС
Химическая технология	Химическая технология природных энергоносителей и углеродных материалов	БТП
Химическая технология	Химическая технология органических веществ	БТС
Электроэнергетика и электротехника	Электрооборудование и электрохозяйство предприятий, организаций и учреждений	БАЭ
Энерго- и ресурсосберегающие процессы в химической технологии, нефтехимии и биотехнологии	Охрана окружающей среды и рациональное использование природных ресурсов	БОС
	Основные процессы химических производств и химическая кибернетика	БТК
	Машины и аппараты химических производств	БМА
	Машины и аппараты химических производств	БМК

При определении рейтинга студентов используется соотношение между рейтинговой и традиционной шкалами, приведенное в табл. 3. Таблица 3 Таблица соответствия между рейтинговой и традиционной шкалами			Таким образом, с учетом соответствия шкал можно сказать, что каждую работу студента можно оценить по 5 балльной шкале в соответствии с табл. 4. Таблица 4 Таблица соответствия процента от максимального балла по работе
Оценка студента по дисциплине				оценке по традиционной шкале
По рейтинговой шкале	По традиционной шкале			Оценка студента за работу
	С оценкой	Без оценки		Процент от максимально возможного балла	Оценка по традиционной шкале
86–100 баллов	Отлично	Зачтено
71–85 баллов	Хорошо
				86–100	Отлично
56–70 баллов	Удовлетворительно
				71–85	Хорошо
55 и менее баллов	Неудовлетворительно	Не зачтено		56–70	Удовлетворительно
				55 и менее	Неудовлетворительно

Проведем анализ двух видов работ студентов 1 курса 1 семестра: АТ и защита расчетных заданий в виде КТ. Рассмотрим показатели по пяти факультетам. В мониторинге успеваемости участвовало 49 групп, обучающиеся по унифицированной программе. В табл. 5 приведены средние значения рейтинговых показателей по АТ по каждому факультету, выраженные в процентах. В табл. 6 – средние значения рейтинговых показателей по КТ, % [5].

Таблица 5

Средние рейтинговые показатели АТ, %

№ факультета	АТ_1	АТ_2	АТ_3
1	49,16	49,02	51,26
2	48,57	50,18	45,72
3	55,35	52,55	67,33
4	49,91	45,42	57,32
5	57,71	60,92	69,50
Среднее по УГНТУ	52,14	51,62	58,23

Таблица 6

Средние рейтинговые показатели КТ, %

№ факультета	КТ_1	КТ_2	КТ_3
1	61,06	59,78	62,17
2	61,41	57,69	48,30
3	53,65	64,18	72,96
4	62,39	58,92	67,68
5	66,18	70,88	74,78
Среднее по УГНТУ	60,94	62,29	65,18

Данный материал послужил основой для проверки следующей педагогической гипотезы – результаты письменного контроля зависят от результатов предварительного тестового компьютерного контроля. Теснота связи априори неочевидна, так как каждая из форм контроля имеет свои преимущества и недостатки различного рода.

Рассмотрим изменение средних баллов в процентах от максимально возможного контрольных показателей КТ и АТ среди всех студентов (рис. 2).

Рассмотрим изменение количества студентов в процентном соотношении успешно выполненивших отчетные работы КТ и АТ (более 55 % от максимального бала) (рис. 3). По оси Оу отметим процент студентов выполнивших работы КТ и АТ успешно, по оси Ох – номер работы.

Вывод:

• 1.    По данным рис. 2 можно говорить о прогрессирующем характере успеваемости студентов. Более низкие результаты первых работ говорят об адаптивном периоде первокурсников к требованиям высшей школы и необходимости их поддержки в данный период [2, 3, 6].

• 2.    Успешность написания письменных работ напрямую зависит от успешности выполнения компьютерного тестирования, предшествующих АТ.

Проведем анализ изменений баллов обучающихся. Для анализа возьмем результаты без учета переписывания отчетных работ.

• 1    этап. Анализ входных данных и исключение результатов, не имеющих данных в баллах

  

  Рис. 2. График средних значений рейтинговых баллов по первому курсу

  
  

для проверки (отсутствие студента хотя бы 1 раз при выполнении работы), а также результатов с нулевыми входными данными. При анализе по факультетам данные лица не были исключены. Первоначальный список из 993 студентов сократился до 929 человек. Это позволит более достоверно проанализировать данные.

• 2    этап. Обработка данных по каждому студенту.

Для этого введем понятия: суммарного коэффициента успешности выполнения и средний коэффициент успешности.

Под суммарным коэффициентом успешности выполнения (СКУВ) по одному виду работ будем понимать число, равное отношению суммы значений за каждую работу на максимальную сумму, набирающиеся за эти работы.

Под средним значением коэффициента успешности (КУ) будем понимать среднее значение СКУВ.

Вычислим значения СКУВ контрольных тестирований Ki и аттестационных тестирований Ai для каждого студента, где i – порядковый номер студента. И найдем среднее значение коэффициента успешности КТ xK и АТ xА (табл. 7).

Рис. 3. Сравнительный график числа студентов, успешно выполнивших отчетные работы

Таблица 7

Таблица расчета значений СКУВ каждого студента

№ испытуемого	Результаты КТ			СКУВ КТ	Результаты АТ			СКУВ АТ
	1	2	3		1	2	3
Максимальный балл за работу	10	10	10		20	20	20
i	K i1	K i2	K i3	K ii + K i2 + K i3	A i1	A i2	A i3	Ai1 + Ai2 + Ai3 _ A
				30 K				A Al 60             i
Среднее значение коэффициента успешности	–	–	–	_ EK xK = i 1 n	–	–	–	n _ E A i xA = i 1 n

Примечание: n – количество испытуемых, Ki1, Ki2, Ki3 – результаты контрольных тестирований у i-го испытуемого, Ai1, Ai2 ,Ai3 – результаты аттестационных тестирований у i-го испытуемого;

nn

_ J Ki    _ Z Ai xK = —— = 0,61; xA = —— = 0,53.

nn

Таблица 8

Таблица для расчета изменений СКУВ КТ и АТ

№ испытуемого	СКУВ КТ	Отклонение СКУВ КТ от среднего значения КУ КТ=D 1	СКУВ АТ	Отклонение СКУВ АТ от среднего значения КУ АТ=D 2	Изменение СКУВ КТ и АТ
i	K i	K i - X K = D ii	A i	A i - XA = D 2i	D ii — D 2i

Таблица 9

Вариации результатов АТ и КТ, %

Процент отклонения результатов АТ и КТ	0 ± 5	10 ± 5	20 ± 5	30 ± 5	> 35
Количество студентов в процентном соотношении	20,8	33,8	24,7	10,5	10,2

Рис. 4. «Отличники» (отклонение СКУВ КТ от АТ)

Вывод: Значения среднего соответствуют оценке «удовлетворительно» по классической шкале, т. е. в среднем процесс обучения идет успешно. Вариация значений находится в рамках статистической погрешности.

• 3    этап. Подсчет отклонения СКУВ каждого вида работы от среднего значения КУ для каждого студента (табл. 8), вариации результатов АТ и КТ приведены в табл. 9. Отклонения изменяются от –1 до 1, при среднем значении равном 0.

Отклонения СКУВ КТ изменяются в диапазоне [–0,61; 0,39], СКУВ АТ – [–0,53; 0,47], изменение СКУВ КТ и АТ, соответственно в [–0,74; 0,81].

Вывод:

• 1.    Результаты АТ имеют меньший разброс относительно среднего значения, по сравнению с результатами КТ, что говорит о повышении степени устойчивости уровня знаний учащихся на втором этапе проверки.

• 2.    Среди студентов имеются те, у кого

СКУВ КТ и АТ отличаются более чем на 35 %. Данное обстоятельство может иметь в своей основе ряд причин, например – повышение мотивации к достижению лучших результатов после первой «неудачной попытки», нестабильность в занятиях по дисциплине и т. п. В любом случае, данный факт есть признак несформированности, нестабильности в процессе обучения [2, 6].

Проведем анализ визуальных данных первого и второго контроля по дифференцированным группам успеваемости (рис. 4–8).

Наиболее стабильными оказались наиболее и наименее успевающие студенты. Очевидно, причины стабильности диаметрально противоположны – относительно полное знание и незнание пройденного материала. Вариативность остальных групп указывает на нестабильность их состава, возможность стратификации в другие группы в зависимости от степени мотивации к улучшению своих рейтинговых показателей.

Рис. 5. «Хорошисты» (отклонение СКУВ КТ от АТ)

Рис. 6. «Троечники» (отклонение СКУВ КТ от АТ)

Рис. 7. «Двоечники» (отклонение СКУВ КТ от АТ)

Рис. 8. «Полностью неуспевающие» (отклонение СКУВ КТ от АТ)

Таким образом, на основе проведенных исследований, можно сказать, что вводимые характеристики результатов текущего контроля есть действенный инструмент в диагностике учебного процесса, с последующей его коррекцией в требуемом направлении.