Исследование качества теста по теме «Операционное исчисление»: анализ дискриминативности и валидности
Бесплатный доступ
В статье представлено исследование качества педагогического теста по теме «Операционное исчисление» курса высшей математики. Исследование основано на принципах классической теории тестов и является продолжением ранее выполненной работы, посвящённой оценке надёжности данного теста. Основное внимание уделяется анализу двух ключевых характеристик: дискриминативности и валидности. Для оценки валидности отдельных тестовых заданий применялся точечный бисериальный коэффициент корреляции, который отражает связь между результатами выполнения отдельных заданий и оценками студентов. Задания № 1, 3, 4 и 10 показали низкие значения корреляции, что указывает на необходимость их доработки или замены. Однако общий коэффициент валидности теста составил 0,52, что свидетельствует о его высоком уровне. Дискриминативность заданий оценивалась с помощью индекса дискриминативности, рассчитанного как разность долей правильных ответов в группах студентов с наивысшими и наименьшими общими баллами. Все задания показали положительные значения коэффициента (от 0,14 до 0,89), что подтверждает способность теста дифференцировать учащихся по уровню подготовки. При этом задание № 10 имело низкий бисериальный коэффициент корреляции (0,171), что позволяет рекомендовать его исключение из теста. Среднее значение коэффициента дискриминативности теста составило 0,54, что также указывает на то, что исследуемый тест обладает удовлетворительными характеристиками в целом.
Педагогический тест, повышение качества теста, коэффициент корреляции, коэффициент валидности, коэффициент дискриминативности
Короткий адрес: https://sciup.org/148333323
IDR: 148333323 | УДК: 378.14 | DOI: 10.37313/2413-9645-2026-28-106-14-19
Study of the quality of the test on the topic «Operational calculus»: analysis of discrimination and validity
The article presents a study of the quality of the pedagogical test on the topic «Operational calculus» of the course of higher mathematics. The study is based on the principles of classical test theory and is a continuation of the previously performed work on assessing the reliability of this test. The focus is on the analysis of two key characteristics: discriminativity and validity. To assess the validity of individual test tasks, a point biserial correlation coefficient was used, which reflects the relationship between the results of individual tasks and student evaluations. Tasks 1, 3, 4 and 10 showed low correlation values, indicating the need to refine or replace them. However, the overall validity of the test was 0,52, which indicates its high level. The discriminativity of tasks was assessed using the discriminativity index, calculated as the difference in the proportions of correct answers in groups of students with the highest and lowest overall scores. All tasks showed positive coefficient values (from 0,14 to 0,89), which confirms the ability of the test to differentiate students according to the level of training. In this case, the task № 10 had a low biserial correlation coefficient (0,171), which allows us to recommend its exclusion from the test. The mean value of the discriminative coefficient of the test was 0,54, which also indicates that the test. The test has satisfactory characteristics in general.
Текст научной статьи Исследование качества теста по теме «Операционное исчисление»: анализ дискриминативности и валидности
EDN: RRVYHT
Введение. Эффективным инструментом для оценки уровня освоения учебного материала является тестирование, позволяющее быстро и достаточно точно определить степень понимания предмета. Однако разработка тестовых заданий сама по себе не гарантирует объективности оценки. Задания должны быть тщательно структурированы и сбалансированы по уровню сложности. Для этого необходимо проанализировать качество разработанных тестов и при необходимости внести изменения, чтобы повысить их эффективность.
В статье «Исследование надежности педагогического теста «Операционное исчисление» [Судакова С.А., с. 1794] был проведен анализ надежности данного теста. Результаты исследования выявили, что для улучшения качества теста следует пересмотреть несколько заданий, а именно задания под номерами 1, 3 и 10. В данной работе исследование продолжено: основное внимание уделяется другим ключевым характеристикам качества теста – валидности и дискриминативности.
Методы исследования. В соответствии с классической теорией тестов для определения коэффициентов валидности и дискриминативности используются методы «математической статистики» [Ана-стази А., с. 133, Звонников В.И., с. 125, Ким В.С., с. 95, Crocker L., с. 321, Lord F.M., с. 151, Richard H.Williams, с. 114].
Для определения коэффициента валидности теста необходимо сначала вычислить точечные бисе-риальные коэффициенты корреляции r j . Эти коэффициенты позволяют установить статистическую связь между каждым заданием и индивидуальным баллом студента. Вычисления производились с использованием формулы j _ X1 - X 0 I n1 'n 0
r pb = 1 , (1)
s x \ n ( n - 1)
где X – средний индивидуальный балл студентов, которые справились с данным заданием;
X – средний индивидуальный балл студентов, которые не справились с данным заданием;
n 1 – количество студентов, которые справились с данным заданием;
n 0 – количество студентов, которые не справились с данным заданием;
n – общее количество студентов;
s x – стандартное отклонение для индивидуальных баллов всех студентов [Звонников В.И., с. 156, Ким В.С., с. 112, Лиманова Л.В., с. 143 а, Лиманова Л.В., с. 35 б]
Согласно критериям классической теории тестов, значения точечных бисериальных коэффициентов корреляции для качественного задания должны составлять не менее 0,5 [Ким В.С., с. 118, Челыш-кова М.Б., с. 319].
Общий показатель валидности теста определяется по формуле
1 A rpb = ^Е rPb , (2)
где М – количество заданий в тесте.
Согласно данным А. Анастази и В.С. Ким [Анастази А., с. 163, Ким В.С., с. 118], данный показатель интерпретируется следующим образом: уровень валидности считается низким при значениях от 0,2 до 0,3, средним – в диапазоне от 0,3 до 0,5, а значения выше 0,5 характеризуются как высокий уровень валидности.
Еще одной важной характеристикой при оценке качества тестовых заданий является дискримина-тивность, то есть способность задания разделять студентов на группы «лучших» и «худших». Этот критерий позволяет выявить задания с определенными недостатками в их формулировке или со-держании1.
Для оценки дискриминативности заданий r j применялась формула rduck = P\ - P0 , (3)
где p j – доля правильных ответов на задание в группе из 27% студентов с наивысшими общими баллами («лучшая» группа);
p j – доля правильных ответов на задание в группе из 27% студентов с наименьшими общими баллами («худшая» группа) [Карпенко А.П., с. 24, Лиманова Л.В., с. 143 а, Лиманова Л.В., с. 35 б].
Значения этого коэффициента принадлежат отрезку [–1; 1]. Значение rj = 1 достигается, если все испытуемые «лучшей» группы (27% с наивысшими баллами) отвечают на j -задание верно, а все испытуемые «худшей» группы (27% с наименьшими баллами) отвечают на него неверно, т.е. задание корректно отделяет сильных студентов (все решили) от слабых (никто не решил). Значение rj = 0 соответствует ситуации, когда одинаковое количество студентов из обеих групп успешно решают это задание. Значение rj = –1 наблюдается в обратной ситуации: все испытуемые «худшей» группы решают j -задание верно, а все испытуемые «лучшей» группы – не справляются с ним. Следовательно, задания с отрицательными значениями коэффициента дискриминативности ( rj < 0) не выполняют свою дифференцирующую функцию и подлежат исключению или замене.2
Кроме того, уровень дискриминативности можно оценить с использованием точечного бисери-ального коэффициента корреляции rpjb [Звонников В.И., с. 139, Lord F.M., с. 329]. Если для j -задания значение r j < 0,2, то такое задание рекомендуется из теста исключить.
Результаты исследования . В качестве объекта исследования рассматривался тест текущего контроля знаний по разделу «Операционное исчисление» (дисциплина «Математика») для студентов Самарского государственного технического университета (СамГТУ). Тест относится к закрытому типу и включает 10 заданий (таб. 1), каждое из которых содержит пять вариантов ответа, один из которых правильный.
Для анализа, как и в работе С.А. Судаковой [Судакова С.А., с. 1794], была сформирована выборка из 120 письменных работ студентов электротехнического факультета. На этапе предобработки данных 32 работы были исключены, так как не несли диагностической информации о качестве теста: к этой категории относятся работы студентов, выполнивших все задания без ошибок, а также работы, в которых не было дано ни одного правильного ответа.
Таб. 1 . Тест по теме «Операционное исчисление» (Test on the topic «Operational calculation»)
|
№ |
Задания |
|
1. |
Какие из указанных функций являются оригиналами? A) e (1+5 i)t ; Б) —; В) t 3. (Здесь и далее считать f (t ) = 0 при t < 0.) t — 3 Ответы: 1) А, Б; 2) А, Б, В; 3) А, В; 4) Б, В; 5) В |
|
2. |
Найти изображение для оригинала t - sin10 1 Ответы: 1) p 2 — 100 ; 2) --- 20--- ; 3) 10 p ; 4) —20 p — ; 5) — 20 p ( p 2 +100)2 ( p 2 +100)2 ( p 2 +10)2 ( p 2 +100)2 ( p 2 +100)2 |
|
3. |
1 - e - 9 1 Найти изображение для оригинала t Ответы: 1) ln- p - ; 2) ln 9 p ; 3) ln- p - ; 4) ln p 9 ; 5) ln p +9 p + 9 p + 9 p — 9 p p |
|
4. |
e — 7 p Найти оригинал для изображения p — 25 Ответы: 1) ch (5 t — 35); 2) 1 sh (5 1 — 35); 3) sh (5 1 — 7); 4) 1 sh(5t — 7) ; 5) ch(5t — 7) |
|
5. |
Найти оригинал для изображения 1 ( p —10) 5 10 10 t 5 5 t 5 10 t 4 10 t 4 4 t t e te te te te Ответы: 1) ; 2) ; 3) ; 4) ; 5) 10! 10! 5! 4! 4! |
|
6. |
Найти свертку функций sin3 1 * cos t 3333 Ответы: 1) —(cos t — cos3 t ); 2) —(c°s t — cos3 t ); 3) — (cos3 t — cos t ); 4) —(cos3 t — cos t ); 3 5) — (cos3 t + cos t ) |
|
7. |
Найти изображение свертки функций e6‘ * ( t — 13) 4 п 4! e "p 4! e"p 7. 5! e 13 p 4! e13 p 5! e ~13 p Ответы: 1) ; 2) ; 3) ; 4) ; 5) p ( p — 6) p ( p + 6) p ( p — 6) p ( p + 6) p ( p — 6) |
|
8. |
3 t 3 Решить дифференциальное уравнение 3 y — y = -t 2 — , y (0) = y (0) = 0 26 33444 Ответы: 1) t 6 ; 2) 1 t 8 ; 3) 1 t 2 ; 4) t 6 ; 5) 2 t 4 |
|
9. |
t Решить интегральное уравнение y ( t ) + 3 J sin( t — t ) y ( t ) d т = — 4cos t 0 Ответы: 1) — 2sin2 1 ; 2) 2sin t ; 3) — 4cos2 t ; 4) 4cos t ; 5) cos2 t |
|
10. |
t Решить интегро-дифференциальное уравнение y ' - y + J e 1 t -т )у ( т ) d т = 0, у (0) = 1 0 Ответы: 1) 2 1 + 1; 2) 4 1 + 1; 3) 1 - 2 1 ; 4) 1 - 4 1 ; 5) t + 1 |
Для оценки валидности теста по формуле (1) были рассчитаны точечные бисериальные коэффициенты корреляции для каждого задания (табл. 2). В соответствии с критериями А. Анастази и В.С. Ким [Анастази А., с. 163, Ким В.С., с. 118], значения rj должны быть не ниже 0,5. Однако, как следует из таблицы, данному условию не соответствуют задания № 1, 3, 4 и 10.
Общий коэффициент валидности теста, вычисленный по формуле (2), равен 0,52, что свидетельствует о высокой валидности теста в целом.
Таб. 2 . Точечные бисериальные коэффициенты корреляции r j (Point biserial correlation coefficients)
|
Номер задания |
A3 |
A1 |
A2 |
A6 |
A4 |
A7 |
A5 |
A8 |
A9 |
A10 |
|
rp j b |
0,361 |
0,434 |
0,649 |
0,564 |
0,374 |
0,595 |
0,585 |
0,772 |
0,647 |
0,171 |
Для анализа дискриминативности для каждого задания по формуле (3) были вычислены коэффициенты rj (табл. 3). Анализ данных показывает, что для всех заданий индексы rj имеют положительные значения (от 0,14 до 0,89). Это означает, что тест корректно дифференцирует испытуемых: более подготовленные студенты справляются с заданиями успешнее, чем менее подготовленные.
Подтверждает хорошую дифференцирующую способность теста и среднее значение коэффициента дискриминативности ( r диск = 0,54).
Таб. 3 . Индексы дискриминативности (Indexes of Discriminativity)
|
Номер задания |
A3 |
A1 |
A2 |
A6 |
A4 |
A7 |
A5 |
A8 |
A9 |
A10 |
|
j диск |
0,28 |
0,34 |
0,66 |
0,65 |
0,41 |
0,65 |
0,66 |
0,89 |
0,76 |
0,14 |
Анализ точечных бисериальных коэффициентов корреляции, представленных в таблице 2, показывает, что все задания, за исключением № 10, имеют значения r j > 0,2. Низкое значение коэффициента для задания № 10 свидетельствует о его недостаточной дискриминативности и рекомендуется его исключить из теста.
Выводы. Таким образом, в результате проведенного исследования качества теста «Операционное исчисление» можно сформулировать следующие выводы:
-
1) Тест обладает высоким значением общего коэффициента валидности. Однако анализ валидности каждого задания с помощью точечных бисериальных коэффициентов корреляции выявил, что не все задания соответствуют экспертным критериям. В первой части исследований [Судакова С.А., с. 1794] было указано на необходимость корректировки третьего и десятого задания либо их замены. Текущий анализ коэффициентов r j показал, что пересмотра также требуют задания № 1 и 4.
-
2) Среднее значение коэффициента дискриминативности также указывает на хорошую дифференцирующую способность теста. Вычисленные индексы rj для каждого задания являются положительными, что удовлетворяет необходимым требованиям. Однако дополнительный анализ с использованием точечных бисериальных коэффициентов корреляции выявил, что задание № 10 не соответствует критериям экспертов. Поэтому его рекомендуется удалить из теста.
Следовательно, представленный тест по высшей математике обладает удовлетворительными характеристиками в целом, но требует доработки отдельных заданий (№ 1, 3, 4, 10) для повышения его диагностической точности и надежности.
