Реализация требований стандартов третьего поколения с помощью методики количественного и качественного анализа результатов тестирования

Внедрение федеральных государственных образовательных стандартов третьего поколения (далее – ФГОС-3) в учебную деятельность вузов – процесс довольно длительный. Он требует не только глубокого переосмысления формы подачи материала, но и изменения средств контроля качества обучения студентов. В первую очередь это касается реализации принципа преемственности дисциплин. Безусловно, те сты как форма контрольно-измерительных материалов позволяют осуществить моментальный срез знаний, но оценить уровень владения компетенциями, а также качество знаний с помощью обычного тестирования невозможно.

Однако предлагаемая методика позволяет сделать выводы о перспективном изменении содержания дисциплины с целью соответствия требованиям ФГОС-3 и начальному набору компетенций для изучения последующих дисциплин. Отметим, что непосредственно перед применением авторской методики тестовые задания должны пройти внутреннюю экспертизу на предмет отсутствия логических ошибок, допущенных при их составлении. Без этой процедуры невозможно гарантировать корректность интерпретации результатов тестирования.

Авторская методика состоит из двух взаимосвязанных блоков. Первый – количественный анализ результатов тестирования – выявляет задания и разделы дисциплины, которые делают процесс тестирования статистически неуправляемым. На административном уровне это означает, что либо задания по степени сложности не соответствуют интеллектуальному потенциалу обучающихся, либо соответствующие элементы компетенций не сформированы на нужном уровне. В первом случае проблема решается адаптацией степени сложности заданий под уровень знаний студентов. Во втором случае необходимо пересматривать сам процесс формирования компетенций.

Второй блок – качественный анализ результатов тестирования – позволяет выявить разделы дисциплины, которые, по мнению преподавателей преемственных дисциплин, не позволяют сформировать компетенцию в полном объеме. По результатам качественного анализа происходит коллегиальная перестройка содержания дисциплины.

Рассмотрим применение авторской методики статистического анализа банков тестовых зада-ний1 (далее – БТЗ) на примере БТЗ по дисциплине «Статистика», разработанного для студентов экономических направлений, обучающихся в НОУ ВПО Центросоюза РФ «Сибирский университет потребительской кооперации».

Дисциплина «Статистика» была выбрана нами для исследования в силу ряда причин. Во-первых, она закладывает фундамент для усвоения дисциплин специализации студентов экономических профилей. Во-вторых, статистика изучается студентами практически всех направлений. В-третьих, по ней накоплено достаточно результатов тестирования. Расчет необходимого количества результатов тестирования, гарантирующего достоверность полученной информации, производился по формуле:

П л2 • М- ’

Д • min —- t = v..k N;

где t – нормированное отклонение, определяемое по таблице нормального распределения вероятностей; σ ² – дисперсия наблюдаемых результатов тестирования; Δ – предельная ошибка; k – количество разделов² в БТЗ; M_i – количество выбранных заданий из раздела; N_i – общее количество заданий в разделе.

Основной целью количественного анализа результатов тестирования является определение тестовых заданий, делающих БТЗ непригодным для использования, и их корректировка. Этот блок основывается на нетрадиционных для тестологии методиках: интегральной оценке разделов БТЗ и оценке тестовых заданий с помощью карт Шухар-та. Методика интегральной оценки подробно описана в работах Н.B. Шаланова [1; 2].

Для расчета интегральной оценки разделов последовательно вычисляются:

• 1)    относительная мера достижения i -м разделом эталонного значения¹:

  

  m

  
  

где ^xj

– фактическое значение меры труд- ности j-го задания; m – количество заданий в i-й теме БТЗ;

• 2)    весомость (значимость) i -го раздела в интегральной оценке БТЗ:

A a'=—"           (3)

• 3)    интегральная оценка всего БТЗ, состоящего из n разделов:

Интегральная оценка всего БТЗ позволит сделать вывод об общем уровне сложности имеющихся заданий. Пригодным считается БТЗ, для которого рассматриваемый показатель равен 60– 70% [3]. В таблице 1 представлена интегральная оценка разделов исследуемого БТЗ. Интегральная оценка самого БТЗ с ⁰ = 44,3%, это свидетельствует о том, это студенты справлялись менее, чем с половиной заданий.

Таблица 1

Раздел	Относительная мера достижения эталонного значения β i	Beсомость раздeла в интeгральной оцeʜкe БТЗ α i , %
1.1. Основныe опрeдeлeʜия	0,55904	6,65
1.2. Статистичeскоe наблюдeʜиe	0,49483	5,89
1.3. Абсолютныe и относитeльныe ʙeличины	0,44521	5,30
1.4. Срeдниe ʙeличины	0,41824	4,98
1.5. Показатeли вариации	0,51526	5,75
1.6. Bыборочноe наблюдeʜиe	0,50545	6,01
1.7. Ряды динамики	0,45098	5,37
1.8. Индeксы	0,37945	4,51
1.9. Статистичeскоe изучeʜиe связи мeжду явлeʜиями	0,54580	6,49
2.10. Статистика насeлeʜия	0,52203	6,21
2.11. Статистика рынка труда	0,38536	4,46
2.12. Статистика национального богатства	0,52151	5,99
2.13. Статистика отраслeй экономики	0,38938	4,63
2.14. Статистика издeржeк производства и обращeʜия	0,31619	3,76
2.15. Статистика финансов	0,49541	5,65
2.16. Статистика уровня жизни	0,33093	3,94
2.17. Систeма национальных счeтов	0,48615	5,78
2.18. Статистика покупатeльского спроса	0,37653	4,48
2.19. Статистика инфраструктуры коммeрчeской дeятeльно сти	0,38041	4,15
Сумма	8,51816	100,00

1 За эталонное значение принимается единица, так как в идеальном случае все испытуемые на каждое задание раздела должны были дать правильный ответ.

Оценка меры трудности разделов БТЗ по дисциплине «Статистика»

При анализе данных таблицы 1 обратим внимание на разделы, интегральная оценка которых находится в верхней и нижней квартилях соответственно. Разделы, занимающие серединное положение, не нужно рассматривать, так как задания, находящиеся в них, особо не влияют на тестовые баллы испытуемых.

Разделы, внесшие наименьший вклад в тестовые баллы, – 2.11, 2.14, 2.16, 2.18, 2.19. Они, скорее всего, содержат задания, которые составлены с логическими ошибками или слишком сложны для студентов. Разделы, внесшие наибольший вклад в тестовые баллы, – 1.1, 1.6, 1.9, 2.10, 2.12. Предположительно, они включают задания, которые содержат подсказку для студентов или являются слишком легкими для них.

Выделенные разделы подлежат дальнейшему анализу с помощью карт Шухарта. Цель контроль- ных карт – выявить задания, которые находятся в статистически неуправляемом состоянии, т.е. на которые было слишком много правильных или неправильных ответов. Поскольку стандартные значения для меры трудности тестовых заданий установить не представляется возможным, то при построении карт Шухарта целесообразно использовать следующую формулу контрольных границ для альтернативного признака [4]:

• V П

где р – средняя доля испытуемых, справившихся с заданиями раздела БТЗ; n – число испытуемых, которым было предъявлено рассматриваемое задание.

Рассмотрим построение и анализ карт Шухар-та на примере разделов 1.1 и 2.16 (см. табл. 2, 3).

Таблица 2

Контрольная карта Шухарта для раздела 1.1 «Статистическое наблюдение»

Номер тестового задания	Число студентов, чел.	Число студентов, ответивших на задание, чел.	Мера трудности	Нижняя контрольная граница меры трудности	Верхняя контрольная граница меры трудности	Фактическая мера трудности входит в заданный интервал (да / нет)
1	58	42	0,72	0,34138	0,73417	да
2	45	18	0,40	0,31481	0,76075	да
3	40	32	0,80	0,30128	0,77427	нет
4	43	22	0,51	0,30968	0,76587	да
5	37	21	0,57	0,29188	0,78367	да
6	23	12	0,52	0,22590	0,84966	да
7	80	18	0,23	0,37055	0,70500	нет
282	22	15	0,68	0,21889	0,85666	да
283	27	14	0,52	0,24993	0,82563	да
284	75	48	0,64	0,36507	0,71049	да

Таблица 3

Контрольная карта Шухарта для раздела 2.16 «Статистика уровня жизни»

Номер тестового задания	Число студентов, чел.	Число студентов, ответивших на задание, чел.	Мера трудности	Нижняя контрольная граница меры трудности	Верхняя контрольная граница меры трудности	Фактическая мера трудности входит в заданный интервал (да / нет)
226	31	18	0,58	0,07402	0,57945	нет
227	26	1	0,04	0,05079	0,60268	нет
228	35	10	0,29	0,08890	0,56457	да
229	21	5	0,24	0,01969	0,63378	да
230	22	8	0,36	0,02675	0,62672	да
231	17	2	0,12	0,00000	0,66799	да
232	16	13	0,81	0,00000	0,67850	нет
233	18	3	0,17	0,00000	0,65838	да
234	16	6	0,38	0,00000	0,67850	да

Отметим, что при составлении карт Шухар-та для некоторых заданий нижние контрольные границы меры трудно сти были отрицательными, мы заменили их минимальным (нулевым) значением.

При расчете контрольных границ в таблице 2 за среднюю долю студентов, справившихся с заданием ( р ), было принято значение 0,53778. Как видно из таблицы, мера трудности заданий 3 (80%) и 7 (23%) не входит в контрольные границы карт Шухарта. Автору надлежит усложнить задание 3, изменив форму его представления. Низкая мера трудности задания 7 может быть вызвана его неоднозначностью для студента или наличием других правильных вариантов ответа, которые не предусмотрел автор.

В таблице 3 при расчете контрольных границ для раздела 2.16 за среднюю долю студентов, справившихся с заданием ( р ), было принято значение 0,32673. В заданный картой интервал не входят задания 226 (58%), 227 (4%) и 232 (81%), их также следует адаптировать под среднюю меру трудности заданий раздела.

После подобного анализа автору необходимо изменить выявленные задания, затем провести повторное тестирование, которое позволит выяснить, стал ли процесс тестирования по БТЗ статистически управляемым. Количество испытуемых для повторного тестирования также рассчитывается по формуле (1).

Администратору образовательной системы количественный анализ результатов тестирования позволит получить измерительный инструмент, оценивающий уровень знаний, формирующих компетенции. Однако данный анализ не может помочь сделать вывод о том, как реализуется междисциплинарное формирование компетенций. Для этого предназначен второй блок авторской методики – качественный анализ результатов тестирования , основной целью которого является выявление разделов дисциплины, недостаточное знание которых мешает формированию компетенций. Для реализации указанной цели сопоставляются результаты тестирования и удовлетворенность преподавателей.

Оценить уровень удовлетворенности можно, рассчитав индекс удовлетворенности в соответствии с методикой Customer Satisfaction Measurement (CSM) на основе анкетирования потребителей. Представление полученных результатов производится графически по аналогии с методикой КАЧОБРУС (КАЧество ОБРазовательной УСлуги) [5]. Рассмотрим этапы качественного анализа результатов тестирования на примере БТЗ по дисциплине «Статистика» для специальностей 080105.65 «Финансы и кредит», 080502.65 «Экономика и управление на предприятии».

• 1.    Составление анкеты . Для сбора анализируемой информации используется анкета, в которой преподаватели должны оценить важность знаний студентов и удовлетворенность знаниями по о сновным разделам БТЗ по пятибалльной шкале, которая совпадает с традиционной шкалой оценки при обучении («1» означает, что изучение раздела не важно для смежной дисциплины).

• 2.    Проведение опроса преподавателей смежных дисциплин. Нами были опрошены преподаватели, работающие со студентами специальностей «Финансы и кредит» (20 человек) и «Экономика и управление на предприятии» (18 человек). Разделы 1.2 и 2.19 были исключены из анкетирования, так как они практически не используются при изучении других дисциплин. При обработке результатов анкетирования рассчитывался индекс

• 3.    Проведение тестирования студентов .

• 4.    Графическая интерпрет ация полученных результатов. Она производилась с помощью элементов методики КАЧОБРУС. Результаты тестирования откладывались по оси абсцисс, индекс удовлетворенно сти – по оси ординат (см.

удовлетворенности по каждому разделу как отношение удовлетворенности преподавателей по- лученными знаниями студентов к важности этих знаний для дальнейшего обучения. Средневзвешенный индекс удовлетворенности вычисляется по формуле:

где S_i – средневзвешенный индекс удовлетворенности знаниями студентов по i -ому разделу; S_i – среднее значение удовлетворенности знаниями студентов по i -ому разделу; I_i – среднее значение важности знаний по i -ому разделу.

Для комплексной оценки удовлетворенности преподавателей уровнем знаний студентов выбранной специально сти рассчитывался интегральный уровень удовлетворенности как сумма S_i . Полученные значения индексов для специальности «Финансы и кредит» – 3,11, для специальности «Экономика и управление на предприятии» – 3,01. Таким образом, удовлетворенность преподавателей знаниями студентов-финансистов в целом немного выше, чем экономистов.

рис. 1, 2*). При этом точка пересечения осей имеет координаты: по оси абсцисс - 0,4 (граница «неудовлетворительной» и «удовлетвори тельной» оценок по анализируемому тесту); по оси ординат - 0,7 (значение, рекомендованное Н. Хиллом [6]).

II четверть             1,5 - 1,4 - 1,3 ■ 1,2 ■ 1,1 " 1,0 - 0,9 ■ 1.7    1.5 1.8         0,8 ■ 2.14	Индекс удовлетворенности преподавателей                       I четверть ж 2.72 ♦ 2.77   * ♦ 2.70 13  2Л1#2Л5   *2.18 ♦/.7 *1.6 ♦ 2.13
0,2            0.3 2.76      0 0,6 - 0,5 ■ 0,4 ■ 0,3 ■ 0,2 ■ III четверть 0,1 -	4 * 19     0.5           0.6           0,7           0.8 Результаты тестирования IV четверть

Рис. 1. Матрица качества знаний студентов специальности «Экономика и управление на предприятии» по дисциплине «Статистика»

II четверть 2 ц    * 1,5 - ♦       1,3 - 2.76 1,2 - 1,0 - 2.73 1.7            0,9 - ,5 /    ~ ♦	Индекс удовлетворенности     j четверть преподавателей ♦ 2.12 2.10 *2.18 *2.17 * 13  ♦7 7 2.14 1.8   *1.6 ♦ 2.75
0,0     0,1     0,2     0,3     0 1.9   ^6 " 0,4 - 0,3 - III четверть 0,1 ~	4     0.5     0.6     0,7     0.8     0.9     1.0 Результаты тестирования IV четверть

Рис. 2. Матрица качества знаний студентов специальности «Финансы и кредит» по дисциплине «Статистика»

уровне. II четверть указывает на разделы, качество которых удовлетворяет преподавателей, однако результаты тестирования неудовлетвори- тельны, что может быть обусловлено чрезмерно трудными заданиями теста. III четверть указывает на разделы, обучение по которым не удовлетворяет преподавателей других дисциплин, и это подтверждается низким уровнем знаний студентов. B IV четверти находятся разделы, которые студенты осваивают на хорошем уровне, однако удовлетворенность преподавателей при этом низкая. По этим разделам нужен анализ качества составления тестов. Возможно, задания являются слишком легкими, поэтому знания студентов оцениваются высоко.

Отметим, что при применении качественного анализа результатов тестирования необходимо основываться на следующих допущениях:

• 1.    Шаланов Н.В. Концептуальный подход к формированию цены на инновационный продукт. Новосибирск, 2010.

• 2.    Шаланов Н.В. Концепция оценки объекта нематериальных активов с позиции рыночного подхода. Новосибирск, 2010.

• 3.    Майров А.Н. Теория и практика создания тестов для системы образования. М., 2001.

• 4.    ГОСТ Р 50779.42-99. Статистические методы. Контрольные карты Шухарта. М., 2004.

• 5.    Новаторов Э.В. Качобрус: маркетинговый инструмент для измерения качества образовательных услуг // Маркетинг. 2001. №6 (61). С. 54–67.

• 6.    Хилл Н., Брайерли Дж., Мак-Дуголл Р. Как измерить удовлетворенность клиентов / пер. с англ. М., 2005.