Мониторинговые исследования при диагностике структуры знаний обучаемых

В статье приводятся результаты диагностики структуры знаний выборки студентов на основе тестовых технологий. Сравнительный анализ экспериментальных данных, полученных в результате текущего и итогового контроля, позволил авторам обнаружить количественные изменения уровня обученности студентов, выделить качественные и количественные показатели уровня формирования структуры знаний обучаемых, выявить пробелы при ее формировании и на основе этого наметить пути для дальнейшего повышения качества учебного процесса.

Современная государственная политика по обеспечению качества профессионального образования в России предусматривает решение целого комплекса проблем, стоящих перед высшей школой. Среди них можно выделить проблему оценки качества высшего образования, а именно оценки качества подготовки специалистов, в том числе диагностики формирования у них структуры знаний. Анализ проводимых педагогических исследований в высшей школе показывает, что совершенствование методов и средств изучения различных сторон деятельности обучаемого идет медленно из-за отсутствия научно обоснованных процедур по проведению наблюдений и экспериментов. Необходим переход от субъективных и только качественных описаний педагогических явлений и процессов к более объективным и количественным их оценкам на основе технологий, разработанных на базе ква-лиметрического и тезаурусного подходов и включающих в себя и диагностику структуры знаний обучаемых1.

Технологию диагностики, базирующуюся на методологии педагогической квалиметрии, тезаурусном подходе с использованием тестовых измерителей, можно назвать квалитативной, так как она предполагает оценку качества обучения. Специфическая особенность педагогической квалиметрии — превращение качественного психолого-педагогического описания образовательного процесса в количественное, содержащее эмпирически определяемые характеристики, которые поддаются сравнению с эталонными величинами.

В отличие от квалиметрии диагностика предполагает качественный анализ полученных эмпирических данных, что позволяет поставить тот или иной диагноз состояния учебного процесса. Отслеживание диагностических данных на протяжении всего исследуемого процесса привело к возникновению термина «мониторинг». Под педагогическим мониторингом понимается форма организации сбора, хранения, обработки и распространения информации о деятельности педагогической системы, обеспечивающая непрерывное слежение за ее состоянием и прогнозирование ее развития2.

Педагогический мониторинг охватывает все структурные элементы и их системообразующие связи в педагогической системе и играет важную роль в ее функционировании и дальнейшем разви- тии. Мониторинг структуры знаний обучаемых, являющийся одной из составляющих педагогического мониторинга, обеспечивает постоянное наблюдение за состоянием обученности студентов или учащихся, что способствует принятию своевременных управленческих решений и составлению достоверных прогнозов в учебном процессе.

Чтобы реализовать прогностические возможности мониторинга, необходимо воспользоваться не только диагностическими, но и квалиметрическими методами. Диагност должен делать выводы о качестве образовательного процесса и перспективах его дальнейшего развития на основе данных об уровнях достижений обучаемых или результатах тестирования, количественно сравнивая полученные показатели с эталонными (например, требованиями ГОС, рабочей программы курса, ЕГЭ и т. д.).

Мониторинговое исследование на основе квалитативной технологии диагностики было выполнено при сравнительном анализе результатов текущего и итогового контроля знаний студентов по теме «Кинематика колебаний». Исследование проводилось на кафедре физики Ижевской государственной медицинской академии. Выборка составила 125 случайно отобранных студентов I курса лечебного, педиатрического и стоматологического факультетов. Целью исследования являлось сравнение качества формирования структуры знаний при проведении практического занятия (текущий контроль знаний, который проводится в конце занятия) и качества формирования структуры знаний перед экзаменом (итоговый контроль через 5 мес. на основе результатов тестового контроля).

В основу технологии разработки педагогических тестов были положены научные принципы дидактической тестологии3.

Тест для диагностики структуры знаний студентов состоял из 4 вариантов, в каждом из которых было 30 тестовых заданий (ТЗ), распределенных по трем уровням сложности. ТЗ I уровня предполагали узнавание формул, законов, наличие представления о свойствах, явлениях и знания условных обозначений, единиц измерения, констант (10 заданий); ТЗ II уровня включали типовые расчеты по формулам, качественную и количественную оценку свойств, явлений (И заданий); ТЗ III уровня предусматривали применение знаний свойств, явлений, законов для решения практических задач, задач, требующих умения аналитически мыслить, самостоятельно разрабатывать алгоритм решения, задач по трансляции и трансформации знаний (9 заданий).

Для определения содержания педагогического теста использовался учебный тезаурус медицинской и биологической физики4.

Основой для конструирования теста является спецификация, представленная таблицей-матрицей, в которой в одном столбце расположены виды диагностируемых знаний и соответствующие классы дескрипторов учебного тезауруса медицинской и биологической физики, а в другом — уровни сложности ТЗ5.

Структура теста представлена в табл. 1.

Таблица 1

Структура теста «Кинематика колебаний»

Вид диагностируемых знаний	Класс дескрипторов	Общее число дескрипторов в ИСС*	Количество дескрипторов в тесте	Уровень сложности ТЗ
				I	II	Ш
Ф актуальные	Понятия	21	18	24	2
Классификационные	Классификации	2	2	4
Системные	Формулы	6	6	12	20	4
Системные	Законы	3	3		10	16
Алгоритмические	Графические объекты	10	4		12	16
Общее количество		42	33	40	44	36

* ИСС — информационно-семантическая структура (учебный тезаурус медицинской и биологической физики).

На основании матрицы распределения тестовых результатов и использования математического аппарата теории Item Response Theory была проведена оценка статистических параметров, характеристик теста и испытуемых.

С помощью вычисленного критерия уровня структуры знаний (у, который рассчитывается по формуле Y=XjB, где

X - индивидуальный балл испытуемого; В — максимально возможное количество баллов, которые может получить испытуемый при выполнении всего теста) построены диаграмма распределения студентов по уровню структуры знаний (рис. 1) и диаграмма формирования среднего уровня структуры знаний студентов (рис. 2).

Рис. 2. Диаграмма формирования среднего уровня структуры знаний

Диаграмма распределения студентов по уровню структуры знаний показывает, что их успеваемость понизилась на

• 6,4 %, показатель качества (процент студентов с «полной» и «достаточной» структурой знаний) —на 15,4 %.

Оценим полученные результаты на основании вычислений объема диагностируемых знаний с учетом фактора забывания.

• — Объем диагностируемых знаний N у вычислим по формуле

Ny=Ny/N^

где Ny — число базовых дескрипторов у-го модуля учебной дисциплины z-го вида диагностируемых знаний; N ■ — общее число дескрипторову-го модуля учебной дисциплины (число Ny — определяется методом групповых экспертных оценок, N_sj — на основании требований ГОС соответствующей дисциплины).

Объем диагностируемых знаний с учетом фактора забывания Ny определим по формуле

Ny = Ny exp(-Xyty), где exp^-Xyty) — фактор забывания; Ху — скорость «забывания» z-го вида знанийу-го предмета (определяется экспериментально либо расчетным путем)6; tу — время забывания диагностируемых знанийу-го модуля учебной дисциплины.

Ху = 0,02 мес."¹; I, = 5 мес.;

N у =33/42 = 0,79;

ехр(-Л,уДу) = ехр(-0,02 мес. 1 • 5 мес.) = 0,9;

Ny =0,79 0,9 = 0,71.

Через 5 мес. объем знаний по теме «Кинематика колебаний» уменьшился примерно на 10 %. Это подтверждается экспериментальными данными рис. 1.

Сравнительный анализ текущего и итогового контроля представлен в табл. 2.

Таблица 2

Сравнительный анализ результатов диагностики текущего и итогового контроля знаний

Показатели		Вид диагностируемых знаний
		Ф актуальные, классификационные, системные (формулы)	Системные (формулы, законы), алгоритмические	Системные (формулы, законы), алгоритмические
Номер ТЗ		1—10	11—21	22—30
Уровень сложности ТЗ		I	II	III
Уровень структуры знаний уср	Текущий контроль	0,78 (достаточный)	0,87 (достаточный)	0,56 (удовлетворительный)
	Итоговый контроль	0,86 (достаточный)	0,54 (удовлетворительный)	0,46 (неудовлетворительный)
А = Yq, (итог.) - у@ (текущ.)		+0,08	-0,33	-0,10
Д = у - у . •max 'пип	Текущий контроль	0,09	0,41	0,24
	Итоговый контроль	0,13	0,52	0,06

Таким образом, мониторинговые исследования при диагностике структуры знаний на основе квалиметрического и тезаурусного подходов позволяют:

• —    провести сравнительный анализ уровня формирования структуры знаний студентов по результатам текущего и итогового контроля;

• —    получить качественные (с помощью матрицы тестовых результатов) и количественные (при вычислении критерия уровня структуры знаний у) показа

тели уровня формирования структуры знаний;

• —    выявить пробелы студентов в усвоении изучаемого материала по результатам анализа диаграммы формирования структуры знаний;

• —    сравнить объем знаний после практического занятия с объемом знаний по этой же теме через 5 мес., учитывая при этом фактор забывания знаний;

• —    наметить дальнейшие пути для повышения качества и эффективности

учебного процесса, а именно изменить методику проведения занятия, больше внимания уделить решению качественных и количественных задач.