Количественная оценка качества обучения

Качество обучения – понятие многогранное. Но поскольку в основе процесса обучения лежит дидактика, а в дидактике коренным звеном является усвоение учебного материала, то при оценке качества обучения ограничимся оценкой усвоения учебного материала.

В последнее время в дидактике достаточно прочно утвердился численный показатель усвоения учащимся учебного материала в виде:

где l - показатель усвоения, m - фактический объем учебного материала, усвоенного учащимся, n - полный объем учебного материала, предписанного для усвоения.

В то же время даже в простейших случаях возможен вариативный подход к его определению. Например, учащемуся предписано выучить наизусть гимн России, а он запомнил только одну строфу (припев). Чему равен показатель усвоения?

Гимн России

Россия - священная наша держава!

Россия - любимая наша страна!

Могучая воля, великая слава -Твое достоянье на все времена.

Славься, Отечество наше свободное -Братских народов союз вековой.

Предками данная мудрость народная. Славься, страна! Мы гордимся тобой! От южных морей до полярного края Раскинулись наши леса и поля.

Одна ты на свете! Одна ты такая!

Хранимая Богом родная земля.

Славься, Отечество наше свободное -Братских народов союз вековой.

Предками данная мудрость народная. Славься, страна! Мы гордимся тобой! Широкий простор для мечты и для жизни,

Грядущие нам открывают года.

Нам силу дает наша верность Отчизне.

Так было, так есть и так будет всегда!

Славься, Отечество наше свободное -

Братских народов союз вековой.

Предками данная мудрость народная. Славься, страна! Мы гордимся тобой!

В гимне 6 строф, 4 – оригинальных, из них одна повторяющаяся трижды (припев). Если ориентироваться на количество строф (без повтора) запомненных (m) и предписанных (n), то I = ^ = 0,25 . Если же ориентироваться на количество букв со знаками препинания и пробелами в указанных строфах, то I = Щ ~ 0,351 . Отличным будет и показатель, вычисленный в байтах. В листе, содержащем одну строфу (припев), компьютер фиксирует 10 376 байтов, в листе, содержащем 4 строфы, - 11 032 байта, в чистом листе – 10 059 байтов. Таким образом, на одну строфу (припев) приходится: m=10 376-10 059=317 байтов, на 4 строфы: n=11 032-10 059=973 байта, и, следовательно, Z = Щ ~ 0,326. На что ориентироваться?

Предпочтительным является информационный подход – в байтах. Он предполагает инструментальный, не зависимый от человека, а следовательно, объективный подход. Но главным является регламентация процесса определения данного показателя. В приведенном примере регламентируется то, что учитываться должны только оригинальные строфы. Регламент должен быть оформлен документально. Проще всего это достигается с помощью тестирования. В тесте регламентируется задание, способ получения контрольного результата и сам результат. Приведение результата к информационному виду в байтах бывает иногда затруднительным, но в тех случаях, когда это возможно, ему следует отдать предпочтение.

Более сложным показателем является показатель уровня усвоения учебного материала. Как правило, в отечественном образовании различают 4 уровня: 1-й уровень - уровень знакомства, 2-й уровень - уровень воспроизведения, 3-й уровень - уровень знаний, умений и навыков и 4-й уровень - уровень творчества. Первый уровень оценивается цифрой 2 (неуд.) и грозит отчислением из вуза, второй – 3 (уд.) и сохраняет право студента на обучение, третий – 4 (хор.) предполагает наличие стипендии и четвертый – 5 (отл.) предполагает наличие повышенной стипендии, рекомендацию в аспирантуру и т.д. Как обстоит дело с количественным показателем уровня усвоения учебного материала?

Для определения количественного показателя уровня усвоения учебного материала необходим модульно-рейтинговый подход. Рассмотрим его на примере модульно-рейтинговой системы, используемой в Саратовском государственном аграрном университете [1].

Модуль – организационно-содержательная единица – охватывающая учебный материал, имеющий относительно самостоятельное значение и включающий в себя, как правило, несколько близких по содержанию тем или разделов курса.

Рейтинг – количественный показатель S , имеющий ступенчатое построение. Общий рейтинг по дисциплине складывается из входного, рубежных, выходного (экзамена или зачета) и творческого рейтингов. При этом входной рейтинг S(1) , оценивающий исходный уровень подготовленности студента, составляет не более 0,1 от общего рейтинга. Рубежный рейтинг (S(2))I – результат промежуточного контроля по каждому i -ому модулю дисциплины, проводимого с целью оценки уровня знаний, умений и навыков студентов по результатам изучения модуля. Суммарный результат рубежных рейтингов S( ₂ ) = X !- ^S^ ) ) i составляет не более 0,5 от общего рейтинга. Выходной рейтинг S(3) – результат аттестации на окончательном этапе изучения дисциплины по итогам сдачи зачета или экзамена. Он составляет не более 0,3 от общего рейтинга. Творческий рейтинг S(4) – результат выполнения студентом индивидуального творческого домашнего задания. Он составляет не более 0,1 от общего рейтинга. Итого

S=0,1 S(1)+0,5 S(2)+0,3 S(3)+0,1 S(4)                          (2)

Количественный показатель k каждого рейтинга варьировался следующим образом: k1 =2 (неуд.), k1 0,60, k2 =3 (уд.), 0,60≤ k2 ≤0,73, k3 =4 (хор.), 0,74≤ k3 ≤0,87, k4 =5 (отл.), 0,88≤ k4 ≤1,00. Количественный показатель S общего рейтинга также варьировался аналогичным образом: S1 =2 (неуд.), S₇ < 0,60, S2 =3 (уд.), 0,60< S2 <0,73, S₃ =4 (хор.), 0,74< S₃ <0,87, S4 =5 (отл.), 0,88< S4 <1,00.

В зачетную книжку в качестве итогового показателя за семестр по каждому предмету выставляется количественный показатель S общего рейтинга. Поэтому особый интерес представляет увязка S c k и l , то есть S=S(k,l).

Реализация каждого показателя на каждой дисциплине зависела от специфики дисциплины. Ниже приводится пример реализации этих показателей на дисциплине математика.

В математике такой расчет показателя усвоения учебного материала, как в примере с гимном, не состоятелен. Если студент запомнил теорему с отсутствием некоторых слов или словосочетаний, то это будет свидетельствовать о том, что он не понял сущность теоремы. Если студент в доказательстве теоремы пропустил некоторые звенья, то это будет свидетельствовать о том, что студент не владеет логикой доказательства. Поэтому показатели m не будут играть той роли как в примере с гимном.

В данном случае необходим другой подход. В тех случаях, когда текст представляет единое и строгое содержание (определение, теорема, доказательство и т.д.), то его информативное количество в байтах n определить можно, но показатель m может быть засчитан только в случае полного совпадения заданного текста и текста воспроизведения, то есть в том случае, когда l =1.

В математике большую роль играет формализация. Понятия обозначаются символами. Из символов формируются формулы. С формулами производятся математические операции. При компьютерном представлении формализованной математической сущности ее информативная составляющая может быть однозначно и объективно определена.

Например, определение предела функции в точке в формализованной форме выглядит так: lim f ( X )=Л⟸⟹(∃ 5 > 0)(∀ x ≠ %o)(| x - %o|< 5 →| f ( x )-Л|< £)․ X →

Объем этой формулировки: 11 007-10 059=948 байт. Ничего отбросить или добавить нельзя. Если студент получил такой показатель, то ему засчитывается знание предела функции в точке. Если студент усвоил 3 понятия (определения, теоремы и т.д.) из предписанных пяти, то показатель усвоения знаний будет: I =  =0,6. Так объективно контролируются знания.

Для объективного контролирования умений и навыков используется тестирование. Умение заключается в способности студента правильно использовать нужный метод при решении задачи, а навык в способности студента автоматически определить раздел математики, к которому относится этот метод.

Контрольные тесты должны отвечать требованиям валидности (адекватности тестируемого материала изучаемому учебному материалу) и надежности (унификации тестов по сложности и трудоемкости в рамках изучаемого учебного материала). Более подробное описание теории тестирования можно найти, например, в работах Ю.М. Неймана, В.А. Хлебникова, В.В. Овчинникова и др. [2-6]. Показатель усвоения умений и навыков определяется по количеству правильно решенных задач, помещенных в тесте. Если студент решил 6 задач из 10, то I = 0,6.

Связь S=S(k,l) в этом случае определяется следующим образом. Количественный показатель каждого рейтинга в j -й период kj определялся как среднее арифметическое значения для всех li за этот период. Количественный показатель рейтинга S(i) определялся по соответствию его значения среднему арифметическому значению показателей kj на данном этапе. И показатель общего рейтинга S в этом случае определяется по формуле (1).

Заполнение зачетной книжки при этом производится следующим образом. Если, например, S= 0,80, а семестровый курс составляет 90 учебных часов (30 часов лекций и 60 – практики), то в зачетную книжку в графе «Количество учебных часов» ставится 90, а в графе «Оценка» -«хор.» (72). Рейтинг (72) трактуется как то, что из предписанного учебного материала в объеме 90 учебных часов, студент освоил учебный материал в объеме 72 часов.

Такой подход позволяет объективно независимо от субъекта (преподавателя, контролера) с помощью, например, компьютера определить рейтинг (количественный показатель качества обучения) студента.

Ссылки:

• 1.    Положение о модульной системе обучения. О текущем контроле успеваемости и промежуточной аттестации обучающихся / сост. А.В. Дружкин. Саратов, 2005.

• 2.    Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. М., 2000.

• 3.   Овчинников В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М., 2001.

• 4.   Linden W.J., Hambleton R.K. Handbook of modern item response theory. New York, 1997.

• 5.   Crocker L., Algina J. Introduction to classical & modern test theory. Orlando, 1986.

• 6.   Lord F.M., Novick M.R. Statistical theories of mental test scores. MA, Addison-Wesley, 1967.