Оценка качества, эффективности и результативности знаний студентов

В работах [1-7] автором были рассмотрены вопросы актуальности знаний, компетентного обучения, формирования высокого уровня качества и прочных остаточных знаний обучающихся (школьников, студентов или нуждающихся в знаниях). Однако остается открытым вопрос о том, как численно определить реальный уровень знаний обучающегося, как связать его с доисторической пятибалльной или иной субъективной оценкой преподавателя.

Согласно ГОСТ Р ИСО 9000-2015:

качество: степень соответствия совокупности присущих характеристик требованиям;

характеристика: отличительное свойство; может быть присущей или присвоенной, качественной или количественной. Понятие «присущая» означает существование в чем-то, прежде всего, как постоянной характеристики. Присвоенная характеристика, например, цена, оценка по дисциплине и т.п. не является характеристикой качества объекта;

требования: потребность или ожидание, которое установлено, обычно предполагается или является обязательным;

Креативная экономика и социальные инновации Creative Economics and Social Innovations

Более жесткое, но схожее по пониманию определение дано в п. 3.12.1 Директивы ИСО/МЭК, ч. 2: требование – документально изложенный критерий, который должен быть выполнен, если требуется соответствие документу, и по которому не разрешены отклонения. В качестве таких документов выступают:

национальные стандарты, являющиеся методической и доказательной базой, позволяющей достигать и выполнять обязательные требования технических регламентов, а также устанавливающие характеристики продукции, выполнения работ или оказания услуг и т.д.

В сфере высшего образования стандартами качества являются ФГОС ВО, которые, как считает министерство позволяют оценить уровень качества знаний выпускников ВУЗа без присутствия численных критериев-эталонов;

Присущие характеристики, т.е. характеристики, которыми обладает конкретный объект или группа объектов являются измеримыми, определяются (измеряются) инструментальными методами, если имеют количественную форму представления (метрология, выборочный или сплошной контроль), или путем сравнения с базовым образцом (квалиметрия), экспертными методами и методами порядковых статистик, социологическими методами.

В общем стремятся к получению какой-то численной оценки частных, групповых или обобщенных показателей. Хотя в некоторых из перечисленных методов определения присущих характеристик присутствует некая неопределенность из-за отсутствия инструментальной экспрессности или вообще инструментальных методов. Это скорее «нечеткая определенность», позволяющая получить иногда неплохое приближение к требуемому результату определения характеристики с прилагательными, такими как плохой, хороший, отличный или превосходный, но опять же в сравнении с принятым или используемым для оценки эталоном. В нашем случае это коллективное мнение членов ГЭК и ГАК или преподавателя, или комиссии по дисциплине после получения двух неудов.

Следует отметить, что требования к результатам обучения практически не содержат четко сформулированных требований кроме общих фраз типа: способность к подготовке данных для составления обзоров, отчетов и научных публикаций на основе анализа научно- технической информации, обобщения и систематизации данных; и другие аналогичные перлы [8].

Следовательно, требования аналогичных стандартов, в которых не содержатся четкие, численно обоснованные и доказанные критерии, показатели и ориентиры не могут служить для критериальной оценки качества знаний выпускника, а результаты итоговой государственной аттестации не являются адекватной оценкой его знаний и готовности к успешной профессиональной деятельности.

Из приведенного выше стандарта:

эффективность : соотношение между достигнутым результатом и использованными ресурсами;

Креативная экономика и социальные инновации Creative Economics and Social Innovations результативность: степень реализации запланированной деятельности и достижения запланированных результатов.

По мнению автора, эти характеристики можно определить численно, если в качестве ресурса взять время, выделенное на прохождение семестрового раздела дисциплины и проделанную студентами работу. Данный подход можно распространить практически на любые дисциплины.

Каждый преподаватель математики предварительно составляет свой план работы на семестры и программу(ы) на дисциплину «Математический анализ» в зависимости от специальности. Подробно и исходя из средних возможностей студентов группы отводится время на прохождение и закрепление материала каждого раздела, темы и оценку знаний по теме (в форме классной контрольной работы (ККР) без использования смартфонов). Также учитываются выходы к «доске» для решения равноценных задач по каждой теме (правильное решение: +1 балл, не правильное решение или отказ от выхода: -1 балл, отсутствие на практическом занятии (ПЗ) – 0 баллов).

Свои знания по теме студенты получают на лекциях, домашней проработке материалов учебника и решений домашних задач из задачника с ответами. За эту самостоятельную работу студентов (СРС) баллы не начисляются. Помимо этого, преподаватель решает типовые задачи на доске за время (часть времени) практических занятий и дает «легкие» подсказки на ПЗ.

В каждом семестре в соответствии с учебным планом присутствуют еще два контрольных домашних задания (КДЗ) в форме решения задач.

Каждое КДЗ должно защищаться с присвоением баллов за правильно решенные каждой задачи. А дальше происходит оценка эффективности работы и усваивания знаний по дисциплине студентами за семестр.

Поясним расчет эффективности работы студентов с помощью примера.

В табл. 1, которая является частью общей таблицы, сформированной деканатом группы студентов, представлены балльные значения всех вышеперечисленных автором подходов для получения студентами знаний.

Находится суммарное значение заработанных каждым студентом баллов и сравнивается с максимально возможным (и запланированным) значением. На каждой ККР у всех студентов разные варианты, а каждое КДЗ также содержит до 30 вариантов, так что совпадения задач практически отсутствуют.

Каждый год составляются новые ККР и КДЗ. Защита КДЗ каждым студентом практически исключает «заказные работы» и повышает объективность контроля знаний.

Следовательно, оценку эффективности работы студентов можно рассчитать по следующей словесной формуле: эффективность работы студентов в семестре равна частному от деления суммы заработанных студентом баллов на максимально возможное количество баллов, которое можно заработать в семестре (результаты расчета табл. 1).

Креативная экономика и социальные инновации Creative Economics and Social Innovations

Таблица 1. Балльная оценка и эффективность работы студентов за семестр (фрагмент)

Раздел	Р1	Р1	Р2	Р2	Р3	Р3	Р4	Р4	КДЗ 1 max 12	КД З 2 max 12	∑ бал	Эф. %
Ф.И.О.	П	К1	П	К2	П	К3	П	К4
Абыкакбов	0	2,0	1	2,5	2	3,0	3	4,0	8	10	35,5	65
Дуболобов	-1	0,5	1	2,0	2	3,0	3	3,5	6	8	28,0	51
Ляпкин	0	1,5	2	2,5	2	3,5	3	4,0	9	10	37,5	68
Умнов	3	3,5	4	4,0	2	4,5	3	5,0	12	12	53,0	96
Хитров	1	1,5	3	2,5	1	4,0	3	4,0	10	11	42,0	76
Честнов	2	3,0	3	3,0	2	5,0	4	5,0	12	12	51,0	93
…

Условные обозначения: Р1, Р2, Р3, Р4 – номера разделов; К1(максимум баллов – 4), К2 (максимум баллов – 4), К3 (максимум баллов – 5), К4 (максимум баллов – 5) – классные контрольные работы (ККР) по соответствующим разделам; П – сумма баллов за практические занятия (ПЗ) по разделам; КДЗ 1 – максимальное количество баллов равно 12 (6 задач по 2 балла каждая); КДЗ 2 – максимальное количество баллов равно 12 (6 задач по 2 балла каждая); ∑ – суммарное количество баллов студента, набранных за работу в семестре; Эф. – эффективность работы студента по дисциплине в семестре.

Оценивать результативность работы студента в семестре лишь по результатам экзамена (дифференцированного зачета) некорректно из-за того, что эта оценка в большинстве случаев носит случайный характер и связана с вероятностью.

Общая оценка по дисциплине должна складывается из работы в течение семестра и экзаменационной оценки, так как работа в семестре является детерминированной и может достаточно точно и строго определена.

Интегральная оценка за экзамен должна учитывать сумму баллов, собственно, за сам экзамен и баллов, заработанных студентом за работу в семестре. Предложим следующий метод расчета результативности.

Максимальное значение баллов, которое студент может набрать в семестре при добросовестной работе – 55 (сумма баллов за все ПЗ плюс сумма всех максимальных значений всех ККР и КДЗ: 15 + 4 +4 +5 +5 +12 + 12 = 55 баллов.

Предположим, что на экзамене студент может получить 50% от зарабатываемого в семестр максимума баллов. В нашем случае это с учетом округления до целого числа:

55 × 0,5 ≈ 28 баллов

Почему 50%? Иногда в жизни (болезнь, инвалидность, уход за больным, тяжелая семейная ситуация и т.п.) не позволяет полноценно обучающемуся посещать занятия и работать вне дома. Но самостоятельная домашняя работа над дисциплинами позволит выполнить принятый в мировой практике 50% требуемый порог для положительного решения по вопросу аттестации.

Максимум обычно получают очень хорошо подготовленные студенты. В среднем эта величина составляет ~ 18-24 балла.

Креативная экономика и социальные инновации Creative Economics and Social Innovations

Максимальная интегральная оценка в баллах за экзамен в нашем случае составит 55 + 28 = 83 балла или 100%. Для перевода баллов в общепринятые (неудовлетворительно, удовлетворительно, хорошо, отлично) оценки удобно использовать логарифмические шкалы, часто применяемые в научных исследованиях, т.е. функциональную связь вида:

ln (пятибалльной оценки) = f (доля максимума балльного значения), (1) где ln – натуральный логарифм; f – некая аппроксимирующая функция.

В нашем случае эту функциональную связь удобно представить в форме: (пятибалльной оценки) = exp (2(доля максимума балльного значения)), (2) где exp – число e = 2,718281828… в степени, указанной в скобках.

В результате получим следующее (с учетом округления и некоторого сдвига вниз в пользу студентов):

удовлетворительно - (40-60) баллов;

хорошо – (60-71) балл;

отлично – (71 и выше) баллов.

В экзаменационных билетах максимально: 6 баллов за полный ответ по каждой из четырех решенных задач и 4 балла за полный ответ на вопрос по теории: 6 × 4 + 4 = 28 баллов.

Аналогично можно найти интервальное соответствие десятибалльной оценке, а также характеристики эффективности и результативности при других значениях баллов. Главное, чтобы решаемые задачи имели равноценные или близкие балльные «стоимости». При этом предложенный подход достаточно легко распространяется на разные балльные «стоимости».

Представленные методики измерения эффективности и результативности позволяют, уйти от пресловутой системы надуманных, очень неточных и тенденциозных оценок отдельных преподавателей.

Следует отметить, что уровень оценок по практическим заданиям по специальным предметам, как правило, показывает кругозор и глубину знаний студента, умение быстро сконцентрироваться на восприятии задания и наличие способности погрузиться в его выполнение в одиночку или обсуждать вдвоем, не отвлекаясь по сторонам, используя имеющиеся индивидуальные особенности. Это было представлено и обосновано в нескольких работах [9, 10, 11].

Если в практических занятиях используются интенсивные образовательные технологии (ИОТ), то оценки могут усложняться, так как при применении ИОТ можно фиксировать одновременно несколько параметров [12, 13].

Игровые средства позволяют обучаемым выйти за короткое время на важные содержательные результаты, а тренинговые - позволяют восстановить потерянные в процессе обсуждения идеи и точки зрения, но и рассмотреть поведенческие аспекты, и зафиксировать социальные, педагогические и психологические результаты, и оценить позиционную динамику обучаемых [14, 15, 16].

Креативная экономика и социальные инновации Creative Economics and Social Innovations

Таким образом, выбранные критерии качества образования в ВУЗах позволяют оценить уровень качества образования. При этом следует пользоваться различными методами определения отдельных показателей для выдвижения тех или иных критериев на ведущие роли в зависимости от предметной или профессиональной области.