Технологии компьютерного тестирования как элемент системы поддержки принятия решений в образовательной деятельности

Одним из положений Болонской декларации является содействие европейскому сотрудничеству в обеспечении качества с целью разработки сопоставимых критериев и методологий. Активное включение региональных вузов России в процесс интеграции в европейскую и мировую системы делает актуальными для них разработку, внедрение и совершенствование системы менеджмента качества образования.

Всякая система управления качеством в образовании должна быть основана на объективных показателях, влияющих на качество и адекватно характеризующих процесс обучения. В высшей школе такими формальными, легко измеряемыми и контролируемыми показателями выступают квалификационный состав преподавателей, площадь учебных аудиторий, обеспеченность учебными пособиями и т. д. Однако на качество самого обучения могут влиять и другие, как правило, скрытые факторы: ошибки в разработанных рабочих программах, недостаточно высокий уровень квалификации конкретных преподавателей, невысокое качество учебных пособий по дисциплине и т. д.

Технологии компьютерного тестирования студентов при правильной организации анализа полученных результатов могут стать действенным инструментом выявления скрытых факторов, влияющих на уровень обучения, и эффективным средством повышения качества предоставляемых вузом образовательных услуг.

Преимущества тестирования — объективность, массовость, оперативность, сопоставимость результатов. Именно поэтому тестирование в последние годы становится основным методом итоговой оценки при контроле качества образования и применяется в форме ЕГЭ в школе или в форме федерального ин-тернет-экзамена (ФЭПО) в вузах.

Компьютерное тестирование как один из инструментов мониторинга качества образовательного процесса может использоваться на разных этапах обучения. Соответственно различны и требования, предъявляемые к тестам и методам анализа результатов тестирования. Выделим контрольные точки в процессе обучения, на которых использование компьютерных тестов представляется наиболее эффективным.

• 1.    Тестирование при проведении вступительных испытаний для отбора абитуриентов, имеющих необходимый начальный уровень знаний по предмету. Основной проблемой на данном этапе являются жесткие ограничения по защищенности и конфиденциальности банка тестовых заданий (БТЗ). При этом банк нельзя использовать многократно, а значит, по

• 2.    Входной контроль уровня знаний студентов в начале изучения дисциплины с целью выявления дидактических единиц, на которые при изложении материала курса следует обратить особое внимание.

• 3.    Текущее тестирование, используемое в процессе обучения как один из инструментов педагогического процесса. Оно должно не только оценивать степень освоения отдельными студентами и группой в целом изучаемого раздела дисциплины, но и давать возможность студенту самостоятельно повысить уровень знаний по данной теме или дисциплине.

• 4.    Итоговое тестирование по дисциплине, позволяющее проверить уровень знаний студентов на соответствие рабочим планам по изучению дисциплины.

• 5.    Тестирование по некоторым разделам одной дисциплины в рамках входного контроля по другой (дисциплине-преемнику) для оценки уровня остаточных знаний. Исследование темпа убывания остаточных знаний позволит так выстроить учебный план, чтобы максимально эффективно использовать и углублять (расширять) знания, полученные ранее.

• 6.    Полидисциплинарное тестирование на этапе государственной аттестации выпускников для оценки соответствия обученности студентов требованиям общества и предприятий-потребителей.

• 7.    Тестирование остаточных знаний студентов по отдельным дисциплинам в процессе аккредитации и лицензирования вуза.

лучать статистику для определения меры трудности заданий и выявления среди них «плохих». К тому же в роли экспертов и разработчиков банка тестовых заданий выступает один, причем очень ограниченный, круг лиц. В силу названной особенности полученные результаты, в отличие от результатов на следующих этапах учебного процесса, обладают наибольшей субъективностью.

Для реализации поставленных целей должны быть разработаны качественные БТЗ, хорошо структурированные, обла- дающие высокой валидностью, репрезентативностью и надежностью. Кроме того, в системе тестирования должен быть модуль аналитической обработки полученных результатов тестирования, обеспечивающий решение таких задач, как:

• 1)    предоставление статистики результатов по каждому тестовому заданию (количество предъявлений ТЗ — количество правильных ответов). На ос-

• нове полученных данных принимается решение о редактировании банка тестовых заданий;

• 2)    проведение сравнительного анализа результатов и выявление зависимостей результатов. Это позволит принимать решения по совершенствованию процесса преподавания дисциплины и оценки качества работы преподавателя.

Важными, на наш взгляд, являются следующие виды анализа:

• —    анализ результатов по отдельным

дидактическим единицам;

• — сравнительный анализ результатов входного и итогового тестирования;

— сравнительный анализ результатов темам и результата итогового тестирования;

— сравнительный анализ результатов итогового тестирования и входного те- стирования в рамках дисциплины-приемника.

В качестве примера приведем результаты сравнительного анализа оценок, полученных в четырех разных учебных группах при проведении традиционного устного экзамена в Саратовском госу- дарственном социально-экономическом университете, и оценок по этому же предмету при проведении федерального ин-тернет-экзамена. Для перевода в оценку результатов ФЭПО применялась шкала соответствия процентов освоенных дидактических единиц (ДЕ): оценке «отлично» соответствовало более 90 % освоенных единиц, оценке «хорошо» — более 75, «удовлетворительно» — более 50 %.

Результаты сравнительного анализа представлены на рисунке в виде коэффи циентов, показывающих, во сколько раз отличается количество каждой из оценок в этих двух формах итогового контроля. Коэффициент, равный единице, означает,

□ Группа 1     □ Группа 2    □ Группа 3

□ Группа 4

Коэффициент отличий результатов ФЭПО и устного экзамена

На основании вышеприведенных результатов можно сделать следующие выводы.

• 1.    Результаты экзаменов в группах 3 и 4 по двум разным формам практически совпадают.

• 2.    Для оценки «удовлетворительно» результаты совпадают во всех четырех группах.

• 3.    Результаты в группах 1 и 2 для оценок «неудовлетворительно» и «отлично» значительно различаются. Причинами такого расхождения могут быть несоответствие рабочей программы по дисциплине образовательному стандарту, недостаточно глубокое изложение отдельных ДЕ преподавателем, субъективизм преподавателя при проведении устного экзамена по дисциплине, недостаточный уровень подготовки студентов в группах для освоения всех дидактических единиц.

Так как преподаватель во всех группах был один и тот же, то наиболее вероятными причинами выявленных различий в итоговых результатах можно считать разный уровень подготовки студентов в группах и субъективизм экзаменатора. Если бы перед изучением дисциплины был проведен входной контроль уровня знаний студентов, то можно было бы обоснованно установить причины различий в оценке знаний студентов.

Дальнейший анализ результатов ФЭПО заключался в сравнении оценок, основанных на проценте освоенных ДЕ и проценте выполненных тестовых зада ний. Данный анализ показал, что в некоторых случаях наблюдается существенное расхождение в этих оценках. Например, процент выполненных студентом заданий составляет величину 46 («неудовлетворительно»), а процент освоенных ДЕ — 87 («хорошо»). Встречается и обратное соотношение. В этом случае возникает неопределенность, которая, видимо, должна разрешаться на основе обеих оценок. Можно предложить построение шкалы оценок с учетом общего количества ДЕ и с шагом, кратным проценту, приходящемуся на одну ДЕ. При этом за основу берется оценка, вычисленная из процента освоенных ДЕ, а процент выполненных заданий используется для ее корректировки.

Приведенный пример показывает, что информационные системы компьютерного тестирования, оснащенные модулем анализа результатов, позволяют оперативно получать объективные данные, необходимые в системах управления качеством образования. С учетом таких данных можно оперативно выявлять скрытые факторы, влияющие на качество обучения, и принимать обоснованные решения по совершенствованию учебного процесса в вузе.

ТЕСТОВЫЙ КОНТРОЛЬ ОБЩЕЕВРОПЕЙСКИХ КОМПЕТЕНЦИЙ: типология единиц социокультурной компетенции пользователя иностранного языка

С. Е. Балютина, аспирант Государственного института русского языка им. А. С. Пушкина (г. Москва), преподаватель русского языка как второго иностранного Государственного лицея им. Ламина Гея (г. Дакар, Республика Сенегал)

Растущая роль человеческого капитала как фактора экономического развития и увеличивающаяся социальная и индивидуальная потребность в знании иностранных языков выдвигают актуальное требование измерения, оценки и сертификации функциональной готовности к общению представителей разных языков и культур. В этих условиях одним из направлений развития современной российской лингводидактики является участие в создании общеевропейского культурнообразовательного пространства, ориентированного на единые цели обучения и