Разработка параметров количественной оценки ответов таксономического типа студентов-травматологов

Такую модель мы будем рассматривать в качестве языковой картины конкретной предметной области, в рамках которой протекает коммуникация. Оптимальным методом для формального описания такой модели мы считаем модифицированный идеографический метод Ю.Н.Караулова, расширенный нами путём применения теории графов3.

Цели и задачи. Цель данного исследования – показать, как расширенный нами идеографический метод Ю.Н.Караулова может быть применён для количественной и качественной оценки знаний учащихся. Задачи исследования: 1) вывести параметры количественной оценки знаний учащихся; 2) на основе эталонной модели предметной области рассчитать общее количество составных терминов в ней; 3) установить, какое количество составных терминов в ответе учащегося считается достаточным для положительной оценки его знаний.

Материал и метод. Материалом для нашего исследования послужили 343 ответа студентов 5го курса лечебного факультета Самарского государственного медицинского университета на вопрос о классификации повреждений таза. Все примеры ответов взяты из монографии А.Н.Кра- снова «Психолого-педагогические основы технологии открытого тестирования»4. В ходе исследования использованы следующие методы: 1) метод экспертных оценок имеющегося речевого материала (в качестве эксперта был приглашён кандидат медицинских наук, доцент кафедры травматологии и ортопедии); 2) тезаурусный метод; 3) метод когнитивной графики (графическое представление семантики предметной области с помощью идеографического метода и теории графов); 4) статистический метод.

Полученные результаты. В данной статье в качестве рабочего материала для разработки критериев количественной оценки будут использоваться составные термины, относящиеся к предметной области «Травматология. Повреждения таза». В общем и целом выбор предметной области не важен, поскольку основные принципы разработки этих критериев с одинаковым успехом смогут применяться для любой области знания. Основные принципы разработки этих критериев следующие: 1) определение общего количества языковых единиц (терминов), образующих лексико-семантическое пространство предметной области «Повреждения таза»; 2) подсчёт общего количества комбинаций этих единиц (т.е. составных терминов) с учётом сочетаемости с применением методов комбинаторики; 3) выявление необходимого количества таких составных терминов в ответе учащегося.

Для разработки параметров количественной оценки нам необходимо визуализировать лексико-семантическую структуру предметной области «Повреждения таза» по методу Ю.Н.Ка-раулова в виде графа. Такой граф мы будем называть эталонным. Он будет состоять из трёх субграфов, по количеству лексико-семантических групп, составляющих языковую картину данной предметной области (процесс построения этих субграфов был подробно освещён в предыдущих статьях)5.

Как следует из приведённых графов, признаковая ЛСГ представлена 30 терминами, из которых наиболее актуальными для нашего исследования являются 25 (начиная со 2-го уровня иерархии). Субъектная ЛСГ насчитывает 7 терминов на разных уровнях, а анатомическая ЛСГ -21 (из них для нас актуальны 20, начиная с 1-го уровня иерархии).

Полученная таким образом выборка лексических единиц позволяет нам посчитать общее число возможных их комбинаций (т.е. составных терминов). Вычисление основывается на основных правилах комбинаторики («и» - умножение, «или» - сложение). Центральными элементами расчёта будут лексические единицы, обозначающие виды повреждений костей: перелом (S 1-1-1 ), переломовывих (S 1-1-2 ) и вывих (S 1-1-3 ). Выбор именно этих элементов в качестве центральных позволит нам реализовать механизм ограничения числа возможных комбинаций по сочетаемости. Дело в том, что не все элементы из ЛСГ {P} сочетаются со всеми элементами из ЛСГ {S}, которые, в свою очередь, сочетаются не со всеми элементами из ЛСГ {A}. Поэтому мы не можем просто перемножить количество элементов в каждой группе друг на друга; следует проявить более тонкий подход, основанный на учёте сочетаемости. Границы этой сочетаемости были установлены в ходе консультации с предметником - врачом-травматологом.

Итак, начнём с вычисления количества комбинаций (т.е. сложных терминов) с термином перелом (S 1-1-1 ): 25(ЛСГ {P}) * 1(ЛСГ {S}) * 21(ЛСГ {A}) = 525. Как видно, с термином перелом сочетаются все элементы из признаковой и анатомической групп. Теперь перейдём к комбинациям с термином переломовывих (S 1-1-2 ): 21(ЛСГ {P}) * 1(ЛСГ {S}) * 7(ЛСГ {A}) = 147. Здесь мы видим, что с данным видом повреждений сочетаются только 17 признаков из ЛСГ {P} и всего 1 элемент из ЛСГ {А}. В данном случае мы впервые видим, как срабатывает механизм ограничения по сочетаемости.

Осталось вычислить число комбинаций с термином вывих (S1.1.3): 17(ЛСГ {P}) * 1(ЛСГ {S}) * 1(ЛСГ {A}) = 17. Подсчитаем общее число возможных комбинаций: 525 + 147 + 17= 689. Для сравнения: общее число возможных комбинаций без учёта сочетаемости: 25(ЛСГ {P}) * 3(ЛСГ {S}) * 21(ЛСГ {A}) = 1575. Т.о., число возможных комбинаций без учёта сочетаемости примерно в 2,3 раза больше, что сильно перегрузило бы наше исследование. Конечно, никоим образом не ожидается, что студенты будут приводить в своих ответах все 689 комбинаций. Существует разница между тем объёмом знаний, которым студент владеет, и тем, который он помещает в свой ответ. Будем отталкиваться от того, какой объём знаний должен присутствовать в ответе для получения положительной оценки знаний учащегося по данному предмету в целом. Т.о. мы сужаем границы и получаем реальные количественные параметры оценки ответа. В ходе консультации с врачом-травматологом, которые так- же занимается преподаванием, было установлено, что минимальное количество комбинаций в ответе учащегося равно 5. Оптимальным же количеством считается 14, такое число комбинаций позволяет в общем охватить всю предметную область.

Рис. 1. Эталонный граф предметной области «Повреждения таза»

Выводы. 1) Обозначенные нами параметры качественной и количественной оценки знаний учащихся в совокупности с выбранным нами способом репрезентации позволяют дать адекватную оценку этих знаний; 2) идеографическая репрезентация лексико-семантической структуры предмет- ной области даёт возможность обнаружить пробелы в знаниях студентов, а также позволяет выявить наиболее часто допускаемые ими ошибки. Анализ этих пробелов и ошибок поможет соответствующим образом скорректировать способ преподавания материала по данной дисциплине.

DEVELOPING PARAMETERS OF QUANTITATIVE EVALUATION OF STUDENTS’ TAXONOMIC-TYPE ANSWERS