Оценка анатомической составляющей в высказываниях таксономического типа

Содержанием ответа обучаемого на вопрос таксономического типа должны быть определяемые парадигмой обучения классы концептов, составляющие предметное содержание показанного в ответе знания. При оценивании знаний педагог сталкивается с рядом вопросов: по каким критериям оценить свободные высказывания студентов, описывающие ту или иную предметную область? насколько хорошо студент владеет профессиональной терминологией, насколько точно он называет концепты? что значит правильный/неправильный, или существенный/несущественный ответ? В этой связи возникает вопрос о степени соответствия ответа эталону. Наряду с терминологически точной номинацией, встречаются примеры использования нетерминологической (общеупотребительной, разговорной) лексики, номинация концептов может быть и дескриптивной. Безусловно, все речевые факты необходимо учесть, привести в систему и оценить с точки зрения предпочтительности того или иного способа наименования.

Затрудняет однозначность формулировок и тот факт, что для описания концептосферы предметной области различными специалистами нередко разрабатываются альтернативные классификации. Чаще всего при сохранении концептуального строя наблюдается лексикотерминологическая специфика той или иной научной школы. В данной ситуации педагог сталкивается с появлением дополнительных способов наименования принятых концептов, с синонимическими рядами, и в этом случае формируется иная (уже не эталонная) концептуальная модель. У конкретного языкового знака (иногда даже у термина) выявляется предметная полисемия. Например, в Универсальной класси-

фикации переломов термин «заднее полукольцо» называет иной концепт, чем в российских классификациях [4]. В этих условиях становится актуальной задача формирования эталонной концептуальной модели.

Общий подход к оценке качества ответа студента был разработан А.Н. Красновым в его монографии «Психолого-педагогические основы технологии открытого тестирования» [1]: чем большее количество объектов (концептов) названо правильно, тем выше уровень знаний обучаемого. Количественные границы оценки: нижняя граница – 0 (ничего не сказал; не назвал ни одного класса объектов); верхняя граница – N, когда обучаемый перечислил все концепты, составляющие данную предметную область. Качество ответа будет прямо пропорционально числу n, которое выражает процент правильно названных концептов из общего числа N, составляющих классификацию данной предметной области.

Таким образом, основные измеряемые параметры оценок : 1) соотношение правильности названных групп концептов, отражающих объективную реальность (язык-объект), и критериев, по которым данные группы выделены (объектный метаязык); 2) нарушение иерархической структуры концептуальной модели. В основе первого параметра лежит следующее суждение: если число названных в ответе групп строго соответствует числу правильно выделенных критериев, по которым эти группы формируются, то ответ будет связным (равен единице). Если же какая-то из групп сформирована неверно, и в ней оказывается задействовано несколько критериев из эталона (2 и больше), то показатель связности начинает падать.

Немаловажным оказывается соблюдение иерархической структуры концептуальной модели. Педагоги сталкиваются с таким типом нарушения иерархии, когда элементы, находящиеся в глубине эталонной классификации, в ответах поднимаются на её верхние уровни. Такие ошибки встречаются довольно часто. Иногда такого рода ошибки можно встретить даже в учебниках, написанных достаточно известными специалистами [5].

Анализ возможностей применения теории измерений к оценке качества ответов обучаемых показал, что абсолютная шкала измерений применяется только в одном случае – определении числа названных концептов. Часть показателей (коэффициенты эталонности ответа, коэффициент владения терминологией) носят принципиально качественный характер, и их численное выражение может быть получено только путём проекции системы качественных оценок на числовую шкалу. Наконец, показатели связности речи, характеризуя правильность формирования оппозиционных групп и неточности в иерархической структуре представлений отвечающего, могут, на наш взгляд, дать достаточно полную оценку ответа студента.

Итак, общая оценка качества ответа будет зависеть от следующих показателей: 1) от числа названных в ответе концептов данной предметной области; 2) от степени близости ответа к эталону; 3) от уровня владения предметной терминологией; 4) от показателя дискурсивности, или связности; 5) от соблюдения иерархической структуры концептуальной модели.

Для теоретического эксперимента был отобран 21 студенческий ответ по травматологии на вопрос: «Назовите классификацию повреждений таза». Экспериментальную группу составили 11 ответов, контрольную группу – 10 (среди них – слабые, средние и хорошие), показывающие уровень владения предметной терминологией . Сравним их с точки зрения числа n, или числа представленных в ответе классов. Дальнейший анализ выбранных ответов основан на прямом подсчёте числа названных в ответах анатомических объектов и оценке способа наименования концептов – введении коэффициентов оценки для групп концептов [1]. Определение величины коэффициентов значений для способов наименования концептов основано на эталонной близости и диахронии формирования тех или иных концептов и их имён в процессе обучения.

Для начала выбран анатомический корпус данных ответов. Всего названо 27 анатомических объектов, таких как «перёд», «зад» и «сторона» и др. Рассмотрим, к каким способам (правильным или неправильным) относятся деления опорного концепта «таз» и к каким когнитивным структурам, описывающим деление данной предметной области, их можно отнести. Начнём с качественного анализа. Неправильно учащимися были названы три объекта («внутреннее кольцо таза», «наружное кольцо таза» и «большое тазовое кольцо»), 24 объекта названы правильно.

Лексика, выделенная по критерию № 1 («передние», «задние», «боковые» отделы), составляет отдельную группу деления понятия «таз» «по областям», или «по отделам» (Кр1). Использова- ние слова «сторона», а также прилагательных «односторонние» и «двухсторонние» предполагает деление таза на правую и левую половины (или на стороны). Здесь используется принцип билатеральной симметрии. Как известно, такой способ восприятия реальности в процессе индивидуального развития формируется у человека позднее. Обозначим его как критерий № 2 (Кр2). Следующую группу, состоящую из 11 объектов, формируют названия костей, их частей и соединений. Данная группа усваивается студентами в процессе получения медицинского образования, и её можно назвать «специальной», она предполагает деление понятия «таз» на «кости таза» и «соединения костей таза». Это буквально подчёркивается выражением «отдельные кости», «сочленения» и «плоские кости таза». Данный тип деления формируется у студентов при изучении анатомии таза на основе предыдущих типов [3]. Обозначим его как критерий № 3 (Кр3). В различных дисциплинах приняты различные способы деления корневого понятия. Например, в акушерстве и гинекологии принято выделять «большой таз» и «малый таз» [2]. Наличие данного деления в сознании обучаемых и его влияние на содержание (ответов) считаем доказанным. Обозначим его как критерий № 4 (Кр4). Наконец, последняя группа названий усваивается студентами при обучении травматологии и ортопедии. Они описывают характерный именно для этой науки способ деления «таза»: «края таза», «тазовое кольцо», «вертлужные впадины» и их элементы [1]. Выделение этой терминологии проведём по критерию № 5 (Кр5).

Таким образом, мы описали критерии оценки использованных наименований анатомических элементов, формирующих представления отвечающего о данной предметной области. Лексика, выделенная по критериям 1 и 2, является общеупотребительной, или неспециальной. С ней студент приходит на обучение. Лексика, выделенная по критериям 3–5, является терминологической, усваиваемой в ходе обучения (см. рис. 1).

На основании этого можно оценить анатомическую составляющую базы знаний с целью формирования у педагога представлений о владении студентами терминологией предметной области. От качественной оценки наименований концептов перейдем к их количественной оценке.

Далее вводится интервал оценок: 0 – неправильные (не существующие) концепты, 1,0 – все существующие (правильные) концепты. Мы имеем пять подгрупп (кластеров) правильных наименований анатомических объектов. Введём «цену шага оценки»:1,0:5 = 0,2. Так мы фактически проецируем систему качественных оценок на цифровую шкалу в интервале 1,0 – 0,0 и получаем шестибалльную шкалу оценки использованной в ответе анатомической терминологии (см. табл. 1).

Следующий вопрос – это применимость данных коэффициентов для реальной оценки выска-

Рис. 1. Структура оценки названий концептов зываний. Для оценки примем следующий подход: качество ответа (Qop) прямо пропорционально числу правильно названных анатомических элементов (концептов) (О) с учётом оценочных коэффициентов (Ко). Иными словами, если вся использованная лексика принадлежит к одному кластеру, то Q = Ко х О. Если же лексика из разных кластеров, то Q = (К1 х О1) + (К2 х О2) + ... (Кп х Оп) - см. табл. 2.

Соотношение качества ответов в контрольной (К) и экспериментальной (Э) подгруппах показывает возможные в данном случае среднеарифметические оценки ответов по анатомической составляющей (О): Q _o(cp) (контрольные) = 2,1; Q _o(cp) (экспериментальные) = 2,9. Иными словами, несмотря на значительный разброс качества ответов, при оценке по данной методике средний ответ в экспериментальной подгруппе отвечавших

Таблица 1. Оценочные коэффициенты для анатомической базы знаний

Правильно	Неправильно
КР 5	Кр. 4	Кр з	Кр 2	Кр х	0,0
1,0	00,8	00,6	00,4	0,2

Таблица 2. Количественная оценка анатомической составляющей ответов

№ ответа	Число Q и коэффициент К о	Оценка ответа Qо
1 - К	О = 1; К = 0,2	0,2
2 - К	K(O 1 ) = 0,6; К(О 2 )=1,0	1,6
1 - Э	К(О 1 ) = 1,0; К(О 2 ) = 0,6; К(О з ) = 1,0	2,6
2 - Э	К(О 1 ) = 0,6; К(О 2 ) = 0,6; К(О з ) = 0,6;	1,8
3 - К	К(О 1 ) = 0,6; К(О 2 ) = 1,0; К(О з ) = 1,0; К(О 4 ) = 1,0;	3,6
4 - К	К(О 1 ) = 0,2; К(О 2 ) = 1,0; К(О з ) = 0,6; К(О 4 ) = 1,0;	2,8
3 - Э	К(О 1 ) = 1,0; К(О 2 ) = 0,8; К(О з ) = 1,0; К(О 4 ) = 1,0;	3,8
4 - Э	К(О 1 ) = 0,6; К(О 2 ) = 0,6; К(О з ) = 0,4; К(О 4 ) = 0,4; К(О 5 > = 1,0; К(О 6 ) = 0,8;	3,8
5 - Э	К(О 1 ) = 1,0; К(О 2 ) = 0,6; К(О з ) = 1,0; К(О 4 ) = 1,0;	3,6

Таблица 2. Количественная оценка анатомической составляющей ответов (окончание)

5 - К K(O1) = 1,0; K(O2) = 0,6; K(O3) = 0,6; K(O4) = 0,6; K(O5) = 0,6; К(Об) = 0,6; K(O7) = 0,6; K(O8) = 0,6; 5,2 6 - К K(O1) = 0,0; K(O2) = 1,0; K(O5) = 1,0; 2,0 6 - э 7 - Э K(O1) = 0,6; K(O2) = 0,6; K(O5) = 0,6; 1,8 8 - Э K(O1) = 1,0; K(O2) = 0,6; K(O5) = 0,6; K(O4) = 0,6; 2,8 9 - Э K(O1) = 1,0; K(O2) = 1,0; K(O5) = 0,6; K(O4) = 0,6; K(O5) = 0,6; K(O6) = 0,6; K(O7) = 0,6; K(O8) = 0,6; K(O9) = 1,0; 6,6 7 - К K(O1) = 0,2; K(O2) = 0,2; K(O5) = 0,2; K(O4) = 1,0; 1,6 8 - К K(O1) = 1,0; K(O2) = 1,0; K(O5) = 1,0; K(O4) = 1,0; 4,0 10 - Э K(O1) = 0,6; K(O2) = 1,0; K(O5) = 0,6; K(O4) = 0,6; K(O5) = 0,2; K(O6) = 0,6; K(O7) = 0,2; K(O8) = 1,0; 4,8 9 - К K(O1) = 0,0; K(O2) = 0,0; 0,0 10 - К K(O1) = 0,0; K(O2) = 0,0; 0,0 11 - Э - оказался заметно, почти на 30%, лучше среднего ответа студента из контрольной подгруппы.

Таким образом, проведённый анализ анатомической составляющей ответов студентов показывает, что данная методика вполне может стать основой для компьютерной технологии открытого тестирования, позволяя вычислять уровень владения предметной терминологией отдельных учащихся по анатомической базе знаний. Данная задача может быть решаема компьютерными системами при наличии иерархически организованной семантической модели определенной предметной области.

Данный подход был использован при разработке экспертной системы автоматической оценки высказываний обучаемых (системы открытого тестирования) на кафедре педагогики, психологии и психолингвистики Самарского государственного медицинского университета.

Данная система создана на базе оболочки «Cronos Plus Demo».

Работа выполнена при поддержке гранта Российского гуманитарного научного фонда номер 04-06-00141а.