Оценка знаний на основе пропозиционального и латентно-семантического анализа

Уральский ФУ, г. Екатеринбург, Россия

Российский ГППУ, г. Екатеринбург, Россия

Особое значение приобретает в настоящее время проблема оценки знаний учащихся. Существующая сейчас система оценки, построенная в виде разнообразных тестов на принципах разветвленного программированного обучения Н. Краудера вызывает все возрастающую критику со стороны педагогического сообщества. Но пока, к сожалению, это единственно возможный способ квазиобъективного и автоматизированного оценивания знаний учащихся по всему спектру учебных дисциплин. В этой связи определенный прогресс в сторону большей объективации и автоматизации может быть достигнут в опоре на исследования, проводимые школой Kintsch из университета Колорадо. Конструкционно-интеграционная модель понимания (CI) в ее позднем варианте, разработанная Kintsch в 1998 г., организовывает пропозициональную репрезентацию, полученную из текста в форме сети так, чтобы каждый узел в сети представлял собой про- позицию, а связи сети отражали бы когерентную взаимосвязь между ними [3]. Паттерн соединения определяет связанность пропозиции и ситуации выраженной в тексте. Применение коннекционистских идей представляет модели гибкость использования и возможность объяснения того, как различные факторы могут одновременно влиять на понимание. CI модель обладает целым рядом несомненных достоинств и, прежде всего, она предполагает ассоциативную организацию как для текстовой, так и для памяти общего знания о мире. Кроме того, модель предполагает, что знание о мире может быть представлено в терминах комплексных пропозиций. Так же в нотации комплексных пропозиций могут быть выражены более общие формы репрезентации знания, такие как фреймы, скрипты, схемы. Однако в практическом плане существенным недостатком CI модели является то обстоятельство, что в ней игнорируется проблема парсинга лингвистических репрезентаций в пропозициональные микроструктуры. Иными словами, перекодирование текстов в пропозиции происходит вручную. Отсюда практическое применение этой модели пока сводится в основном к исследовательским проектам. Авторы настоящего доклада применили CI модель при оценке восприятия и понимания синтезированной по правилам речи [1].

Другим плодотворным подходом является латентно-семантический анализ (LSA). Чтобы перейти к изложению LSA – полностью автоматического компьютерного метода конструирования репрезентации знания в форме семантического пространства высокой размерности, необходимо ответить на вопрос: каким образом возможно моделировать человеческое знание, его полноту, сложность, организацию и структуру.

Знание является результатом взаимодействия человека с окружающим миром. Характер этого взаимодействия ограничивается природой человеческого тела и разума. Человеческое знание может принимать различные формы, но лингвистические репрезентации играют особенно важную роль. Каким образом может быть смоделирована такая система знания? Так как она слишком большая и непрозрачная для ручного кодирования, единственным способом могла бы быть разработка алгоритма приобретения знаний через опыт способом, которым это делает человек. Однако современное состояние искусственного интеллекта не позволяет взаимодействовать с миром и извлекать из него информацию таким способом. Но если ограничиться моделированием не всего человеческого знания, а лишь его лингвистически закодированного компонента, то решение существует и это имеет большое значение для педагогики. LSA, основанный на анализе большого корпуса письменного текста, позволяет автоматически осуществить эту процедуру и происходит она следующим образом. В компьютер вводится большой фрагмент текста – миллионы слов (токенов), состоящий из тысяч документов и десятков тысяч типов слов. На основании этих входных данных конструируется огромная матрица «слова – документы», содержимым ячеек которой являются частоты, с которыми каждый тип слов появляется в каждом из документов. Таким образом, входными данными для LSA являются совместные встречаемости слов подобно тому, как для когнитивной системы человека входными данными являются совстречаемости восприятия-действия-слова. Эти данные обрабатываются и преобразуются двумя способами: сначала – через математическую технику сингулярного разложения, затем – через уменьшение размерности. Результатом уменьшения размерности является абстрактное пространство знания, отражающее структуру информации, лежащую в основе прочитанных текстов. Построив подобным способом высокоразмерное семантическое пространство в 300-400 измерений, становится возможным выразить слова, предложения и целые тексты как векторы в этом пространстве. Отсюда можно легко вычислить меру семантической связанности векторов в терминах косинуса. Эта информация необходима для моделирования активации знания в процессе понимания.

Применение LSA в педагогических исследованиях отражено в наших работах [2].