Некоторые проблемы коннекционистской психолингвистики

НЕКОТОРЫЕ ПРОБЛЕМЫ КОННЕКЦИОНИСТСКОЙ ПСИХОЛИНГВИСТИКИ

Особенности становления и развитии коннекционистской психолингвистики (далее – КонПЛ) детально рассмотрены в публикациях [4; 5], однако представляется важным обратиться к первоисточнику, а именно – к коллективному труду «Коннекционистская психолингвистика» («Connec-tionist psycholinguistics» [8]), в котором, как указывается в предисловии, дается трактовка формирующейся области исследований, демонстрируется состояние на текущий момент и намечаются перспективы дальнейшего развития КонПЛ. Особенно существенным представляется то, что главы этой книги написаны известными специалистами в соответствующих областях, ставившими своей задачей осмыслить и оценить уже полученные результаты и возможный потенциал использования коннекционистских, или «нейронных», сетей, подобных устройству мозга, для моделирования эмпирических данных об усвоении и переработке естественного языка человеком.

Реферируемая книга базируется на специальном выпуске журнала «Cognitive Science» («Connectionist models of human language processing: Progress and prospects», 1999, Vol. 23, No. 4), который включал статьи ведущих исследователей в той или иной области КонПЛ. При подготовке обсуждаемой книги каждая статья была расширена за счет появившихся новых исследований, а некоторые статьи в значительной мере переработаны. Книга состоит из двух частей. Часть I посвящена текущему на то время состоянию исследований в области коннекционистского моделирования процессов переработки языка и включает главы о восприятии речи, морфологии, рекурсии, переработке предложений, продуцировании языка и чтении. Часть II посвящена перспективам дальнейших исследований в КонПЛ. Далее будут кратко рассмотрены некоторые принципиальные вопросы, решение которых является особенно актуальным для современной психолингвистики и для науки о языке в целом.

Краткая историческая и теоретическая справка

В истории ранее уже делались попытки построить вычислительные устройства. Основное направление когнитивной науки следует традиции рассматривать мышление человека как переработку символов. Эта традиция может быть прослежена до утверждения Джона Буля (1854), что логика и теория вероятностей описывают законы мышления и что рассуждение в соответствии с этими законами может направляться символьными правилами. В 1936 г. Тьюринг указал на то, что мысль человека может моделироваться посредством операций с символами (машина Тьюринга); далее фон Нейман сделал вклад в создание современных двоичных вычислительных устройств, что вело к разработке символьных языков компьютерного программирования и далее – к современной информатике, искусственному интеллекту и символьной когнитивной науке.

Коннекционизм (этот термин был предложен в работе [14] в связи и использованием искусственных нейронных сетей для моделирования познавательных процессов), известный также как «параллельная распределенная переработка» (см. подробно [18]), опирается на иную традицию, которая стремится создавать компьютеры по аналогии с устройством мозга. Сама идея была предложена У. Маккаллоком и У. Питцем (1943); далее У. Эшби (1952), М. Минский (1954), Э. Розенблатт (1962) и др. разработали компьютерные схемы на этой основе. В дополнение к их биологической базе, эти схемы представляли интерес, поскольку были способны научаться через опыт. Такие «самоорганизующиеся», или обучающиеся, машины казались полезными в качестве моделей научения когнитивным способностям, включая многие аспекты переработки языка. В течение этого периода коннекционизм и символьное вычисление функционировали параллельно как альтернативные парадигмы моделирования интеллектуальных способностей; было неясно, который из этих подходов проявит себя как наиболее успешный. Но постепенно символьная парадигма взяла верх, благодаря разработке мощных моделей таких областей, как язык (особую роль при этом сыграла работа Н. Хомского [6]) и решение проблем. От коннекцио-низма в значительной мере отказались, особенно с учетом того, что использовавшиеся в то время коннекционистские методы имели ограниченную силу. Однако позднее некоторые из этих недостатков были преодолены, что снова открыло путь для трактовки коннекционизма как модели, альтернативной по отношению к символьной модели мышления. Таким образом, коннекционизм следует структуре и процессам переработки информации в мозге. На практике это означает, что на определенном уровне анализа мозг может рассматриваться как состоящий из очень большого числа простых «процессоров» – нейронов, которые тесно взаимосвязаны в сложную сеть. Эти нейроны не решают проблемы переработки информации каждый сам по себе. Скорее, большие количества нейронов коопери- руются и действуют одновременно. Более того, похоже, что нейроны передают количественные показатели значимости сигналов, а не символьные сообщения; по меньшей мере в первом приближении нейроны можно трактовать как отображающие (картирующие) некоторый набор числовых показателей на входе (полученный от других нейронов) в числовые показатели на выходе, которые передаются далее другим нейронам.

Коннекционистские модели создаются в подражание этим свойствам нейронов, соответственно, они включают большое количество простых процессоров, называемых единицами или узлами ( units или nodes ), которые тесно взаимоувязаны в сложную сеть; эти единицы кооперативно и одновременно решают проблемы переработки информации. В соответствии с трактовкой реальных нейронов как перерабатывающих количественную информацию, единицы, или узлы, трактуются как передающие только количественную информацию, а не символьные сообщения.

Символьный и коннекционистский подходы к переработке языка

Противостояние двух макропарадигм – символьного и коннекционист-ского подходов к процессам переработки языка – прослеживается в публикациях последнего времени фактически по всем проблемам, так или иначе связанным с усвоением и переработкой естественного языка.

• (1)    контакту с данными , т.е. определенной степени соответствия результатам психолингвистических исследований; при этом разграничиваются первичный и вторичный контакты с данными: первый требует соответствия результатам психолингвистических экспериментов (например, данным о времени реакции), а второй – соответствия общим паттернам поведения (например, экспериментально установленным изменениям в возрастном развитии переработки языка);

• (2)    правдоподобности поставленной задачи , т.е. степени соответствия задаче, которая ставится перед моделью, и задаче, стоящей перед носителями языка, и хотя полного соответствия достичь трудно, все-таки следует к этому стремиться, минимизируя расхождения между ними;

• (3)    репрезентативности вводимого материала , т.е. степени соответствия задаваемой при моделировании информации тому, что доступно взрослому или ребенку.

Обратим внимание на то, что, при всей специфике компьютерного моделирования интеллектуальных процессов, представители именно КонПЛ, а не генеративной или когнитивной психолингвистики, четко сформулировали требования относительно согласования теории и исследовательских процедур с результатами исследований, непосредственно связанных с реальными условиями усвоения и функционирования естественного языка .

По мнению, которое высказывают Cristiansen & Chater в рассматриваемой главе, модели, основывающиеся на символьном подходе, редко контактируют с психолингвистическими данными, уделяют мало внимания правдоподобности поставленных задач и часто игнорируют критерий репрезентативности вводимого материала. Преимущества коннекционизма перед символьным подходом проистекают из ряда свойств коннекционист-ских моделей. Так, коннекционистские сети типично обучаются на основе опыта , а не только зависят от дизайнера, в то время как символьные компьютерные системы, включая связанные с переработкой языка, типично полностью задаются дизайнером. Способность сетей к обобщению случаев, которым они не обучались, выступает в качестве важного теста для многих коннекционистских моделей. Поскольку сети способны обучаться, используемые сетями внутренние коды (репрезентации) не должны быть полностью заданными дизайнером - они формируются самой сетью в соответствии с выполняемой задачей.

Особенно активно во многих публикациях обсуждается вопрос, связанный с переработкой языковых правил и исключений. Дело в том, что многие аспекты языка могут быть описаны в терминах «квазирегулярностей», т.е. регулярностей, которые обычно имеют место, но допускают некоторые исключения. Согласно символьным описаниям с позиций современной лингвистики, эти квази-регулярности могут быть отображены наборами символьных правил и наборами исключений из этих правил. Символьные модели часто инкорпорируют это разграничение посредством двух раздельных механизмов , один из которых имеет дело с управляемыми правилами случаями, а другой – с исключениями из этих правил. Коннекционистские модели обеспечивают единый механизм , который способен выводить общие правила в ходе выучивания исключений из этих правил. В то же время для коннекционизма не существенно – имеется один или два механизма, поскольку любой из них может моделироваться в кон-некционистских терминах.

По следующему вопросу – действительно ли сети обучаются правилам или они просто ведут себя подобно этому – мнения различны, что может оказаться фатальной проблемой для коннекционистских моделей переработки языка или вести к пересмотру роли правил лингвистикой, ср. результаты исследований Н. Хомского, который в своих последних работах, например [6], приходит к выводу, что «нет ни правил, ни исключений» (см. обсуждение этого вопроса в публикации [2]).

Основные области коннекционистского моделирования

В обсуждаемой книге затронут ряд областей, в которых ведутся активные исследования, с акцентированием внимания на некоторых теоретических проблемах и на взаимоотношениях между коннекционистским моделированием и эмпирическими исследованиями.

Так, глава «Simulating parallel activation in spoken word recognition» [15] (авторы Gaskell & Marslen-Wilson) посвящена коннекционистскому моделированию узнавания слов при восприятия звучащей речи , важнейшей особенностью которой является неоднозначность речевого сигнала. Речевая информация распределена во времени, и на раннем этапе переработки слова поступающий сигнал соотносится более чем с одной лексической единицей. В локалистских моделях восприятия речи это свойство отображается посредством допущения параллельной активации множества независимых лексических репрезентаций. Gaskell & Marslen-Wilson рассматривают, как это свойство может вписываться в распределенную модель восприятия речи, в которой репрезентации слов не являются независимыми. В этом случае аппроксимация к активации более одной репрезентации возможна посредством активации некоторого «гибрида» (blend) из различных распределенных репрезентаций. Характеристики коактивации в значительной мере варьируются в зависимости от организации распределенных репрезентаций в ментальном лексиконе. Эта точка зрения на доступ к слову подтверждается анализом фонологических и семантических репрезентаций слов, что обеспечивает объяснение результатов недавних экспериментов на коактивацию при восприятии речи. Авторы указывают на тесную связь между коннекционистским моделированием и исследованиями в области экспериментальной психолингвистики.

В главе «A connectionist model of English Past-Tense and plural morphology» [16] (авторы Plunkett & Juola) на материале форм прошедшего времени английского глагола и особенностей формирования множественного числа существительных в том же языке обсуждается проблема морфологической переработки – одной из самых противоречивых областей исследований. Теоретики символьного подхода часто трактуют морфологию как случай картирования1 по принципу «правило + исключения». Не- которое строгое символьное правило, описывающее регулярное морфологическое картирование, трактуется как сопровождаемое определенным набором исключений, при этом постулируются два различных механизма для переработки правила и исключений. Как и авторы многих коннекционист-ских работ в этой области, Plunkett & Juola придерживаются иного мнения; они полают, что единый механизм объясняет переработку и правил, и исключений. Они моделируют овладение морфологией английских существительных и глаголов с использованием одной и той же сети, которую тренируют продуцировать множественное число и формы прошедшего времени однослоговых существительных и глаголов. Траектория развития действий сети детально анализируется, что показывает способность сети действовать аналогично тому, как усваивают эти явления английского языка маленькие дети. Имеет место начальный период без ошибок и для существительных, и для глаголов, после чего наступает период сверхгенерализации – распространения правила на не подчиняющиеся правилу глаголы и существительные. Ошибки в модели свидетельствуют о фонологическом обусловливании и об эффекте частотности. Несмотря на то, что работает единая сеть, проявляются некоторые важные различия в овладении глаголами и существительными. Так, флексии существительных осваиваются раньше, чем флексии глаголов. Имеет место тесная связь между компьютерным и эмпирическим исследованиями. Обратим внимание на то, что проблема морфологической переработки в последние годы широко обсуждается с различных позиций (см. подробно: [3]).

Важная теоретическая проблема рекурсии ², непосредственно связанная с наличием конечного числа моделей для бесконечного количества речевых произведений, обсуждается в главе «Finite models of infinite language: A connectionist approach to recursion» [11], авторы снова Cristiansen & Chater. Отмечается, что с самого возникновения современной лингвистики делается сильный акцент на важность рекурсивных феноменов для естественного языка, поэтому любой подход к переработке предложений должен обеспечивать неограниченную рекурсию. На самом деле, существование различных видов рекурсии оказывает большое влияние на выбор символьных метаязыков, используемых для объяснения естественного языка: порождающих грамматик разных видов, различных классов синтаксических анализаторов (парсеров) и генераторов и т.д. С этой позиции, рекурсия в естественном языке должна составлять большую проблему для любого несимвольного описания переработки естественного языка.

Ряд коннекционистских подходов имел место при попытках справиться с рекурсией в естественном языке, хотя при этом типично не достигалась неограниченная рекурсия, постулируемая лингвистами. Cristiansen & Chater полагают, что более подходящей целью коннекционистского моделирования должно быть не обеспечение неограниченной рекурсии, а описание уровней исполнения (levels of performance), на которых люди осуществляют рекурсию, т.е. следует рассматривать рекурсию как чисто психолингвистический феномен , а не как лингвистическую абстракцию. Важно отметить, что способность людей перерабатывать рекурсивные конструкции ограничена, они продуцируют очень ограниченное количество сложных рекурсивных конструкций в естественно возникающих ситуациях, и эмпирически задокументированы трудности, которые испытывают люди при переработке таких конструкций.

В главе «Dynamical systems for sentence processing» [22], авторы Tabor & Tanenhaus, также рассматривается переработка языка на уровне предложения, но с использованием вводимых данных на базе естественного языка. Авторы полагают, что теория динамических систем , проистекающая из естественных наук, обеспечивает общую рамку для успешного моделирования репрезентаций и механизмов, лежащих за переработкой предложений. По их мнению, эта теория является многообещающим источником идей для увязывания изменяющегося, протекающего в реальном времени переработчика человеческого языка с его относительно статичной категориальной организацией.

Редакторы обсуждаемой книги в этой связи отмечают, что такое применение идей динамических систем составляет часть более общего направления в когнитивной науке, нацеленного на понимание познания в терминах динамики. Переработка языка – важный случай тестирования возмож- ности применения динамического подхода, поскольку язык традиционно рассматривался в свете символьного подхода. Вопрос в том, в какой мере исследователи в области КонПЛ последуют за авторами этой главы в использовании идей теории динамических систем при конструировании и понимании коннекционистских систем. Если такое случится, это может привести с существенному отходу от текущих публикаций по коннекцио-нистским сетям, которые базируются на вероятности, теории информации и на статистической механике, а не на идеях динамики.

В главе «Connectionist models of language production: Lexical access and grammatical encoding» [13], авторы Dell, Chang & Griffin, фокус сдвигается от того, как понимается язык, к тому, как он продуцируется , с акцентированием внимания на доступе к слову и грамматическом оформлении высказывания. Продуцирование языка, подобно его пониманию, часто трактуется как включающее символьные процессы на базе некоторой порождающей грамматики, а продуцируемое сообщение описывается в терминах лежащих за ним закодированных с помощью символов «логической формы» и «концептуальной репрезентации». В противовес этому существует также давняя традиция коннекционистского теоретизирования по поводу продуцирования языка. Так, предложенная в работе [12] модель распространяющейся активации является одной из самых важных для происходившего в начале и середине 1980-х гг. возрождения интереса к коннек-ционистским моделям психических процессов.

Из наиболее поздних исследований в названной области авторы рассматриваемой главы обсуждают три модели, которые демонстрируют ценность подхода с позиций распространяющейся активации для исследований доступа к слову в ходе продуцирования речи, потребности в последовательном расположении «на выходе» результатов как фонологического, так и грамматического кодирования, а также для объяснения влияния структурных эффектов на фонологические ошибки и синтаксическое предшествование (priming). Эти модели объясняют широкий спектр данных из области продуцирования речи (от анализа речевых ошибок до случаев афазии и результатов исследований синтаксического прайминга). Отмечается, что в исследованиях продуцирования речи наиболее разработано взаимодействие между коннекционистским моделированием и сбором эмпирических данных, что чрезвычайно важно для КонПЛ.

Как полагают редакторы книги, Делл и его соавторы рассматривают ряд моделей, не пытаясь разработать единую (overarching) модель продуцирования речи. Каждая из таких моделей имеет хороший первичный и вторичный контакты с данными и хорошо отвечает постановке задачи, но все они характеризуются низкой репрезентативностью входных данных, поскольку эти модели охватывают только небольшие языковые фрагменты. Важный вопрос для дальнейших исследований: в какой мере могут быть интегрированы модели специфических аспектов продуцирования речи?

Глава «A connectionist approach to word reading and acquired dyslexia: Extention to sequential processing» [17], автор Plaut, посвящена чтению отдельных слов; в ней описывается новая модель чтения , базирующаяся на длительной исследовательской традиции. Автор обсуждает некоторые общие принципы коннекционистского подхода к чтению слов (он является главным сторонником этого подхода), включая распределенную репрезентацию, градуированное научение статистической структуре и взаимодействие при последовательной переработке. Опора на эти принципы привела к разработке компьютерных моделей, объясняющих впечатляюще обширный круг данных – от взаимодействия частотности слов и устойчивости соответствий между написанием и произношением до эффектов аналогии в ошибках при чтении у пациентов со слабыми нарушениями речи и до совместной встречаемости визуальных и семантических ошибок при глубоких нарушениях речи у афатиков. Эта модель показывает, как коннекцио-нистские модели могут быть расширены, чтобы обеспечить более глубокое понимание последовательно протекающих процессов чтения.

Перспективы исследований в области КонПЛ

Вторая часть обсуждаемого коллективного труда [8] включает три главы о возможных путях дальнейшего развития исследований в области КонПЛ; свое мнение по этому поводу высказывают и редакторы рассматриваемой книги.

В главе «Constraint satisfaction in language acquisition and processing» [19], авторы Seidenberg & MacDonald, КонПЛ рассматривается как часть более общей теории, фокусирующейся на вероятностных ограничениях на переработку языка и его усвоение. Этот вероятностный подход трактует язык и использование языка противоположно тому, как это делается генеративной лингвистикой, которая сначала описывает знание языка (т.е. грамматику компетенции), а затем задается вопросом, как это знание усваивается. Вероятностный подход ориентирован на использование языка: его целью является объяснение того, как люди понимают и продуцируют высказывания и как дети овладевают этими умениями. С позиций вероятностного подхода пользование языком рассматривается как учитывающее множественные вероятностные ограничения, которые налагаются на разнообразные виды языковой и неязыковой информации. Дети начинают накапливать эту информацию в раннем возрасте. Те же самые процессы, которые должны удовлетворять ограничения, центральные для языка взрослых, важны и для процессов, благодаря которым осваивается язык детьми. Такая точка зрения имеет важные следствия в отношении возможности построения единой теории овладения языком и пользования им. Редакторы полагают, что авторы этой статьи выдвигают основания для противопоставления коннекционистского и символьного подходов к языку. Однако это не единственная возможная точка зрения. Язык можно трактовать и как возникающий из смеси языковых правил, которые могут описываться в терминах символов, и вероятностных факторов, детерминирующих то, как язык используется в различных контекстах; к тому же символьные языковые правила не обязательно должны быть настолько жесткими, как их типично представляют.

В главе «Grammar-based connectionist approaches to language» [20], автор Smolensky, излагается представление о том, как коннекционистское и символьное теоретизирование относительно языка могут интегрироваться вместо того, чтобы противопоставляться. Smolensky полагает, что коннек-ционизм может и должен включать разработку метаязыка для описания грамматики, а не просто разрабатывать коннекционистские компьютерные модели. На основании формулировок основных положений коннекцио-низма и порождающей грамматики он обосновывает идею совместимости этих двух подходов; интегрирование базовых положений обеих парадигм даст своим результатом формальные теории грамматики, инкорпорирующие определенную степень коннекционистских исчислений. Два таких метаязыка – Harmonic Grammar и Optimality theory (оба разработанные с его участием) – приводятся как иллюстрирующие основанные на грамматике подходы к коннекционистскому исследованию языка. Редакторы отмечают, что точка зрения Smolensky противоположна той, согласно которой КонПЛ должна перевернуть все предшествующее теоретизирование относительно языка и его переработки. Более того, синтез принципов коннек-ционизма и порождающей грамматики, о котором говорит Smolensky, выгоден, поскольку теория оптимальности широко трактуется лингвистами как одно из центральных теоретических достижений в этой области.

По мнению Cristiansen & Chater, современная широта и значимость КонПЛ, засвидетельствованная в главах этой книги, показывает, что кон-некционистский подход имеет значительный потенциал. Несмотря на некоторые попытки указать на изначальные ограничения коннекционистской переработки языка, КонПЛ уже оказала большое влияние на психологию языка. Во-первых, коннекционистские модели обеспечили первые полностью эксплицитные и психологически релевантные компьютерные модели в ряде областей, таких как чтение и научение прошедшему времени. Предшествующие описания этих процессов скорее состояли из диаграмм типа «ящик–и–стрелка», чем из рассмотрения детализированных компьютерных механизмов. Какой бы длительной ни была значимость коннекциони-стских моделей как таковых, они несомненно способствовали повышению уровня теоретических дебатов и призывали теоретиков – сторонников разных точек зрения – к разработке эксплицитных компьютерных воплощений своих идей. Во-вторых, центральность научения для коннекциони-стских моделей возродила интерес к механизмам овладения языком. Хотя Н. Хомский настаивает на наличии «универсальных» аспектов языка, которые являются врожденными, обширный объем информации, специфичной для осваиваемого ребенком языка, должен быть выученным. Коннекциони-стские модели обеспечивают механизмы того, как по меньшей мере некоторая часть такого научения может происходить, в то время как символьные описания переработки языка не дают описания того, как могло бы происходить научение языку. Более того, попытки использовать коннек-ционистские модели для научения синтаксической структуре вторгаются в ту сферу языка, для которой, по мнению Хомского, врожденная информация должна быть центральной. В-третьих, зависимость коннекционистских моделей от статистических характеристик информации «на входе» (инпута) является одним из важных моментов, привлекающих внимание к роли статистических факторов в научении языку и его переработке. Этот вновь возникший интерес к статистическим свойствам языка и статистическим

ВЕСТНИК ТвГУ. Серия ФИЛОЛОГИЯ

___Выпуск « Лингвистика и межкультурная коммуникация », 9/2007___ методам анализа несомненно полностью согласуется с точкой зрения, согласно которой при переработке языка учитываются его структурные свойства, как это описывается классической лингвистикой. Наиболее радикальные коннекционисты уже пытаются вторгнуться на территорию классической лингвистики. Наконец, коннекционистские системы дали основания для возрождения дебатов по поводу того, что на самом деле означает для машинного механизма имплементировать³ некоторое правило, имеются ли различия между «имплицитными» и «эксплицитными» правилами и какое из них должно быть приписано для системы переработки языка человеком.