Компьютерная лингвистика: особенности языка

Многим из нас было бы трудно представить себе мир без компьютеров. Они являются частью нашего существования на всех уровнях: мощные компьютеры, отвечающие за безопасность и финансы стран, контролирующие аэропорты, плотины, больницы и городское движение; домашние компьютеры, которые мы используем в качестве текстовых редакторов, домашних экономистов или артистов. А в последнее время даже в качестве учителей. По мере того как они становятся все популярнее, компании делают их все более дружественными и простыми в использовании. Однако общение между нами и ними пока не основано на нашем языке. Даже если это так же просто, как щелкнуть мышью по одной команде меню, многое в нашем взаимодействии с компьютерами необходимо адаптировать к их возможностям.

Человеко-машинные интерфейсы - это программы, которые обеспечивают взаимодействие между компьютером и его пользователем.

Например, если вы используете базу данных, вы можете захотеть задавать вопросы на английском языке вместо использования командного языка, предоставляемого базой данных. Информационно-поисковые системы пытаются удовлетворить потребность в поиске только релевантной информации в больших массивах текстов.

Учитывая, что большая часть информации, которой пользуются люди, все еще находится в форме естественного языка (например, книги журналы, отчеты и т.д.), каждый раз, когда требуется конкретная информация, кто-то должен на самом деле прочитать все возможные источники. Вместо этого мы можем попросить программу выполнить эту работу за нас. Система прочитает, выберет и извлечет из текста на естественном языке необходимую нам информацию.

Прежде чем мы начнем наше знакомство с компьютерной лингвистикой, мы должны сделать несколько замечаний о ее целях по сравнению с целями теоретической лингвистики. Цель лингвистов-теоретиков (генеративных) состоит в том, чтобы найти простейшую теорию грамматики, которая могла бы объяснить наше знание языка, и объяснить врожденные механизмы, которые позволяют людям изучать и использовать человеческий язык. Они касаются языковых универсалий (принципов грамматики, которые применимы ко всем естественным языкам) и в основном сосредоточены на грамматической компетентности (т.е. на том, почему люди принимают одни предложения и отвергают другие). Некоторые конкретные лингвистические теории также ставят своей фундаментальной целью объяснить использование языка психологически правдоподобными способами.

Компьютерная лингвистика — научное направление в области математического и компьютерного моделирования интеллектуальных процессов у человека и животных при создании систем искусственного интеллекта, которое ставит своей целью использование математических моделей для описания естественных языков.

Работы в области теоретической лингвистики актуальны для компьютерной лингвистики; все усилия по обобщению (например, путем сведения большого количества предложений к небольшому набору правил и ограничений на эти правила), предпринятые в первой для описания грамматики конкретного естественного языка, необходимы для второй особенно в процессе анализ предложений.

Работа в области компьютерной лингвистики имеет большое значение для теоретической лингвистики. Теория, лежащая в основе прагматичной работы в области компьютерной лингвистики, рассматривает понимание и порождение языка как процессы манипулирования символами управляемые определенными правилами. В той мере, в какой теоретическая лингвистика интересуется всеми аспектами языковых возможностей (абстрактными знаниями о языке и о том, как он используется), ее работа должна быть проверена системами, которые разрабатывают компьютерные лингвисты.

Задача построения систем, которые понимают или генерируют естественный язык, является сложной. Для этого требуется интеграция многих видов данных, лингвистических (морфо-синтаксических семантических) и неязыковых (знание предметной области дискурса).

В этом смысле проектирование и построение приложения на естественном языке - это инженерная задача. Одной из основных стратегий, позволяющих упростить работу по созданию, является модульность (т.е. разделение задачи на более мелкие подзадачи). Это понятие не чуждо лингвистике. Традиционно языковые способности представляются и изучаются как совокупность структурных уровней: звуков, слов, предложений. Лингвисты изучают фонетику, фонологию морфологию, семантику, синтаксис языка и предполагают существование уровней или модулей в человеческой компетенции. Даже если модульное представление упрощает возможности языка, оно делает системы естественного языка гибкими и их легко расширять. Объем знаний, используемых в процессе понимания или генерации, зависит от цели приложения. Для многих приложений основной задачей является анализ предложений (т.е. определение значения предложений). Некоторые приложения также требуют анализа надсмысловых единиц, таких как дискурс и диалог.