Особенности внедрения систем компьютерного сурдоперевода при обучении лиц с особыми образовательными потребностями

Оlga Yu. Мuller 1, Candidate of Science in Pedagogy, Associate-Professor at the chair of Pedagogy of Professional and Additional Education; ;

Актуальность, значимость и сущность проблемы. Актуальность исследования обусловлена тенденциями в образовательной системе, направленными на использование новых возможностей в улучшении условий для обучения лиц с особыми образовательными потребностями (далее — ООП) [1]. В России на сегодняшний день данное понятие трактуется по-разному. По мнению В. И. Лубовского, ООП — это потребности в условиях, необходимых для оптимальной реализации потенциальных возможностей, которые может проявить ребенок с недостатками развития в процессе обучения [2]. Иными словами, инклюзивное образование позволяет рассматривать каждого обучающегося как субъекта особых образовательных потребностей и возможностей, требующих индивидуального подхода в обучении и воспитании.

Для высшей школы России процесс образования лиц с ООП приобрел большую актуальность после принятия Федерального закона «Об образовании в Российской Федерации», в котором указывается, что для организации и развития инклюзивного образования необходимо создание условий для «использования специальных образовательных программ и методов обучения и воспитания», включения технических средств в обучение в рамках коллективного и индивидуального пользования 1. Инклюзивное образование активно развивается, однако организацию процесса обучения лиц с нарушением слуха нельзя назвать вполне результативной [3]. Специфика психофизиологического развития вызывает у обучающихся с нарушениями слуха большое число трудностей в овладении знаниями и практическими умениями, поэтому требуются особая организация образовательного процесса, включение новых методов педагогической работы, использование специальных технологий обучения.

Занятия с обучающимися возможны с участием сурдопереводчика, который оказывает помощь в создании диалогового пространства между слабослышащими студентами и преподавателями. Следует отметить, что важность роли жестового языка постоянно возрастает. Для определенных социально значимых профессий системы «человек–человек» становится обязательным требование овладения жестовым языком. Н. Н. Нагорный описывает успешный опыт обучения русскому жестовому языку сотрудников органов внутренних дел Российской Федерации, знание которого оказывает положительное влияние на эффективность их взаимодействия с людьми с нарушением слуха [4].

Но в системе высшего образования возникают некоторые трудности в силу недостатка сурдопереводчиков, сложности понимания научного текста, терминологии и др. [5].

Одно из важных направлений в процессе образования обучающихся с особыми образовательными потребностями — применение технических средств обучения. Как и в остальном мире, в современной России рассматриваются возможности использования компьютерных, программно-аппаратных средств для обучения лиц с нарушением слуха. Такие средства в ближайшее время могут позволить успешно решить ряд проблем в обеспечении коммуникации между лицами с нарушением слуха и слышащими участниками процесса обучения. Применение таких средств будет также способствовать решению проблемы недостаточного количества сурдопереводчиков и трудностей с организацией их работы во многих образовательных учреждениях. Отметим, что лица с нарушением слуха все чаще стали отказываться от услуг сурдопереводчиков, при этом продолжая общаться друг с другом с помощью жестовой речи. Например, по наблюдениям Г. Н. Паршина, слабослышащие обучающиеся МГТУ им. Н. Баумана к третьему курсу практически полностью отказываются от сурдоперевода, но продолжают пользоваться жестовой речью в общении друг с другом [6].

Цель данного исследования — на основе анализа особенностей внедрения систем компьютерного сурдоперевода в обучение лиц с особыми образовательными потребностями разработать структурнофункциональную модель сурдоперевода и проверить экспериментальным путем ее эффективность.

Теоретические предпосылки и состояние проблемы. В современных условиях цифровой трансформации образования и общества происходит увеличение числа программ и систем компьютерного сурдоперевода, имеющих свои достоинства и недостатки [7]. С внедрением инновационных технологий обработки жестов, речи и мимики у людей с нарушением слуха появилось больше возможностей для коммуникации в социуме [8]. Разрабатывается множество технических средств для перевода устной речи и текста в жестовый язык: мобильные приложения, автоматизированные онлайн-словари жестовых языков, специальные планшеты, оснащенные камерой с датчиком глубины, сенсорные перчатки для распознавания жестов и др. [9].

В наше время технологии в данном направлении выходят на новый этап в связи с поставленной целью — осуществление компьютерного перевода должно быть сходным с коммуникацией «человек–человек». Несмотря на инновационные достижения, одной из наименее изученных областей остается жестовый язык [10]. Например, система Zardos имеет интерглив (язык-посредник), предназначенный для перевода на язык жестов 2. Однако данная система трудоемка, поэтому ее применение ограничено некоторыми предметными областями [11].

Система TEAM используется для машинного перевода с английского языка на американский язык жестов 3. Перевод в ней происходит в два этапа. Вначале осуществляется перевод предложения с английского языка на промежуточное представление с учетом синтаксической, грамматической и морфологической информации. Затем информация преобразуется для управления моделью человека, воспроизводящей жесты. По утверждению Ю. С. Мануевой, такая система достаточно гибкая для того, чтобы адаптироваться к другим языковым жестам [12].

Система ViSiCAST представляет собой аналогичную, упрощенную систему, фиксирующую движения и жесты человека-сурдопереводчика 4. Эти движения и жесты передаются для анализа и последующего получения реалистичного аватара.

Следует отметить, что среди зарубежных разработок отсутствуют системы, позволяющие обрабатывать голосовую информацию для сурдоперевода. Данный фактор свидетельствует об ограничении возможно- сти применения вышеописанных систем в сфере инклюзивного образования, так как необходим устный перевод при выполнении ряда педагогических задач.

Материалы и методы

Методологическую основу научных исследований данной проблемы составляли научные разработки таких отечественных и зарубежных авторов, как Ю. С. Мануева, М. Г. Гриф, А. Н. Козлов, А. Л. Воскресенский, О. О. Королькова, H. Van der Hulst, R. Channon и др. Основными методами работы являются сравнительный анализ научной литературы по проблеме исследования, обобщение и систематизация теоретического материала. Эксперимент заключался в разработке структурно-функциональной модели перевода на жестовый язык и ее практической реализации на основе применения системы «Диалинг» с модулями сурдоперевода, заменяющими сурдопереводчика, в условиях дистанционного обучения.

Результаты и обсуждение

Система сурдоперевода при обучении лиц с особыми образовательными потребностями. Применение системы удаленного сурдоперевода предоставляет возможность обучающимся с ООП воспринимать голосовую информацию от преподавателя и иных участников образовательного процесса в рамках системы дистанционного обучения [13]. При этом требуются смартфон с программой взаимодействия с удаленным сурдопереводчиком, а также специальная диспетчерская комната с необходимым компьютерным оборудованием, в которой важно наличие переводчика русского жестового языка и сервера с программным обеспечением. При использовании такой системы предполагается возможность адаптации учебных материалов. Внедрение системы сурдоперевода в данном примере реализуется по определенному алгоритму (рис. 1) [14].

Однако наличие сурдопереводчика часто невозможно по различным причинам, в том числе и в связи с большими расходами на техническую часть организации работы системы (оборудование диспетчерской комнаты, приобретение планшетов и др.). Поэтому мы рассматриваем возможность замены сурдопереводчика компьютерной программой, которая функционирует в следующих режимах:

— автоматическое создание субтитров, компьютерного перевода русской речи на русский жестовый язык (далее — РЖЯ);

— составление компьютерного сурдоперевода для фрагмента текста по выбору обучающихся на русский жестовый язык.

Рис. 1. Алгоритм внедрения системы сурдоперевода при обучении лиц с нарушением слуха

( Fig. 1. The algorithm for the implementation of the sign language translation system in the training of persons with hearing impairment )

В научных работах по анализируемой тематике рассматриваются современные системы и модели компьютерного сурдоперевода. Ю. С. Мануева, М. Г. Гриф, А. Н. Козлов предлагают построение системы компьютерного сурдоперевода русского языка в качестве модели системы семантического анализа, включающей два этапа [11]. На первом этапе осуществляется предварительная обработка текста (в пределах предложения), на ее основе происходит семантический анализ (второй этап), при котором определяются альтернативные описания каждого слова. При учете их семантических характеристик происходит поиск соответствующего жеста. Однако модель с семантическим анализом предложения требует совершенствования с учетом особенностей дистанционного формата обучения.

Авторы М. Г. Гриф и О. О. Королькова предлагают использовать модульную систему компьютерного сурдоперевода [15]. Одной из основных проблем, связанных с применением модульной системы компьютерного сурдоперевода, они называют необходимость распознания смысла в непрерывной жестовой речи. Для решения данной проблемы используются различные технологии: IR Depth сенсор (сенсор глубины) для распознавания жестов на небольшом расстоянии, камера от компании Creative, бесконтактный контроллер Kinect, Leap Motion, очки виртуальной реальности OculusRift, браслет MYO компании Thalmic Labs и др.

За рубежом одной из самых эффективных систем компьютерного сурдоперевода является ELAN (EUDICO Linguistic Annotator), которая отличается достаточно широкими возможностями работы с лингвистической базой, языком жестов и сурдопереводом. В ELAN человек с нарушением слуха использует специальное программное обеспечение, переводящее текст на язык жестов и предоставляющее в итоге короткий видеоролик с изображением сурдопереводчика, воспроизводящего набранный текст [16]. К преимуществам ELAN относится возможность работы системы с разными языками, в связи с чем ее можно считать эффективной в инклюзивном образовании лиц с нарушением слуха в условиях, когда в нем участвуют иностранные обучающиеся. Кроме того, система ELAN может быть полезной при изучении иностранных языков в условиях дистанционного обучения лиц с нарушением слуха.

Система сурдоперевода VLibras используется для преобразования текста или мультимедийной информации таким образом, чтобы аватар выражал то, что нужно сообщить человеку с нарушением слуха. Но, по нашему мнению, данная система при дистанционном обучении имеет следующие недостатки: отсутствие обратной связи существенно ограничивает ее возможности в практических занятиях, так как в большинстве случаев преподаватель не владеет языком жестов, следовательно, не может через такую систему, как VLibras, ответить на вопросы студентов или оценить их ответы, предоставляемые на языке жестов.

Проект VLibras был разработан в Бразилии и направлен на образовательные цели, в том числе для адаптации лиц с нарушением слуха к условиям цифровизации 5. В связи с этим VLibras используется для перевода различной мультимедийной информации на бразильский язык жестов (Libras) и поэтому также может быть полезным в условиях дистанционного обучения, когда учебные материалы имеют различные мультимедийные форматы.

На наш взгляд, к системам, рассмотренным выше, преподаватель может обращаться, когда нужно оперативно перевести некоторые слова или фрагмент текста на язык жестов в условиях дистанционного обучения и рядом нет сурдопереводчика. Этому также помогает наличие мобильной версии VLibras.

На основе проанализированных концептуальных схем, отражающих сущность рассмотренных концепций перевода на жестовый язык, с использованием метода синтеза моделей построим структурнофункциональную модель перевода на жестовый язык.

Поскольку одной из проблем практического применения большинства моделей сурдоперевода является отсутствие сурдопереводчика, предлагаем использовать модули перевода на жестовый язык, заменяющие сурдопереводчика. Модель может предстать в следующем виде (рис. 2).

Рис. 2. Разновидность модели сурдоперевода (без сурдопереводчика)

( Fig. 2. A type of sign language translation model (without a sign laguage interpreter))

Оба модуля (создания субтитров и составления компьютерного сурдоперевода для участка текста по выбору) объединим в общий блок, что позволит рассмотреть сущность работы структурнофункциональной модели сурдоперевода (без сурдопереводчика) следующим образом (рис. 3).

Рис. 3. Модульный блок модели сурдоперевода (без сурдопереводчика)

( Fig. 3. Modular block of the sign language translation model (without a sign language interpreter))

Экспериментальная работа по формированию навыков перевода на русский жестовый язык в условиях дистанционного обучения. В рамках данного исследования был подготовлен курс лекций для обучающихся с ООП двух профилей «Педагогическое образование» и «Адаптивная физическая культура», адаптированный под дистанционное обучение с ориентацией на принцип индивидуализации обучения. Целью эксперимента являлся анализ эффективности системы «Диалинг» с модулями сурдоперевода, заменяющими сурдопереводчика, и возможности ее использования для дистанционного обучения лиц с ООП. Для этого были сформированы две группы обучающихся с ООП. В первой группе проводили онлайн-лекции с сопровождением сурдопереводчика (по модели, представленной на рис. 1), во второй — без сурдопереводчика (по модели, представленной на рис. 2).

Основной задачей эмпирического исследования было определение, насколько эффективно разработанная модель справляется с задачей точной передачи содержания учебного материала в условиях дистанционного обучения.

Уровень усвоения материала, учитывая цель и основную задачу исследования, определялся на основе тестирования, состоящего из 20 вопросов по 5-балльной шкале: обучающимся предлагалось ответить на вопросы, связанные с тематическим содержанием лекционного материала, изложенного на русском жестовом языке в результате перевода на него слов лектора, читавшего лекцию по видеосвязи.

Средний балл у первой группы составил 4,28, у второй — 3,96. Таким образом, разработанная структурно-функциональная модель оказалась на 8,08% эффективнее, чем модель, требующая наличия сурдопереводчика.

По результатам исследования мы выяснили, что первой группе было нелегко справиться со сложными заданиями в отличие от второй, что связано с затруднениями перевода на русский жестовый язык с участием сурдопереводчика в условиях дистанционного обучения.

Выводы

Обзор источников и анализ существующих систем компьютерного сурдоперевода позволяют сделать заключение об их эффективности применения в образовательном процессе. Такие системы существенно отличаются друг от друга как возможностями, так и функциональностью. В условиях дистанционного обучения системы сурдоперевода имеют неоспоримые преимущества, но требуют совершенствования. Одним из решений основных проблем в данном направлении является возможность обходиться без сопровождения сурдопереводчика в условиях дистанционного обучения. Решение в нашем исследовании достигнуто с помощью введения в структурно-функциональную модель модульного блока, работающего на основе компьютерной системы и не требующего при этом других изменений модели сурдоперевода в условиях дистанционного обучения. Полученные результаты свидетельствуют об эффективности модели в данных условиях.

Перспективы. Развитие инклюзивного образования лиц с особыми образовательными потребностя- ми в контексте цифровизации обучения может быть рассмотрено в направлении компьютерных систем сурдоперевода, где не требуется сурдопереводчик, а сам процесс является приемлемым с точки зрения быстроты, эффективности и точности сурдоперевода системой. Возможности выбора таких систем будут расширяться.