Статьи журнала - Информатика и автоматизация (Труды СПИИРАН)
Все статьи: 225
Статья
Целью исследования является получение более легковесной языковой модели, которая сравнима по показателям EM и F-меры с лучшими современными языковыми моделям в задаче нахождения ответа на вопрос в тексте на русском языке. Результаты работы могут найти применение в различных вопросно-ответных системах, для которых важно время отклика. Поскольку более легковесная модель имеет меньшее количество параметров чем оригинальная, она может быть использована на менее мощных вычислительных устройствах, в том числе и на мобильных устройствах. В настоящей работе используются методы обработки естественного языка, машинного обучения, теории искусственных нейронных сетей. Нейронная сеть настроена и обучена с использованием библиотек машинного обучения Torch и Hugging face. В работе было проведено обучение модели DistilBERT на наборе данных SberQUAD с применением дистилляции и без. Произведено сравнение работы полученных моделей.Обученная в ходе дистилляции модель DistilBERT (EM 58,57 и F-мера 78,42) смогла опередить результаты более крупной генеративной сети ruGPT-3-medium (EM 57,60 и F-мера 77,73) притом, что ruGPT-3-medium имеет в 6,5 раз больше параметров. Также модель продемонстрировала лучшие показатели EM и F-мера, чем та же модель, но к которой применялось только обычное дообучение без дистилляции (EM 55,65, F-мера 76,51). К сожалению, полученная модель сильнее отстаёт от более крупной дискриминационной модели ruBERT (EM 66,83, F-мера 84,95), которая имеет в 3,2 раза больше параметров. Предложены направления для дальнейшего исследования.
Бесплатно
Эмпирический подход к оценке помехоустойчивости сигналов фазовой модуляции
Статья
Высокая спектральная эффективность сигналов с непрерывной фазовой модуляцией определила их известность и активное применение в различных радиотехнических проектах. Уникальность свойств таких сигналов связана с сохранением непрерывности их фазы при смене информационных посылок на длительности символа. Вместе с тем до недавнего времени из всего широкого класса сигналов с непрерывной фазовой модуляцией наибольшее распространение получили различные вариации так называемых сигналов частотной модуляцией с минимальным сдвигом. Однако это далеко не единственные представители класса сигналов с непрерывной фазовой модуляцией, обладающие свойством высокой спектральной компактности. Исследованы не менее интересные сигналы этого класса, формируемые посредством двойной фазовой модуляции. Представлены аналитические выражения их синтеза, обоснована их принадлежность к классу сигналов с непрерывной фазовой модуляцией. Также исследованы временные свойства фазовой функции, рекомендованной МСЭ-R SM.328-11 для синтеза сигналов с непрерывной фазовой модуляцией, приведены временные и частотные фрагменты сигналов с минимальным сдвигом в сравнении сигналами с двоичной фазовой манипуляцией. Представлены этапы аналитического вывода модели помехоустойчивости сигналов с непрерывной фазовой модуляцией по показателю вероятности битовой ошибки на основе эмпирического подхода. Показана общность полученной модели с известным выражением для сигналов с минимальным сдвигом путем исследования разностной функции ошибки аппроксимации (ошибка порядка 10-3), что позволило получить более компактное представление разработанной модели применительно к сигналам с двойной фазовой модуляцией. Доказано, что такие сигналы обладают более высокими свойствами помехоустойчивости по отношению к сигналам с минимальным сдвигом (порядка 0,5 дБ по уровню ошибки 10-5). Указанный результат получен на основе исследования функций различия, определяемых разностью между сигнальными символами соответствующих информационным значениям «1» и «0». Определены направления дальнейшего исследования.
Бесплатно
Статья
В работе представлена эффективная реализация банка гамматон-фильтров (БГФ) на основе неравнополосного косинусно-модулированного банка фильтров (НКМБФ), использующего фазовое преобразование. Рассмотрены примеры практических задач, в которых применяется банк гамматон-фильтров, проанализированы его основные особенности и недостатки. Приведено описание равнополосного косинусно-модулированного банка фильтров, а также показан процесс синтеза НКМБФ из его равнополосного аналога при помощи фазового преобразования. Разработан оптимизационный метод проектирования фильтра-прототипа НКМБФ для аппроксимации частотных характеристик БГФ. В основе метода лежит мультипликативная модель импульсной характеристики фильтра-прототипа, использующая логистические сигмоидальные функции. Суть предлагаемого метода заключается в оптимизации фильтра-прототипа с целью минимизации среднеквадратичной ошибки между АЧХ БГФи НКМБФ для каждого канала. Выполнена программная реализация на языке Python с использованием библиотеки PyTorch. Проведены экспериментальные исследования предложенного метода. Результаты экспериментов показали, что НКМБФ можно использовать для аппроксимации частотных характеристик БГФ, а результирующая АЧХ имеет монотонные спады за счёт использования логистических сигмоидальных функций. Проведён анализ зависимости результирующей ошибки аппроксимации частотных характеристик банка гамматон-фильтров от количества сигмоид, используемых для синтеза фильтра-прототипа НКМБФ на базе мультипликативной модели импульсной характеристики. Выполнен анализ вычислительной сложности НКМБФ, показано как зависит число операций сложения и умножения от длины импульсной характеристики фильтра-прототипа и числа каналов банка фильтров. Сделан вывод, что использование НКМБФ для реализации банка гамматон-фильтров позволяет существенно уменьшить вычислительные затраты на реализацию гамматон-фильтров по сравнению с прямой реализацией.
Бесплатно
Статья
В статье представлены описание коллаборативного робота (кобота) как одного из подвидов интеллектуальной робототехники и его отличительные особенности по сравнению с другими видами роботов. Дано описание коллаборативной робототехнической системы как единой комплексной системы, в которой субъекты (акторы) различного типа – коботы и люди – выполняют действия в рамках коллаборации для достижения единой цели. Для коллаборативной робототехнической системы как единой комплексной системы представлены ее составные части, а также процессы и сущности, которые оказывают непосредственное влияние на эту систему. Представлены ключевые принципы коллаборации человека и робота (Human-Robot Collaboration). Коллаборативная робототехническая система проанализирована, с одной стороны, как многоагентная система, и, с другой стороны, как смешанная неоднородная команда, члены которой являются гетерогенными акторами. Актуальность работы заключается в недостаточном уровне исследованности вопроса формирования смешанных неоднородных команд из людей и коботов и распределения задач в них с учетом специфики этих двух типов участников и требований их безопасного взаимодействия. Целью работы является исследование вопросов формирования смешанных команд из числа элементов единой комплексной системы человек-кобот, распределения задач среди участников подобных команд с учетом необходимости минимизации затрат для ее участников и гетерогенности ее состава. В рамках исследования представлена постановка задачи формирования смешанной неоднородной команды из числа людей и коботов и распределения работ между членами команды, а также ее математическое описание. Рассматриваются частные случаи задачи, в том числе при различных функциях затрат у разных видов участников, в случае ограниченной активности членов команды, при наличии зависимости функции затрат участников одного типа от числа назначенных на этот вид работ участников другого типа, а также в случае наличия произвольного количества видов работ, назначаемых участникам смешанной команды.
Бесплатно
Статья
Эта статья фокусируется на том, чтобы уловить смысл значения текстовых функций понимания естественного языка (NLU) для обнаружения дубликатов неконтролируемых признаков. Особенности NLU сравниваются с лексическими подходами для доказательства подходящей методики классификации. Подход трансфертного обучения используется для обучения извлечению признаков в задаче семантического текстового сходства (STS). Все функции оцениваются с помощью двух типов наборов данных, которые принадлежат отчетам об ошибках Bosch и статьям Википедии. Цель данного исследованияструктурировать последние исследовательские усилия путем сравнения концепций NLU для описания семантики текста и применения их к IR. Основным вкладом данной работы является сравнительное исследование измерений семантического сходства. Экспериментальные результаты демонстрируют результаты функции Term Frequency–Inverse Document Frequency (TF-IDF) для обоих наборов данных с разумным объемом словаря. Это указывает на то, что двунаправленная долговременная кратковременная память (BiLSTM) может изучать структуру предложения для улучшения классификации.
Бесплатно
