Информатика и управление. Рубрика в журнале - Труды Московского физико-технического института
Обзор архитектуры рекуррентного трансформера в контексте нейронных сетей с памятью
Статья научная
Проводится обзор нейросетевых архитектур с дополненной памятью (Memory-Augmented Neural Networks, MANN) с фокусом на модель рекуррентного трансформера с памятью (Recurrent Memory Transformer, RMT) для задач с длинным контекстом. Архитектура Трансформер показазывает высокую эффективность в обработке текстов, изображений и речи, однако их применение к длинным последовательностям ограничено квадратичной вычислительной сложностью механизма внимания и сложностью раздельного хранения локальной и глобальной информации. Рассматриваются ключевые модели с памятью с фокусом на обработку естественного языка. В этом контексте мы анализируем архитектуру RMT, которая преодолевает эти ограничения с помощью рекуррентного механизма памяти, добавляя специальные токены, позволяющие сохранять и передавать информацию между сегментами последовательности. Это решение дает возможность модели обрабатывать как локальные, так и глобальные зависимости, сохраняя вычислительную эффективность и масштабируемость. Экспериментальные данные показывают, что RMT превосходит аналоги, такие как Transformer-XL, в обработке длинных последовательностей, демонстрируя высокую эффективность даже при ограниченных ресурсах памяти. Данная архитектура представляет собой перспективное решение для широкого класса задач, требующих учёта длинного контекста, таких как алгоритмическое моделирование и рассуждения.
Бесплатно
Обзор методов оценки неопределенности в офлайн обучении с подкреплением
Статья научная
Офлайн обучение с подкреплением предполагает обучение агента на заранее собранных траекториях без дополнительных взаимодействий со средой, что крайне полезно для практического применения. Однако отказ от интерактивного исследования порождает новый класс сложностей, связанный со сдвигом распределений: поведения, встречающиеся во время работы агента, могут значительно отличаться от тех, что содержатся в тренировочном наборе данных. В статье представлен обзор ключевых методов оценки неопределённости в офлайн обучении с подкреплением, направленных на преодоление проблем сдвига распределений. Рассмотрены два фундаментальных типа неопределённости — эпистемическая, обусловленная ограниченностью данных, и алеаторная, связанная со стохастической природой среды. Методы оценки неопределённости классифицированы по трём основным направлениям: оценка неопределенности для динамики среды, для функции ценности и для политики.
Бесплатно
Обзор методов формирования списков отозванных сертификатов
Статья научная
Инфраструктура открытых ключей (PKI) получила широкое распространение как в обычных компьютерных сетях, так и в интернете вещей (IoT). PKI применяется для аутентификации узлов сети и контроля целостности, эти процедуры построены на про- верке электронной подписи данных. Наиболее сложной операцией при проверке элек- тронной подписи является проверка статуса сертификата. Данная проверка может быть реализована двумя методами - с использованием CRL (certificate revocation list) или с OCSP - (Online Certificate Status Protocol). В данной статье рассматриваются пре- имущества и недостатки каждого из этих методов, приведена оценка безопасности и рассмотрена применимость наиболее эффективного из методов для IoT.
Бесплатно
Обучение долговременной памяти через предсказание событий высокой неопределенности
Статья научная
Во многих задачах обучения с подкреплением агенту требуется запоминать информацию из прошлого, необходимую для принятия эффективных решений. Причем момент наблюдения полезной информации может быть удален от момента использования этой информации на тысячи или миллионы временных шагов. К сожалению, применение методов обратного распространения ошибки для обнаружения и выучивания подобных временных зависимостей потребует хранения в оперативной памяти всех промежуточных вычислений нейросети для каждого из временных шагов. Однако, как мы покажем в данной работе, эти вычислительные ограничения можно обойти, если заранее найти критические моменты, когда агенту будет полезно обращение к своей рабочей памяти. Мы добавим в архитектуру агента подсеть памяти, которая будет обучаться предсказывать исходы событий, характеризующихся высокой степенью неопределенности исхода. Данную архитектуру памяти мы протестируем на классической задаче T-лабиринта и в трехмерной среде ViZDoom. Эксперименты демонстрируют, что предложенный нами метод обучается быстрее и стабильнее, чем альтернативные подходы.
Бесплатно
Обучение с расписанием для фильтрации данных и доменной адаптации в нейросетевом машинном переводе
Статья научная
Современные системы нейросетевого машинного перевода требуют для обучения большие объемы параллельных данных. Однако такие корпуса, собранные из множества источников, часто содержат значительный шум: неточности, стилистические расхождения и семантические ошибки. Стандартный подход с однократной статической фильтрацией неэффективен, так как слишком жесткая очистка ведет к потере ценных лингвистических примеров и ухудшению обобщающей способности модели, а мягкая — оставляет в данных артефакты, снижающие качество перевода. В данной работе для решения этой проблемы предлагается использовать технику «обучения с расписанием» (curriculum learning). Представлен метод динамической фильтрации, при котором критерии отбора данных постепенно ужесточаются по мере обучения, что позволяет модели сначала освоить общие закономерности, а затем сфокусироваться на высококачественных примерах. Эффективность этого подхода доказывается эмпирически. Кроме того, на базе той же методологии разработана схема адаптации больших языковых моделей (LLM) для перехода от перевода отдельных предложений к более сложной задаче перевода на уровне документов.
Бесплатно
Одностороннее предоставление ликвидности в автоматических маркет-мейкерах
Статья научная
В статье предлагается способ одностороннего предоставления ликвидности в системах автоматического маркет-мейкинга с накоплением комиссий в виде резервов посредством атомарной последовательности предварительного обмена необходимой доли исходных средств и согласованным (сбалансированным) вложением. Для инварианта Uniswap получено точное решение, для случаев Balancer и Curve представлены результаты моделирования получившихся зависимостей. Далее, найдено асимптотическое разложение до второго порядка малости необходимой доли обмениваемых средств, которое может быть полезно при практическом исследовании примитива. Дополнительно описана сходящаяся к искомому решению итерационная процедура Ньютона - Рафсона и проведена оценка влияния порядка точности начального приближения. В заключительной части работы сделаны выводы по текущему исследованию и даны советы по реализации предлагаемого примитива одностороннего предоставления ликвидности на практике в виде смарт-контракта современных блокчейн сетей.
Бесплатно
Статья научная
Работа посвящена проблеме определения апостериорной плотности вероятности вектора параметров траектории баллистического объекта по измерениям только его угловых координат из одного пункта наблюдения, а также определения доверительной области точки падения этого объекта на поверхность Земли.
Бесплатно
Статья научная
Работа посвящена проблеме определения области поиска и обнаружения в ней космического объекта в следующем сеансе наблюдения после его обнаружения телескопом при отсутствии априорных данных о его орбите, а также анализу возможности уменьшения области поиска объекта за счёт триангуляционного эффекта при стереонаблюдении.
Бесплатно
Определение целевой конфигурации мобильного манипулятора в задачах схвата объектов
Статья научная
Рассматривается задача сбора и перемещения объектов с помощью мобильного манипулятора (мобильной робототехнической платформы, оснащенной робототехническим манипулятором). Для ее решения требуется определить целевую конфигурацию мобильного манипулятора для захвата целевого объекта с учетом положения этого объекта и препятствий. Целевая конфигурация включает положение мобильной платформы и конфигурацию звеньев манипулятора. Предложен и реализован алгоритм определения целевой конфигурации мобильного манипулятора для тесной среды, когда высокая плотность препятствий требует учитывать при планировании захвата геометрическую форму колесной базы и рабочего пространства манипулятора. В рамках алгоритма выполняется серия сверток карты препятствий ядрами, сформированными с учетом формы базы и рабочего пространства манипулятора, в результате чего определяется множество допустимых положений платформы, из которых манипулятор может захватить объект. В ходе экспериментов в симуляционной среде Isaac Sim предложенный подход показал свою эффективность для тесных сред.
Бесплатно
Статья научная
В настоящее время все более актуальной становится задача оптимального планирования наблюдений наземными измерительными средствами. В данной работе формализуется задача планирования с целью сбора координатной информации о космических объектах оптическими и радиотехническими средствами. Предложен метод сведения задачи планирования к построению дерева и поиску в нем ветви с максимальной суммой приоритетов вершин, ей принадлежащих. Для такой постановки приведен оптимальный алгоритм формирования расписаний для случая одного измерительного средства. Вместе с тем данный подход к построению плана позволяет использовать другие более быстрые квазиоптимальные алгоритмы, например, нейронные сети или генетические алгоритмы в случае недостаточного количества вычислительного ресурса.
Бесплатно
Оптимизационная задача разбуривания газовых месторождений одним предприятием
Статья научная
Рассматривается непрерывная агрегированная динамическая модель разработки газовых месторождений. Разбуривание месторождений осуществляется последовательно одним предприятием. Формулируется задача максимизации совокупной накопленной добычи за фиксированный временной период при ограничении на капиталовложения. Делаются упрощающие предположения и решается расширенная задача с помощью принципа максимума Понтрягина. Поиск максимума исходной задачи осуществляется среди решений расширенной задачи. Делаются обобщающие выводы.
Бесплатно
Оптимизация алгоритма декодирования min-sum для кодов с низкой плотностью проверок на четность
Статья научная
Рассмотрены итеративные алгоритмы декодирования кодов с низкой плотностью проверок на чётность. Приведены различные модифицированные версии алгоритма min-sum. Построены графики зависимости битовой ошибки при передаче данных по двоичному каналу связи с аддитивным белым гауссовским шумом. Проведено сравнение сложности реализации различных алгоритмов декодирования.
Бесплатно
Статья научная
В связи с распространением встраиваемых систем с ограниченным объемом памяти, существует необходимость в уменьшении размера кода программного обеспечения при сохранении времени выполнения. Эта задача не была широко изучена исследователями. Компилятор GCC остается популярным выбором при компиляции программ для встраиваемых систем, однако исследования в области перестановки оптимизационных проходов не продвигались с момента выхода Milepost GCC, а текущие исследования автоматической настройки GCC сосредоточены на настройке флагов. В данной работе исследуется возможность упорядочения оптимизационных проходов в GCC для уменьшения размера кода без ущерба для времени выполнения. Предыдущие работы были сосредоточены на оптимизации всей программы, в то время как это исследование посвящено детальной настройке на уровне функций. Авторами предлагается новая система для изучения последовательностей оптимизаций на уровне функций для компилятора GCC, с целевой функцией размера кода и ограничением на постоянство времени выполнения. Также вводится понятие кэша оптимизаций функций, представляющего собой отображение функций в оптимизационные последовательности, который может улучшить выбор оптимизаций на этапе компиляции. В ходе экспериментов были получены такие результаты, как оценка вероятности того, что случайная последовательность оптимизаций превзойдет стандартную для GCC последовательность 02. а также распределение этой вероятности и зависимость этого распределения от исследуемой функции. Наконец, данная работа предлагает дальнейшие направления исследований: изучение взаимодействий между оптимизационными проходами, исследование пространства поиска и адаптивные стратегии по компиляции.
Бесплатно
Оптимизация состава и стратегий развития объектов региональной экономики
Статья научная
Ставится и решается задача одновременной оптимизации состава отраслей региональной экономики и стратегий развития этих отраслей по критерию максимизации отчислений в региональный бюджет. Доказывается применимость метода последовательных расчетов для решения первой задачи и метода ветвей и границ - для решения второй. Отмечается возможность решения данной задачи для других объектов региональной экономики.
Бесплатно
Оптимизация управления обогревом помещения
Статья научная
Рассматривается задача сокращения издержек при обогреве помещения в зимнее время года при двухтарифном учете электроэнергии. На основе принципа максимума Понтрягина предлагается метод оптимального управления электрическим конвектором для поддержания необходимой температуры.
Бесплатно
Особенности засветки бленды солнечным излучением, отраженным от поверхности земли
Статья научная
Проведены расчетные исследования по засветке бленды звездного датчика космического аппарата солнечным излучением, отраженным от поверхности Земли. Математическая модель процесса была реализована в рамках программы метода Монте-Карло POKC-RG, предназначенной для решения уравнения переноса оптического излучения в трехмерной геометрии. Показано, что угловой размер небесной сферы, обеспечивающий допустимую засветку звездного датчика, в ряде случаев может быть увеличен.
Бесплатно
Отслеживание состояния целеориентированного диалога на основе БЕРТ
Статья научная
Отслеживание состояния диалога (Dialogue State Tracking) является одним из ключевых компонентов виртуальных помощников, таких как Alexa или Siri. Для выполнения различных задач этим помощникам необходимо поддерживать всё большее количество сервисов и API. В этой работе мы представляем систему отслеживания целеориентированного диалога с помощью языковой модели BERT с использованием методов обучения понимания вопросно-ответных систем. На вход модель принимает историю диалогов с описанием выделяемых полей и сервисов, а также возможными значениями полей. Языковая модель позволяет переиспользовать информацию о выделяемых слотах в мультидоменных диалогах и масштабироваться на выделение полей, не участвовавших в процессе обучения. Наша модель достигает общей целевой точности 53,97% для набора данных SGD, что превосходит базовую модель.
Бесплатно
Статья научная
Рак молочной железы остается наиболее распространенным видом рака среди женщин, и в значительном числе случаев его прогрессирование обусловлено влиянием эстрогеновых рецепторов. Тамоксифен, являясь селективным модулятором эстрогеновых рецепторов, широко используется в адъювантной терапии, особенно у женщин в пременопаузе. Однако его применение связано с повышенным риском рака эндометрия, что ограничивает его применение. В этом исследовании были проведены молекулярные динамические моделирования комплексов тамоксифена и ралоксифена с эстрогеновым рецептором альфа. Анализ был сосредоточен на взаимодействиях с критическими аминокислотными остатками в активном центре рецептора. Результаты показывают, что ослабленное связывание тамоксифена с этими остатками может лежать в основе его связи с ER-зависимым раком эндометрия.
Бесплатно
Оценка доходности инвестиционных проектов в условиях несовершенного рынка капитала
Статья научная
Рассматривается подход к оценке доходности инвестиционных проектов, учитыва- ющий индивидуальную инвестиционную среду. Для каждого участника рынка в каче- стве описания инвестиционной среды используем всегда ему доступные стационарные и тиражируемые проекты. В качестве мачематического описания инвестиционной сре- ды используется модель Кинтора-Липмана. Метод позволяет вычислить дефляторы денежных потоков для каждого периода времени. Для стационарной инвестиционной среды сформулирован простой критерий оценки проектов, основанный на магистраль- ном свойстве решения задачи, двойственной к задаче оптимального инвестирования.
Бесплатно
Оценка параметров дыхательной активности пациента на основе данных фотоплетизмографии
Статья научная
Частота дыхательных движений является одним из основных индикаторов функционального состояния пациента и используется в качестве независимого предиктора внезапной остановки сердца. Метод фотоплетизмографии широко используется для неинвазивного мониторинга уровня сатурации гемоглобина крови кислородом путем измерения интенсивности поглощения света, проходящего через исследуемый участок ткани с пульсирующей кровью. В качестве клинически доказанного и эффективного метода фотоплетизмография используется для объективной оценки состояния сердечно-сосудистой и респираторной систем, а оценка параметров изменения пульсовой волны эффективно применяется для диагностики синдрома обструктивного апноэ сна. В данной работе предлагается метод расчета частоты дыхательной активности, основанный на гармоническом анализе данных фотоплетизмограммы при помощи параметрической оценки спектральной плотности функции коррентропии регистрируемого сигнала. Применение данного подхода обеспечивает улучшенное спектральное разрешение в сравнении с традиционными методами анализа Фурье и позволяет эффективно выявить модулированные паттерны фотоплетизмографического сигнала при наличии различного рода нестационарных помех.
Бесплатно
