Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем. Рубрика в журнале - Программные системы: теория и приложения
Программный инструментарий для трафаретных вычислений на гибридных суперкомпьютерах
Статья научная
Рассматривается проблема переноса программ на гибридные суперкомпьютеры. В общем случае эта проблема сложна и требует вложения значительного количества высококвалифицированного труда, однако для ограниченных классов программ перенос всё же поддается автоматизации. Одним из таких классов являются трафаретные программы, имеющие широкое применение в научных вычислениях. Излагаются идеи и описывается реализация программного инструментария, разработанного авторами в рамках проекта Кентавр, направленного на автоматическое распараллеливание трафаретных программ для исполнения на гибридных суперкомпьютерах. Основная задача, решаемая инструментарием Кентавр,~— автоматизация обменов между вычислительными узлами суперкомпьютера, а также между ускорителем и центральным процессором в рамках узла.
Бесплатно
Статья научная
Возрастающие объемы геномных данных о положении сайтов связывания транскрипционных факторов, хромосомных контактах, аннотации геномных характеристик, полученных с помощью современных технологий секвенирования, требуют разработки нового программного обеспечения для их анализа, оптимизации существующих алгоритмов обработки. Суперкомпьютерные вычисления позволяют решать задачи исследования регуляции транскрипции генов на качественно новом уровне. Рассмотрены задачи анализа геномных данных секвенирования, полученных на основе технологий ChIP-seq, ChIA-PET и Hi-C. Представлены компьютерные подходы и разработанные авторами программы для решения предложенных задач геномики, приведена дискуссия о дальнейших направлениях развития.
Бесплатно
Проект распределенной сети суперкомпьютерных центров коллективного пользования
Ред. заметка
Одним из ключевых методов повышения доступности и эффективности использования ресурсов суперкомпьютерных центров коллективного пользования (СКЦ) является их объединение в единую распределенную сеть.Подобное объединение дает возможность оперативного перераспределения нагрузки между ресурсами путем перенаправления пользовательских заданий из очереди одного СКЦ в очередь другого, менее загруженного в определенный момент времени. В статье рассматриваются цель, задачи и ожидаемые результаты проекта по созданию распределенной сети СКЦ.В статье приводятся результаты экспериментов по исследованию характеристик защищенного канала связи между СКЦ пилотной зоны проекта распределенной сети ---МСЦ РАН (г. Москва) и ССКЦ СО РАН (г. Новосибирск).
Бесплатно
Производительность Riak KV в задаче сохранения сенсорных данных
Ред. заметка
Система хранения сенсорных данных является важной частью систем анализа данных. Ее задача принимать данные с временными метками от удалённых источников, сохранять данные и предоставлять доступ к ним по идентификатору датчика и временному интервалу. С ростом числа датчиков становится актуальной задача масштабирования системы. В данной статье мы экспериментально исследуем применение Riak KV масштабируемого распределённого хранилища типа «ключ-значение» в качестве основы системы хранения сенсорных данных.
Бесплатно
Разные неблокируемые самомаршрутизируемые системные сети с прямыми каналами
Статья научная
Разработаны три новых варианта неблокируемой самомаршрутизируемой сети с прямыми каналами, в которой конфликты пакетов обнаруживаются и разрешаются на входе в сеть. Заблокированные в конфликтах пакеты повторно передаются источниками с минимальными задержками. В сеть добавлены сквозные цепи обратной связи для быстрого обнаружения конфликтов пакетов. Наличие цепей обратной связи позволяет осуществлять произвольный трафик без потери пакетов. Сети разработаны в 1-, 2-, 4-, и 8-каскадном вариантах с масштабированием числа каналов от нескольких сот до многих миллионов с оценкой достигаемого быстродействия сетей на перестановочном трафике. Практическая ориентация предложенных сетей - это системные сети с передачей маршрутной информации в заголовках пакетов с использованием в каждом каскаде управляющей маршрутной информации. Предложенные сети выполнены в расширенном схемном базисе, состоящем из коммутаторов, мультиплексоров и демультиплексоров. В работе представлены характеристики построенных сетей и дана их сравнительная оценка. Новизна разработанных сетей состоит как в самом факте их построения, так и в использованной структуре сетей и их характеристиках.
Бесплатно
Статья научная
Авторами была выполнена разработка экспериментального образца комплекса программных средств суперкомпьютерного моделирования характеристик полупроводниковых наноструктурированных сред для сверхбыстрой модуляции света в системах передачи информации в волоконно-оптических линиях связи. В статье описывается процесс создания данного комплекса на языке C++ на основе разработанного авторами программного кода на языке Matlab. Приводится перечень основных проблем, с которыми пришлось столкнуться авторам, и предлагаются способы их решения. Во второй части статьи приводятся результаты экспериментального исследования, показывающие высокую эффективность и масштабируемость разработанного комплекса.
Бесплатно
Статья научная
Статья посвящена вопросам применения высокопроизводительных средств для подготовки специалистов в области параллельных вычислений. Рассматриваются различные способы организации образовательного процесса, обсуждаются сильные и слабые стороны каждого из подходов. Подробно описывается предложенный подход создания вычислительной системы на основе персональных компьютеров, объединенных в локальную или глобальную сеть.
Бесплатно
Сжатие сенсорных данных с малым расходом оперативной памяти
Статья научная
Рассматривается задача сжатия скалярных данных в узлах сенсорной сети в потоковом режиме (без накопления блока некомпрессированных данных). Рассмотрено несколько экспериментальных алгоритмов сжатия, основанных на сочетании дельта-кодирования (LPC) с кодированием повторов (RLE). На стадии статистического кодирования применялись: a) код переменной длины с динамическими префиксами, полученными с помощью MTF-преобразования, b) адаптивный бинарный код, c) адаптивные коды Голомба-Райса. Проведено сравнение известных и экспериментальных алгоритмов на 75 источниках сенсорных данных. В тестах достигнуты коэффициенты сжатия порядка 1.5/4/1000000 (мин/медиана/макс) при размере контекста алгоритма сжатия порядка 10 байт.
Бесплатно
Скрытые резервы системных сетей суперкомпьютеров Blue Waters (IBM) и Gemini (CRAY)
Статья научная
Рассматриваются простые возможности повышения характеристик интерконнекта суперкомпьютеров Blue Waters (IBM) и Gemini (CRAY) за счет использования системных сетей с прямыми каналами.
Бесплатно
Статья обзорная
Дан сравнительный анализ производительности серверных ARM./процессоров, используемых на~суперЭВМ или ориентированных в частности на~высокопроизводительные вычисления (HPC). В~стартовый анализ производительности были отобраны Fujitsu A64FX, Marvell ThunderX2 и Huawei Kunpeng 920. Обзор производительности для HPC сосредоточен в~первую очередь на~тестах и приложениях для A64FX, поддерживающего более длинные, чем у~других ARM./процессоров, вектора и имеющего большую пиковую производительность. Производительность A64FX сопоставлена с~соответствующими данными для Intel Xeon Skylake и Cascade Lake, и AMD EPYC с~Zen 2 и 3 (Roma и Milan), а также с~GPU Nvidia V100 и A100. Сформулирован краткий набор потенциальных плюсов и минусов микроархитектуры A64FX. Сопоставлены данные о~производительности, получаемой с~применением различных компиляторов для A64FX. Сформированы признаки, когда A64FX дает обычно преимущества в~производительности относительно x86-64, а когда~.-- проигрывает x86-64. Подтверждается, что применение A64FX в~суперЭВМ может расти далее. Возможно, гегемония x86-64 в~HPC будет уменьшаться, в~том числе за счет расширения применения серверных ARM./процессоров. Однако проведенный анализ A64FX и ожидаемых в~ближайшее время новых процессоров архитектуры AArch64 показал, что ведущим в~этом процессе не обязательно окажется A64FX.
Бесплатно
Специализатор JaSpe: BT-объекты и межпроцедурный аспект алгоритма анализа времен связывания
Статья научная
Статья посвящена частичным вычислениям, использующим offline-стратегию. Мощность этого метода решения задачи специализации программ во многом зависит от анализа времен связывания, который размечает программные конструкции как выполнимые либо невыполнимые на этапе специализации. Анализ времен связывания может использовать несколько вариантов разметки полей класса, зависящих от их использования в программе. Увеличивая число потенциальных оптимизаций, такая поливариантность по классам позволяет эффективно специализировать большее число программ. Наибольший эффект достигается на объектно./ориентированных языках, предполагающих создание большого количества различающихся по~ назначению экземпляров класса. Известные алгоритмы анализа времен связывания расширяются до поливариантности по классам и распрострают их на~объектно./ориентированный язык общего назначения. Новые методы реализованы в~виде набора плагинов для Eclipse IDE, составляющих специализатор JaSpe для программ на Java.
Бесплатно
Способы повышения производительности систем хранения данных
Статья научная
В статье рассматриваются основные способы повышения производительности систем хранения данных (СХД). Определяется направление совершенствования высокопроизводительных СХД (ВСХД)
Бесплатно
Сравнительная оценка методов планирования приложений в распределенных вычислительных средах
Ред. заметка
Работа посвящена анализу эффективности известных алгоритмов планирования пакетов задач и композитных приложений в распределенных вычислительных средах (РВС). Сравнение алгоритмов производится на основе результатов имитационных экспериментов для различных примеров приложений и конфигураций РВС. Имитационное моделирование позволяет избежать проведения длительных натурных экспериментов и обеспечить воспроизводимость результатов. Помимо полученных результатов описывается используемая имитационная модель (симулятор) РВС на базе платформы SimGrid
Бесплатно
Статья научная
Работа посвящена анализу современного состояния исследований в области алгоритмического, математического и программного обеспечения распределения задач по вычислительным узлам гетерогенной вычислительной среды. Предложена классификация стратегий распределения нагрузки: по принципу учета динамики, по принципу управления, по признаку универсальности, с прогнозированием/без прогнозирования состояния системы и пр. Рассмотрен ряд методов, систем и комплексов распределения нагрузки, в том числе следующие: метод с представлением задачи в виде направленного ациклического графа, модель планировщика задач на основе метаданных, системы «DIET», «ProActive», «Moab», «Maui», система поддержки «пластичных» заданий, комплекс потоковой обработки в терминах теории массового обслуживания, сервис-ориентированный подход. Использование указанного обеспечения позволяет минимизировать время простоя вычислительных устройств, сократить объемы и время передачи данных от одних исполнительных устройств другим, повысить общую масштабируемость, минимизировать время доступа к данным и пр. Выявлены достоинства и недостатки, даны предложения по применению.
Бесплатно
Ред. заметка
Развитие технологий высокопроизводительного секвенирования ДНК привело к появлению нового класса объемных геномных данных и алгоритмов их обработки и анализа. Суперкомпьютерные вычисления являются необходимым инструментом работы с генетическими данными. Представлены задачи геномики и транскриптомики, анализа экспрессии генов в контексте вычислительной сложности. Дан обзор компьютерных подходов и разработанных авторами программ для решения задач, возникающих при аннотации геномных данных и анализе экспрессии генов
Бесплатно
Суперкомпьютеры, иерархия памяти и потоковая модель вычислений
Статья научная
Современные суперкомпьютеры устроены иерархически, и глубина этой иерархии будет только расти. Структурная иерархия (ядро–чип– узел–шасси–стойка–система) создает заметные неоднородности в коммуникационной сети. Иерархия памяти тоже создает неоднородность доступа: больше объем — медленнее доступ. Поэтому среди факторов неэффективности на первый план выходят затраты на перемещения данных, и соответственно растет сложность построения хорошо оптимизированных по этому фактору программ. Возникающие трудности в значительной мере являются следствием традиционной парадигмы программирования, восходящей к фон Нейману. И хотя в защиту этой парадигмы имеются такие серьезные аргументы как сложившиеся навыки и накопленное программное обеспечение, все же полезно хотя бы в теории понимать альтернативы. Мы видим корень проблем фоннеймановского программирования в том, что в нем осуществляется парадигма сбора, и предлагаем перейти к использованию модели вычислений с управлением потоком данных, которой свойственна работа в парадигме раздачи, и в которой благодаря этой парадигме проблемы оптимизации перемещения данных решаются и проще, и эффективнее.
Бесплатно
Статья научная
Рассматривается структура, состав и применение Унифицированных электронных модулей (изделия УЭМ) для решения задач цифровой локации в реальном масштабе времени с применением модифицированных современных алгоритмов цифровой обработки сигналов (ЦОС), а также построение масштабируемых вычислительных систем сбора и цифровой обработки информации на базе УЭМ для решения задач цифровой локации в различных областях науки и техники.
Бесплатно
Цветные сети Петри и язык распределенного программирования UPL: их сравнение и перевод
Статья научная
Сети Петри широко используются как средство моделирования распределенных мультиагентых систем. Существуют инструменты работы с расширенными сетями Петри, в которых токены нагружены произвольными данными. В частности, CPN Tools позволяет описывать, проигрывать и исследовать цветные сети Петри (Coloured Petri Nets, CPN). Ставится вопрос о возможности использовать этот инструмент для разработки, прототипирования и исследования параллельных распределенных вычислительных алгоритмов, в идеале - превращения их в работающие эффективные параллельные программы. У нас есть опыт экспериментального программирования разных алгоритмов в нашем графическом языке UPL, который пока существует как бы «на бумаге». Его сравнение с CPN показывает, что в их семантиках много общего. В статье оба языка определяются, сравниваются на примерах и через правила перевода из одного в другой. Также описываются средства управления распределением вычислений для UPL. Интересен вопрос об их переносе в CPN, где им пока аналога нет.
Бесплатно
Шаблоны в модуле визуализации Web-интерфейса системы мониторинга BotikMon
Ред. заметка
Статья посвящена системе мониторинга BotikMon, разработанной в ИПС им.~А.~К.~Айламазяна РАН. Система предназначена для архивации и визуализации информации, полученной от большого числа датчиков. В данной статье рассматривается вопрос разработки структур данных для страниц «избранное» в графическом интерфейсе пользователя системы BotikMon. Страницы «избранное» дают возможность сводить на одну страницу выбранные оператором данные и настраивать режимы отображения для них. Предлагается подход, основанный на использовании объектов\=/шаблонов, для которых поддерживается механизм наследования.
Бесплатно
Эксафлопсные суперЭВМ. 1 контуры архитектуры
Статья научная
Исследованы архитектурные аспекты вычислительных систем эксафлопной производительности. Оценены параметры вычислительной и коммуникационной сред. Показано, что для достижения эксафлопной производительности необходимы гибридные системы. Процессорные элементы этих систем содержат ядра универсальных процессоров и арифметические ускорители. Они реализуют MIMD и SIMD дисциплины вычислений соответственно. Эффективное задействование эксафлопных гибридных систем требует принципиально нового программного обеспечения и средств архитектурного масштабирования эффективности. Применение перечисленных средств иллюстрируется на примерах тестовых программ молекулярной динамики и NPB LU. В результате достигается динамическая адаптируемость архитектуры к особенностям исполняемой программы, что в свою очередь обеспечивает эффективность применения эксафлопных суперЭВМ.
Бесплатно
