Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем. Рубрика в журнале - Программные системы: теория и приложения
Статья научная
За прошедшее десятилетие активная господдержка ускорила развитие суперкомпьютерной отрасли в России. Сегодня в стране работают несколько суперкомпьютеров большой производительности, на которых решается все большее число научно-технических задач. Набирает силу суперкомпьютерное образование в ВУЗах. В то же время можно констатировать «однобокое» развития отрасли в отношении представленных в стране суперкомпьютерных архитектур и недостаточное развитие работ в области развития массового параллелизма при решении прикладных задач. В статье кратко рассмотрены основные тенденции того, как развивалась архитектура и коммутационные сети лучших суперкомпьютеров мира, начиная с 1990х гг. Выделено главное направление, которое побеждает в условиях жесткой конкуренции возрастающего спроса на вычисления, использующие все большее число процессоров (вычислительных ядер) в одной задаче. Сформулированы предложения того, что нужно предпринять, чтобы суперкомпьютерная отрасль в России не отстала бы от мирового уровня, а встала бы на это же главное направление. Критический настрой статьи ни в коей мере не нацелен на преуменьшение достигнутых успехов в развитии суперкомпьютерной отрасли нашей страны. Задача авторов состоит в попытке акцентирования внимания суперкомпьютерного сообщества России на вызовах, которые чувствует сегодня российский ученый, использующий высокопроизводительные вычисления, при проведении исследований, которые могли бы стать конкурентными в международном контексте.
Бесплатно
Программирование графических процессоров (GPU) на языке MC#
Статья научная
В статье рассматриваются базовые принципы и средства программирования графических процессоров (graphical processor units – GPU) на языке MC#, являющимся расширением языка C#. Приводится пример программы на языке MC#, предназначенной для исполнения на GPU, и разбираются средства задания конфигурации GPU, средства работы с разделяемой памятью и использование CUDA-средств в MC#-программах. В заключение, перечисляются нерешенные вопросы и пути дальнейшего развития системы программирования MC# для GPU.
Бесплатно
Программный инструментарий для трафаретных вычислений на гибридных суперкомпьютерах
Статья научная
Рассматривается проблема переноса программ на гибридные суперкомпьютеры. В общем случае эта проблема сложна и требует вложения значительного количества высококвалифицированного труда, однако для ограниченных классов программ перенос всё же поддается автоматизации. Одним из таких классов являются трафаретные программы, имеющие широкое применение в научных вычислениях. Излагаются идеи и описывается реализация программного инструментария, разработанного авторами в рамках проекта Кентавр, направленного на автоматическое распараллеливание трафаретных программ для исполнения на гибридных суперкомпьютерах. Основная задача, решаемая инструментарием Кентавр,~— автоматизация обменов между вычислительными узлами суперкомпьютера, а также между ускорителем и центральным процессором в рамках узла.
Бесплатно
Статья научная
Возрастающие объемы геномных данных о положении сайтов связывания транскрипционных факторов, хромосомных контактах, аннотации геномных характеристик, полученных с помощью современных технологий секвенирования, требуют разработки нового программного обеспечения для их анализа, оптимизации существующих алгоритмов обработки. Суперкомпьютерные вычисления позволяют решать задачи исследования регуляции транскрипции генов на качественно новом уровне. Рассмотрены задачи анализа геномных данных секвенирования, полученных на основе технологий ChIP-seq, ChIA-PET и Hi-C. Представлены компьютерные подходы и разработанные авторами программы для решения предложенных задач геномики, приведена дискуссия о дальнейших направлениях развития.
Бесплатно
Проект распределенной сети суперкомпьютерных центров коллективного пользования
Ред. заметка
Одним из ключевых методов повышения доступности и эффективности использования ресурсов суперкомпьютерных центров коллективного пользования (СКЦ) является их объединение в единую распределенную сеть.Подобное объединение дает возможность оперативного перераспределения нагрузки между ресурсами путем перенаправления пользовательских заданий из очереди одного СКЦ в очередь другого, менее загруженного в определенный момент времени. В статье рассматриваются цель, задачи и ожидаемые результаты проекта по созданию распределенной сети СКЦ.В статье приводятся результаты экспериментов по исследованию характеристик защищенного канала связи между СКЦ пилотной зоны проекта распределенной сети ---МСЦ РАН (г. Москва) и ССКЦ СО РАН (г. Новосибирск).
Бесплатно
Производительность Riak KV в задаче сохранения сенсорных данных
Ред. заметка
Система хранения сенсорных данных является важной частью систем анализа данных. Ее задача принимать данные с временными метками от удалённых источников, сохранять данные и предоставлять доступ к ним по идентификатору датчика и временному интервалу. С ростом числа датчиков становится актуальной задача масштабирования системы. В данной статье мы экспериментально исследуем применение Riak KV масштабируемого распределённого хранилища типа «ключ-значение» в качестве основы системы хранения сенсорных данных.
Бесплатно
Разные неблокируемые самомаршрутизируемые системные сети с прямыми каналами
Статья научная
Разработаны три новых варианта неблокируемой самомаршрутизируемой сети с прямыми каналами, в которой конфликты пакетов обнаруживаются и разрешаются на входе в сеть. Заблокированные в конфликтах пакеты повторно передаются источниками с минимальными задержками. В сеть добавлены сквозные цепи обратной связи для быстрого обнаружения конфликтов пакетов. Наличие цепей обратной связи позволяет осуществлять произвольный трафик без потери пакетов. Сети разработаны в 1-, 2-, 4-, и 8-каскадном вариантах с масштабированием числа каналов от нескольких сот до многих миллионов с оценкой достигаемого быстродействия сетей на перестановочном трафике. Практическая ориентация предложенных сетей - это системные сети с передачей маршрутной информации в заголовках пакетов с использованием в каждом каскаде управляющей маршрутной информации. Предложенные сети выполнены в расширенном схемном базисе, состоящем из коммутаторов, мультиплексоров и демультиплексоров. В работе представлены характеристики построенных сетей и дана их сравнительная оценка. Новизна разработанных сетей состоит как в самом факте их построения, так и в использованной структуре сетей и их характеристиках.
Бесплатно
Статья научная
Авторами была выполнена разработка экспериментального образца комплекса программных средств суперкомпьютерного моделирования характеристик полупроводниковых наноструктурированных сред для сверхбыстрой модуляции света в системах передачи информации в волоконно-оптических линиях связи. В статье описывается процесс создания данного комплекса на языке C++ на основе разработанного авторами программного кода на языке Matlab. Приводится перечень основных проблем, с которыми пришлось столкнуться авторам, и предлагаются способы их решения. Во второй части статьи приводятся результаты экспериментального исследования, показывающие высокую эффективность и масштабируемость разработанного комплекса.
Бесплатно
Распределенная арифметика в оптическом канале на основе фотонных коммутаторов
Статья научная
В статье рассматривается фотонная сеть с распределенным управлением, состоящая из нескольких узлов, связанных общим каналом, в котором за время передачи одного числа выполняется единая операция над числами, которые параллельно передаются всеми узлами. Рассматриваются такие операции как суммирование или нахождение максимума (минимума) чисел, передаваемых последовательно по двоичным разрядам. Предполагается, что разряды чисел передаются парафазными оптическими сигналами, а общий канал строится из фотонных коммутаторов этих сигналов.
Бесплатно
Статья научная
Статья посвящена вопросам применения высокопроизводительных средств для подготовки специалистов в области параллельных вычислений. Рассматриваются различные способы организации образовательного процесса, обсуждаются сильные и слабые стороны каждого из подходов. Подробно описывается предложенный подход создания вычислительной системы на основе персональных компьютеров, объединенных в локальную или глобальную сеть.
Бесплатно
Сжатие сенсорных данных с малым расходом оперативной памяти
Статья научная
Рассматривается задача сжатия скалярных данных в узлах сенсорной сети в потоковом режиме (без накопления блока некомпрессированных данных). Рассмотрено несколько экспериментальных алгоритмов сжатия, основанных на сочетании дельта-кодирования (LPC) с кодированием повторов (RLE). На стадии статистического кодирования применялись: a) код переменной длины с динамическими префиксами, полученными с помощью MTF-преобразования, b) адаптивный бинарный код, c) адаптивные коды Голомба-Райса. Проведено сравнение известных и экспериментальных алгоритмов на 75 источниках сенсорных данных. В тестах достигнуты коэффициенты сжатия порядка 1.5/4/1000000 (мин/медиана/макс) при размере контекста алгоритма сжатия порядка 10 байт.
Бесплатно
Синхронное взаимодействие распределенных неупорядоченных цифровых объектов
Статья научная
Предложены методы быстрой синхронизации взаимодействия неупорядоченных активных распределенных цифровых объектов, объединенных в группы. Неупорядоченные объекты (не использующие адреса или другие индивидуальные признаки) заменяют обращение к отдельным объектам по адресам обращением к кластерам объектов с указанием общих для таких объектов наборов признаков. Любому количеству объектов доступен одновременный обмен сигналами и сообщениями с любым количеством объектов. Перевод объектов в синхронное состояние выполняется однотактно, посылкой объектами единственного сигнала синхронизации, и затем поддерживается в течение заданного времени. Основной вид связей между объектами - беспроводные каналы, с передачей по ним оптических или радиосигналов. Нарушение синхронизации объекты восстанавливают собственными действиями. Объекты могут быть стационарными и мобильными. Основные особенности структуры связей объектов - одновременная видимость состояния всех объектов любым объектом группы и одновременная доставка на вход любого объекта сообщений группы объектов с побитной синхронизацией.
Бесплатно
Скрытые резервы системных сетей суперкомпьютеров Blue Waters (IBM) и Gemini (CRAY)
Статья научная
Рассматриваются простые возможности повышения характеристик интерконнекта суперкомпьютеров Blue Waters (IBM) и Gemini (CRAY) за счет использования системных сетей с прямыми каналами.
Бесплатно
Статья обзорная
Дан сравнительный анализ производительности серверных ARM./процессоров, используемых на~суперЭВМ или ориентированных в частности на~высокопроизводительные вычисления (HPC). В~стартовый анализ производительности были отобраны Fujitsu A64FX, Marvell ThunderX2 и Huawei Kunpeng 920. Обзор производительности для HPC сосредоточен в~первую очередь на~тестах и приложениях для A64FX, поддерживающего более длинные, чем у~других ARM./процессоров, вектора и имеющего большую пиковую производительность. Производительность A64FX сопоставлена с~соответствующими данными для Intel Xeon Skylake и Cascade Lake, и AMD EPYC с~Zen 2 и 3 (Roma и Milan), а также с~GPU Nvidia V100 и A100. Сформулирован краткий набор потенциальных плюсов и минусов микроархитектуры A64FX. Сопоставлены данные о~производительности, получаемой с~применением различных компиляторов для A64FX. Сформированы признаки, когда A64FX дает обычно преимущества в~производительности относительно x86-64, а когда~.-- проигрывает x86-64. Подтверждается, что применение A64FX в~суперЭВМ может расти далее. Возможно, гегемония x86-64 в~HPC будет уменьшаться, в~том числе за счет расширения применения серверных ARM./процессоров. Однако проведенный анализ A64FX и ожидаемых в~ближайшее время новых процессоров архитектуры AArch64 показал, что ведущим в~этом процессе не обязательно окажется A64FX.
Бесплатно
Специализатор JaSpe: BT-объекты и межпроцедурный аспект алгоритма анализа времен связывания
Статья научная
Статья посвящена частичным вычислениям, использующим offline-стратегию. Мощность этого метода решения задачи специализации программ во многом зависит от анализа времен связывания, который размечает программные конструкции как выполнимые либо невыполнимые на этапе специализации. Анализ времен связывания может использовать несколько вариантов разметки полей класса, зависящих от их использования в программе. Увеличивая число потенциальных оптимизаций, такая поливариантность по классам позволяет эффективно специализировать большее число программ. Наибольший эффект достигается на объектно./ориентированных языках, предполагающих создание большого количества различающихся по~ назначению экземпляров класса. Известные алгоритмы анализа времен связывания расширяются до поливариантности по классам и распрострают их на~объектно./ориентированный язык общего назначения. Новые методы реализованы в~виде набора плагинов для Eclipse IDE, составляющих специализатор JaSpe для программ на Java.
Бесплатно
Способы повышения производительности систем хранения данных
Статья научная
В статье рассматриваются основные способы повышения производительности систем хранения данных (СХД). Определяется направление совершенствования высокопроизводительных СХД (ВСХД)
Бесплатно
Сравнительная оценка методов планирования приложений в распределенных вычислительных средах
Ред. заметка
Работа посвящена анализу эффективности известных алгоритмов планирования пакетов задач и композитных приложений в распределенных вычислительных средах (РВС). Сравнение алгоритмов производится на основе результатов имитационных экспериментов для различных примеров приложений и конфигураций РВС. Имитационное моделирование позволяет избежать проведения длительных натурных экспериментов и обеспечить воспроизводимость результатов. Помимо полученных результатов описывается используемая имитационная модель (симулятор) РВС на базе платформы SimGrid
Бесплатно
Статья научная
Работа посвящена анализу современного состояния исследований в области алгоритмического, математического и программного обеспечения распределения задач по вычислительным узлам гетерогенной вычислительной среды. Предложена классификация стратегий распределения нагрузки: по принципу учета динамики, по принципу управления, по признаку универсальности, с прогнозированием/без прогнозирования состояния системы и пр. Рассмотрен ряд методов, систем и комплексов распределения нагрузки, в том числе следующие: метод с представлением задачи в виде направленного ациклического графа, модель планировщика задач на основе метаданных, системы «DIET», «ProActive», «Moab», «Maui», система поддержки «пластичных» заданий, комплекс потоковой обработки в терминах теории массового обслуживания, сервис-ориентированный подход. Использование указанного обеспечения позволяет минимизировать время простоя вычислительных устройств, сократить объемы и время передачи данных от одних исполнительных устройств другим, повысить общую масштабируемость, минимизировать время доступа к данным и пр. Выявлены достоинства и недостатки, даны предложения по применению.
Бесплатно
Ред. заметка
Развитие технологий высокопроизводительного секвенирования ДНК привело к появлению нового класса объемных геномных данных и алгоритмов их обработки и анализа. Суперкомпьютерные вычисления являются необходимым инструментом работы с генетическими данными. Представлены задачи геномики и транскриптомики, анализа экспрессии генов в контексте вычислительной сложности. Дан обзор компьютерных подходов и разработанных авторами программ для решения задач, возникающих при аннотации геномных данных и анализе экспрессии генов
Бесплатно
Суперкомпьютеры, иерархия памяти и потоковая модель вычислений
Статья научная
Современные суперкомпьютеры устроены иерархически, и глубина этой иерархии будет только расти. Структурная иерархия (ядро–чип– узел–шасси–стойка–система) создает заметные неоднородности в коммуникационной сети. Иерархия памяти тоже создает неоднородность доступа: больше объем — медленнее доступ. Поэтому среди факторов неэффективности на первый план выходят затраты на перемещения данных, и соответственно растет сложность построения хорошо оптимизированных по этому фактору программ. Возникающие трудности в значительной мере являются следствием традиционной парадигмы программирования, восходящей к фон Нейману. И хотя в защиту этой парадигмы имеются такие серьезные аргументы как сложившиеся навыки и накопленное программное обеспечение, все же полезно хотя бы в теории понимать альтернативы. Мы видим корень проблем фоннеймановского программирования в том, что в нем осуществляется парадигма сбора, и предлагаем перейти к использованию модели вычислений с управлением потоком данных, которой свойственна работа в парадигме раздачи, и в которой благодаря этой парадигме проблемы оптимизации перемещения данных решаются и проще, и эффективнее.
Бесплатно
