Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем. Рубрика в журнале - Программные системы: теория и приложения
Desktop Grid корпоративного уровня
Статья научная
В работе рассказывается о системах Desktop Grid корпоративного уровня, их возможностях, отличительных особенностях и приложениях. Даны примеры реализации систем промежуточного программного обеспечения, предназначенных для организации корпоративных Desktop Grid.
Бесплатно
Etherbox: протокол для управления модульной сенсорной сетью
Ред. заметка
Протокол прикладного уровня Etherbox предназначен для взаимодействия управляющего компьютера с узлами сенсорной сети в форме исполняемых программ виртуальной машины, что позволяет обеспечить гибкость в управлении, необходимую для сенсорных сетях с модульной конструкцией узлов. В статье описаны принципы функционирования сенсорной сети, использующей протокол Etherbox, в сравнении с сетями, использующими протоколы MQTT-SN и CoAP. Рассматривается архитектура программного обеспечения снесорных узлов и управляющего компьютера.
Бесплатно
Memory-efficient sensor data compression
Статья научная
We treat scalar data compression in sensor network nodes in streaming mode (compressing data points as they arrive, no pre-compression buffering). Several experimental algorithms based on linear predictive coding (LPC) combined with run length encoding (RLE) are considered. In entropy coding stage we evaluated (a) variable-length coding with dynamic prefixes generated with MTF-transform, (b) adaptive width binary coding, and (c) adaptive Golomb-Rice coding. We provide a comparison of known and experimental compression algorithms on 75 sensor data sources. Compression ratios achieved in the tests are about 1.5/4/1000000 (min/med/max), with compression context size about 10 bytes.
Бесплатно
Methods for anchoring boundary nodes when smoothing a triangular surface mesh
Статья научная
In numerical modeling tasks that use surface meshes, remeshing is often required. However, while remeshing, distortion can occur. The accumulation of distortions can lead to the collapse of the solution. Smoothing algorithms are used to maintain the quality of the mesh during the calculation. When performing smoothing using methods that shift the mesh nodes, the border nodes are usually fixed to avoid distortion. However, simply fixing the nodes can lead to more severe distortion. This paper presents methods for working with boundary nodes to control such nodes during the smoothing process. Algorithms for working with pseudo-3D surface meshes, which are of particular interest, are also considered
Бесплатно
Modern server ARM processors for supercomputers: A64FX and others. Initial data of benchmarks
Статья обзорная
A comparative analysis of~the performance of~ARM server processors used on~supercomputers or also aimed at~high-performance computing (HPC) is given. Fujitsu A64FX, Marvell ThunderX2 and Huawei Kunpeng 920 were selected for the initial performance analysis. The HPC performance review focuses primarily on~benchmarks and applications for the A64FX, which supports longer vectors than other ARM processors and has higher peak performance. The performance of~the A64FX is compared against corresponding data for Intel Xeon Skylake and Cascade Lake, and AMD EPYC with Zen 2 and 3 (Roma and Milan), as well as Nvidia V100 and A100 GPUs. A~short set of~potential pros and cons of~the A64FX microarchitecture has been formulated. Comparison of~performance data obtained using different compilers for A64FX. Features have been formed when A64FX usually gives advantages in~performance over x86-64, and when it concedes to x86-64. It is clear that the use of~A64FX in~supercomputers can grow further. There is an assumption that x86-64 hegemony in~HPC will decrease, in~particular, due to the increased use of~server ARM processors. But the analysis of~A64FX and new AArch64 processors expected in~the near future showed that A64FX will not necessarily lead in~this process.
Бесплатно
The platform approach to research and development using high-performance computing
Статья научная
In this paper, we analyze the prerequisites and substantiate the relevance for creating an open Internet platform that employs big data technologies, highperformance computing, and multilateral markets in a unified way. Conceived as an ecosystem for the development and use of applied software (including in the field of design and scientific research), the platform should reduce time/costs and improve the quality of software development for solving analytical problems arising in industrial enterprises, scientific research organizations, state bodies and private individuals. The article presents a working prototype of the platform using supercomputer technologies and desktop virtualization systems.
Бесплатно
Vectorization of the Riemann solver using the AVX-512 instruction set
Статья научная
Numerical methods based on solving the Riemann problem of the decay of an arbitrary discontinuity are extremely demanding of computational resources. Applying the data of numerical methods to modern computational grids requires the use of a supercomputer. Among the various tools for improving the performance of supercomputer applications, we can emphasize the vectorization of program code. The AVX-512 instruction set has a number of unique features allowing to apply vectorization to the Riemann solver software context, which results in a significant acceleration of the solver. Using the exact Riemann solver as an example, the article discusses practical approach to vectorizing a various program contexts, including simple linear blocks, regions with complex control, and nested loops. The basis of the approach under consideration is the possibility of simultaneously executing several instances of some pure function on the same processor core. This feature is achieved by translating the program code into the predicate form and using AVX-512 vector instructions. In this case the number of simultaneously running instances is equal to the width of the vector. It is shown that using the features of the AVX-512 instruction set allows to successfully vectorize the considered program context. The proposed approach can be applied to vectorize a wide range of applications.
Бесплатно
Статья научная
При численном решении дифференциальных уравнений непрерывная область решений ДУ заменяется дискретной решеткой, в узлах которой приближенно вычисляется значение искомой функции. В зоне ударных волн, межфазных границ и пограничных слоев при использовании регулярных сеток может быть резкий рост нормы производных и как следствие нормы ошибок аппроксимации, что ведет к потере точности численного решения. Для подавления роста ошибок аппроксимации используются адаптивные алгоритмы сгущения сеток в проблемных областях. В работе кратко описан подход к распараллеливанию такого алгоритма на основе концепции динамического распараллеливания «Т-система».
Бесплатно
Вариант организации облачного сервиса для высокопроизводительных вычислений
Статья научная
Статья посвящена вопросу создания облачного сервиса вида SaaS для готовых суперкомпьютерных приложений. В статье рассмотрены технологии организации подобного облачного сервиса на основе программного комплекса «Пирамида» и Системы управления прохождением параллельных заданий (СУППЗ). Созданный облачный сервис призван выполнять роль дополнительного уровня абстракции, позволяющего объединить разные высокопроизводительные вычислительные установки и организовать для них единый интерфейс управления
Бесплатно
Векторизация римановского решателя с использованием набора инструкций AVX-512
Статья научная
Численные методы, базирующиеся на решении задачи Римана о распаде произвольного разрыва, крайне требовательны к вычислительным ресурсам. Для применения данных численных методов на современных расчетных сетках требуется использование суперкомпьютера. Среди различных инструментов повышения производительности суперкомпьютерных приложений можно выделить векторизацию программного кода. Набор инструкций AVX-512 обладает рядом уникальных возможностей, позволяющих применить векторизацию к программному контексту римановского решателя, что ведет к значительному ускорению решателя. На примере точного римановского решателя рассматривается практический подход к векторизации разнообразного программного контекста, включая простые линейные участки, регионы со сложным управлением, а также вложенные циклы. В основе рассматриваемого подхода лежит возможность одновременного выполнения на одном процессорном ядре нескольких экземпляров некоторой чистой функции. Данная возможность достигается путем перевода программного кода в предикатную форму и использования векторных инструкций. При этом количество одновременно выполняющихся экземпляров равно ширине вектора. Показано, что использование возможностей набора команд AVX-512 позволяет успешно векторизовать рассматриваемый программный контекст. Предложенный подход может быть применен для векторизации широкого спектра приложений.
Бесплатно
Влияние пакетирования на эффективность планирования параллельных заданий
Ред. заметка
В статье рассматривается разработанная авторами система пакетирования параллельных заданий, позволяющая объединять однотипные задания с длительным временем инициализации в пакеты. Длительная инициализация влечёт за собой снижение эффективности использования вычислительных ресурсов и планирования параллельных заданий. В статье приводятся результаты экспериментов по исследованию влияния пакетирования на такие показатели эффективности планирования параллельных заданий, как полная и полезная загрузка вычислительных ресурсов
Бесплатно
Ред. заметка
В статье рассматривается внутреннее представление блочноструктурированной сетки, описание основных ее объектов и взаимодействие их между собой. Также рассматривается механизм организации межпроцессного обмена данными, при выполнении расчетов на суперкомпьютере
Бесплатно
Выполнение задач сортировки на векторном процессоре с архитектурой управления потоком данных
Ред. заметка
Задача сортировки является широко распространённым вычислительным блоком, который используется во многих областях, и известно много алгоритмов, как последовательных, так и параллельных, решения этой задачи. Поэтому несколько известных алгоритмов решения задачи сортировки были выбраны для тестирования разрабатываемого в МСЦ РАН векторного процессора с архитектурой управления потоком данных и сравнения достигнутой при моделировании производительности с производительностью лучших современных процессоров.Анализируются преимущества и недостатки архитектуры разрабатываемого векторного процессора, их учет для построения графов программ последовательных и параллельных алгоритмов решения задачи сортировки на данном процессоре и достигнутые при этом результаты.
Бесплатно
Задача оптимизации времени выполнения проекта в вычислительной сети из персональных компьютеров
Статья научная
Рассмотрена модель процесса выполнения одного проекта в вычислительной сети из персональных компьютеров при условии равного времени выполнения подзаданий. Исследованы условия, при которых репликация подзаданий между узлами сети сокращает общее время выполнения проекта в двух частных случаях модели: при выполнении пачек подзаданий, а также при ненулевом штрафе за невыполнение подзадания.
Бесплатно
Статья научная
Рассматривается подход, позволяющий выявить, для каких задач нужны суперкомпьютеры эксафлопсного класса. Возможности подхода рассмотрены на примерах актуальных задач материаловедения, физики конденсированного вещества и плотной плазмы, для решения которых необходимо атомистическое моделирование на современных и создаваемых в настоящее время суперкомпьютерах. Для каждой задачи проведено соответствие между набором изучаемых явлений и требуемым уровнем быстродействия (числа ядер) вычислительной системы. Показана масштабируемость параллельных программ моделирования и перспектива расширения предсказательной способности методов по мере увеличения числа вычислительных ядер и/или использования специализированных архитектур (графические ускорители). Рассмотрена иерархия методов моделирования, необходимых для адекватного описания свойств веществ на различных пространственных и временных масштабах. На наиболее глубоком нанометровом/пикометровом масштабе для моделирования электронной динамики и построения эффективных потенциалов взаимодействия частиц применяется теория функционала плотности (квантовая молекулярная динамика). Классический метод молекулярной динамики позволяет явно рассмотреть системы движущихся атомов вплоть до микромасштабов. Выход на макромасштабы осуществляется с помощью кинетических подходов и механики сплошных сред. Проведены сравнения эффективности распараллеливания для топологий тора и толстого дерева для трёх классов задач.
Бесплатно
Защита периметра облачных вычислений
Статья научная
Представлена абстрактная концепция опечатывания облачных данных с помощью определяемых политик. Описано использование криптомодулей TPM в создании доверенных серверных платформ внутри облака. Представлена обобщенная схема геотегирования.
Бесплатно
Интеграция алгоритма параллельной сортировки Бэтчера и активной системы хранения данных
Статья научная
В статье описан разработанный алгоритм сортировки больших объемов данных при помощи модифицированной версии алгоритма параллельной сортировки Бэтчера. Принципиальной новизной полученного решения является интеграция распространенного и доказавшего свою эффективность алгоритма параллельной сортировки Бэтчера и концепции системы активного хранения на базе библиотеки шаблонных классов TSim и кластерной файловой системы Lustre. В статье представлены результаты тестирования производительности разработанного алгоритма на реальной научной задаче обработки данных сейсмической разведки. Полученные результаты демонстрируют линейное ускорение на задаче, обрабатывающей большой (более 100 Гб) массив данных.
Бесплатно
Интеграция приложения Tachyon с системой параллельного программирования OpenTS
Ред. заметка
Работа описывает интеграцию приложения Tachyon из библиотеки Intel® Threading Building Blocks с системой параллельного программирования OpenTS
Бесплатно
