Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем. Рубрика в журнале - Программные системы: теория и приложения

Публикации в рубрике (98): Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем
все рубрики
Методы и средства сетевого синхронного взаимодействия компьютеров с доступом к данным на основе характерных признаков и выполнения распределенных ассоциативных операций

Методы и средства сетевого синхронного взаимодействия компьютеров с доступом к данным на основе характерных признаков и выполнения распределенных ассоциативных операций

Стецюра Г.Г.

Статья научная

Для распределенной группы активных, синхронно взаимодействующих компьютеров (далее объектов) предложены способы и средства, ускоряющие взаимодействие связанных локальной сетью объектов при замене адресов объектов и данных характерными для них признаками. В предлагаемые способы и средства входят: структуры синхронных сетевых связей; распределенные ассоциативные синхронные операции; децентрализованный способ входа объектов в режим синхронного взаимодействия; способы управления синхронными действиями объектов; синхронные интерфейсные карты (ИК). Сетевые технические средства состоят только из ИК и ретрансляторов (RT ) сигналов объектов, передаваемых между ИК и RT по беспроводным оптическим каналам связи. Объекты-источники выбранные множества данных и задание на их обработку отправляют в RT , где входящие одноименные двоичные разряды данных совместятся. Созданное в RT общее множество данных RT без задержки пересылает всем объектам-приемникам, которые завершат выполнение распределенных ассоциативных операций. В результате применяемая в сетях транспортировка данных в синхронных сетях совмещена с распределенными вычислениями над данными без замедления их передачи, что ускоряет выполнение задач с элементами неопределенности и эвристики.

Бесплатно

Методы квантового машинного обучения для обнаружения атак на программно-конфигурируемые сети

Методы квантового машинного обучения для обнаружения атак на программно-конфигурируемые сети

Антонов И.А., Курочкин И.И.

Статья научная

Программно-конфигурируемая сетевая архитектура является предпочтительным способом построения больших компьютерных сетей, требующих высокой скорости реагирования на изменения и высокой степени автоматизации. Основной особенностью данной архитектуры является централизованное управление всей сетью с одного контроллера. Тем не менее, такой подход открывает новые возможности для атак на сеть, делая контроллер их главной целью. В данной работе рассматривается возможность применения моделей квантового машинного обучения для обнаружения таких атак.

Бесплатно

Минимизация средних затрат на перераспределение при работе с work-stealing деком в двухуровневой памяти

Минимизация средних затрат на перераспределение при работе с work-stealing деком в двухуровневой памяти

Е. А. Аксёнова, А. А. Лазутина, А. В. Соколов

Статья научная

В работе рассмотрена задача оптимального управления workstealing деком (англ. — deque) в двухуровневой памяти. Предполагается, что известны вероятности параллельных операций с деком и временные характеристики памяти для двух уровней. Задача состоит в нахождении оптимального числа элементов с двух сторон дека, которые при перераспределении дека должны быть оставлены в быстрой памяти. В качестве критерия оптимальности рассмотрены минимальные средние затраты на перераспределение памяти, которые возникают в случае переполнения или опустошения быстрой памяти. Такой критерий позволяет учитывать конкретные скорости доступа к уровням памяти и применять разработанные методы к разным сочетаниям быстрой и медленной памяти. Построены математическая и имитационная модели процесса работы с деком, представлены результаты численных экспериментов.

Бесплатно

Модели управляемых систем, порождающие магистральные решения задач оптимального управления

Модели управляемых систем, порождающие магистральные решения задач оптимального управления

Гурман Владимир Иосифович, Гусева Ирина Сергеевна

Статья научная

Предлагается один из подходов к построению математической модели сложной динамической системы из класса моделей линейных по управлению, для которых характерны магистральные оптимальные решения, получаемые методами теории вырожденных задач. Приближенные магистральные решения используются в качестве первого приближения в многоэтапной процедуре уточнения, как самой модели, так и решения оптимизационной задачи. Эффективность такого подхода демонстрируется на прикладной задаче моделирования и исследования социо-эколого-экономической системы региона.

Бесплатно

Моделирование обработки запросов на гибридных вычислительных системах с многоядерными сопроцессорами и графическими ускорителями

Моделирование обработки запросов на гибридных вычислительных системах с многоядерными сопроцессорами и графическими ускорителями

Беседин Константин Юрьевич, Костенецкий Павел Сергеевич

Статья научная

Данная статья посвящена оценке эффективности применения графических ускорителей и многоядерных сопроцессоров в параллельных системах баз данных. Для этого был разработан эмулятор параллельной СУБД, позволяющий использовать вычислительный кластер, оснащенный графическими ускорителями NVIDIA и сопроцессорами Intel Xeon Phi. С помощью данного эмулятора был проведен ряд вычислительных экспериментов.

Бесплатно

Мониторинг приложений на кластере ZHORES в Сколтехе

Мониторинг приложений на кластере ZHORES в Сколтехе

И. Е. Захаров, О. А. Панарин, С. Г. Рыкованов, Р. Р. Загидуллин, А. К. Малютин, Ю. Н. Шкандыбин, А. Е. Ермекова

Статья научная

Стандартные инструменты мониторинга для кластерных вычислительных систем позволяют оценить работу системы в целом, но не позволяют анализировать работу приложений по отдельности. Система мониторинга для измерения ресурсов, затребованных каждым приложением в отдельности разработана в Сколтехе для высокопроизводительного кластера ZHORES. Система мониторинга собирает как обычные метрики загрузки процессоров и графических ускорителей, так и счетчики событий ЦПУ/ГПУ, которые позволяют более детально анализировать тип ресурса, затребованный приложением. Сервисные программы, развернутые на каждом узле кластера, посылают результаты измерений в единую базу данных временных рядов с шагом в одну секунду. Эти данные затем анализируются статистическими методами в режиме оффлайн для выделения характеристик, связанных с использованием вычислительных ресурсов каждым приложением. Мониторинг позволяет выявлять неэффективное программное обеспечение, производить тонкую настройку работы кластера, а также улучшать работу высокопроизводительной системы в целом.

Бесплатно

Недостаточная пропускная способность памяти на программе Stencil: преимущество векторного потокового процессора

Недостаточная пропускная способность памяти на программе Stencil: преимущество векторного потокового процессора

Дикарев Николай Иванович, Шабанов Борис Михайлович, Шмелв Александр Сергеевич

Статья научная

Основным фактором, ограничивающим производительность большинства приложений для высокопроизводительных вычислительных систем, является недостаточная пропускная способность памяти, а не недостаточная вычислительная мощность. Программными методами преодоления этого недостатка являются блочные методы, локализующие обращения в пределах быстрой памяти на процессорном кристалле, и «программная конвейеризация» по организации вычислений в виде цепочек арифметических команд между командами обращения к памяти. На примере программ 2D и 3D Stencil показано, что использование «программной конвейеризации» в разрабатываемом векторном процессоре с архитектурой управления потоком данных позволяет достичь значительно более высокой производительности по сравнению с лучшими процессорами традиционной архитектуры.

Бесплатно

Новое поколение GPGPU и сопутствующего оборудования: микроархитектура и производительность вычислительных систем от серверов до суперкомпьютеров

Новое поколение GPGPU и сопутствующего оборудования: микроархитектура и производительность вычислительных систем от серверов до суперкомпьютеров

Кузьминский М.Б.

Статья обзорная

Дан обзор современного состояния GPGPU с ориентацией их применения на традиционные задачи HPC (и в меньшей степени ИИ). К базовым GPGPU в обзоре отнесены Nvidia V100 и A100. В качестве GPGPU нового поколения рассмотрены Nvidia H100, AMD MI100 и MI200, Intel Ponte Vecchio (Data Center GPU Max), а также BR100 от Biren Technology. Проанализированы и сопоставлены микроархитектура и аппаратные показатели этих GPGPU, важные для задач HPC и ИИ, а также важнейших дополнительных аппаратных средств для построения вычислительных систем с применением GPGPU - центральных процессоров, специализированных для работы с GPGPU нового поколения, и межсоединений. Дается краткая информация об использующих их серверах, в том числе multi-GPU, и новых применяющих эти GPGPU суперкомпьютерах, где были получены данные о достигаемой производительности при работе с GPGPU. Кратко рассмотрены SDK фирм-производителей GPGPU и программные средства других фирм, включая математические библиотеки. Приводятся примеры, демонстрирующие важные для достижения максимальной производительности средства широко используемых моделей программирования, способствующие при этом непереносимости программных кодов на другие модели GPGPU. Особое внимание обращено на возможности применения тензорных ядер и их аналогов в современных GPGPU разных фирм. Это относится и к расчетам с пониженной (относительно стандартного для HPC формата FP64) и смешанной точностью, актуальным вследствие резкого роста достигаемой производительности при их использовании в тензорных ядрах GPGPU. Анализируются данные о достигаемой ими реальной производительности в тестах и приложениях для HPC и ИИ. Вкратце рассматривается и применение в GPGPU современных библиотек пакетной линейной алгебры, в том числе для HPC-приложений.

Бесплатно

Новый метод решения CFD задач на кластерных ЭВМ петафлопсной производительности

Новый метод решения CFD задач на кластерных ЭВМ петафлопсной производительности

Чуданов Владимир Васильевич, Горейнов Сергей Анатольевич, Аксенова Анна Евгеньевна, Первичко Валерий Алексеевич, Макаревич Артем Андреевич

Статья научная

Описывается новый метод решения CFD задач на кластерных ЭВМ петафлопсной производительности. Метод обладает высокой эффективностью и позволяет достигать значительного быстродействия за счет прямой реализации. Продемонстрирована масштабируемость, близкая к идеальной.

Бесплатно

Ноябрь 2022: состояние и перспективы развития суперкомпьютерной отрасли в мире и в России

Ноябрь 2022: состояние и перспективы развития суперкомпьютерной отрасли в мире и в России

Абрамов Н.С., Абрамов С.М.

Статья научная

Статья посвящена анализу современного состояния суперкомпьютерной отрасли в мире и в России и перспектив ее развития. По методическому подходу и инструментарию данная статья является продолжением серии подобных аналитических обзоров авторов. Новизна данной работы не только в актуализации сведений с учетом последних редакций списка Top500, но и в акценте на следующее: мировая суперкомпьютерная отрасль переживает радикальную перестройку - переход от «петафлопсной эпохи» к «эксафлопсной эпохе». России с некоторым запаздыванием предстоит сделать такой же переход. Поэтому важно понимать технологические тренды и особенности решений для самых мощных систем в мире за последние годы. На это обстоятельство в работе обращается особое внимание и такой акцент при анализе трендов является одной из побудительных целей данной работы.

Бесплатно

О пополнении группоида до программной алгебры

О пополнении группоида до программной алгебры

Демидов Алексей Александрович

Статья научная

Задача вложения конечного группоида в конечную программную алгебру имеет прикладное значение для преобразования алгоритма в форму, пригодную для вычисления на алгебраическом процессоре. Она была поставлена и решена Н. Н. Непейводой для полугрупп, затем им же было построено вложение группоида в бесконечную программную алгебру. В данной работе строится вложение конечного группоида в конечную программную алгебру, что завершает решение указанной задачи.

Бесплатно

О проблеме организации кластеров мультиклиентских баз данных

О проблеме организации кластеров мультиклиентских баз данных

Бойцов Евгений Александрович

Статья научная

Переход к парадигме SaaS несет как множество преимуществ конечным пользователям, так и множество проблем разработчикам программного обеспечения. Одной из таких проблем является организация хранилища данных, которое могло бы удовлетворить нужды клиентов компаниипровайдера услуг, обеспечив при этом достаточно простой прикладной интерфейс для разработчиков, а также предоставить широкие возможности для администрирования и масштабирования. В данной работе проводится краткий анализ существующих проблем в области организации облачных систем хранения данных, основанных на реляционной модели, а также предлагается концепция кластера РСУБД, предназначенного для обслуживания приложений с мультиклиентской архитектурой.

Бесплатно

О процессах управления в системах взаимодействующих спинов

О процессах управления в системах взаимодействующих спинов

Гурман Владимир Иосифович

Статья научная

Модель управляемой квантовой системы взаимодействующих спинов на основе уравнения Шредингера, содержащего линейное неограниченное управление, преобразуется по известной из теории вырожденных задач схеме к производной системе, эквивалентной исходной, но регулярной и симметричной, что открывает новые возможности исследования для различных частных случаев. Рассматривается характерный случай, когда управляющее воздействие распространяется на все спины равномерно. В этом случае производная система становится обычным уравнением Шредингера с импульсным управлением лишь на границах временного отрезка. Предлагается эффективный алгоритм оптимизации управления.

Бесплатно

О реализации QR-разложения на трехмерном систолическом массиве

О реализации QR-разложения на трехмерном систолическом массиве

Бабенко В.Н., Невечеря А.П.

Статья научная

Интенсивные потоки данных, формирующихся систем линейных уравнений в режиме реального времени, а также системы линейных уравнений большой размерности обуславливают привлечение систолических массивов для их машинного решения. В представленном систолическом массиве, предназначенном для приведения матриц к треугольному виду, реализация ортогональных преобразований вращения может осуществляться как устройствами двумерного вращения вектора CORDIC, так и его модификациями. Для предложенного систолического массива даны описания его конфигурации, функционирования и технических характеристик, а также структуры входного и выходного потока данных.

Бесплатно

Обзор методов планирования заданий в Desktop Grid

Обзор методов планирования заданий в Desktop Grid

Чернов Илья Александрович, Ивашко Евгений Евгеньевич, Никитина Наталия Николаевна

Ред. заметка

В статье представлен научный обзор современного состояния исследований в области планирования заданий в вычислительных системах типа Desktop Grid. Проведен обзор научных публикаций за период с 1999 по 2017 гг. и выполнен анализ критериев и методов оптимизации, предложенных в научных работах для повышения эффективности планирования заданий в Desktop Grid.

Бесплатно

Облачная система подстройки параметров алгоритмов

Облачная система подстройки параметров алгоритмов

Смирнов Сергей Андреевич

Статья научная

В статье описана система, предназначенная для поиска лучших (в том или ином смысле) настроек алгоритма. Система работает и с дискретными, и с непрерывными параметрами, а также использует параллелизм, предоставляемый публичными облаками. В работе представлено общее описание системы, метод оценки производительности алгоритма в облаке и численные результаты использования системы на нескольких наборах тестовых задач.

Бесплатно

Обоснование методов ускорения гнёзд циклов итерационного типа

Обоснование методов ускорения гнёзд циклов итерационного типа

Метелица Е.А.

Статья научная

Рассматривается ускорение итерационных алгоритмов, которые встречаются при решении задач математической физики, математического моделирования, обработки изображений и других. В программной реализации таких алгоритмов лежат гнёзда циклов (участки программы, состоящие из вложенных циклов). Такие гнёзда циклов ускоряются при помощи комбинации оптимизирующих преобразований, включающих тайлинг, метод гиперплоскостей и распараллеливание на общую память. Обосновывается эквивалентность комбинации используемых преобразований программ. Предлагается и обосновывается метод изменения порядка обхода тайла. Метод даёт ускорение за счёт увеличения количества чтений данных из регистров, вместо чтений из более медленной памяти. С учётом этого метода получена формула вычисления оптимальных размеров тайлов. Представленной в статье цепочкой преобразований достигается ускорение в 1.4 раза большее, чем в известном алгоритме оптимизации, реализованном в системе PLUTO. Приводятся численные эксперименты, которые в некоторых случаях на процессоре с 8 ядрами демонстрируют ускорение относительно исходных последовательных программ более чем на порядок. Результаты статьи могут использоваться для ручной и автоматизированной оптимизации программ.

Бесплатно

Оптимальное управление двумя work-stealing деками в общей памяти при различных стратегиях перехвата работы

Оптимальное управление двумя work-stealing деками в общей памяти при различных стратегиях перехвата работы

Барковский Евгений Александрович, Кучумов Руслан Ильдусович, Соколов Андрей Владимирович

Ред. заметка

В параллельных балансировщиках задач, работающих по стратегии work-stealing, каждый процессор имеет свой дек (deque) задач. Один конец дека используется только владельцем для добавления и извлечения задач, а другой — для перехвата другими процессорами. Целью работы является построение и анализ математических моделей процесса работы с двумя циклическими деками, расположенными в общей памяти. Параметрами этих моделей являются вероятности операций на каждом шаге дискретного времени (возможно как последовательное, так и параллельное выполнение операций). Модели строятся в виде случайных блужданий по целочисленной решетке на плоскости. На основе вышеупомянутых моделей решены задачи оптимального разделения памяти при некоторых стратегиях перехвата элементов. В качестве критерия оптимальности рассматривается максимальное среднее время до переполнения памяти. Проведены статистические исследования по оценке вероятностей операций работы с деками для нескольких типов задач, выполняемых в реализованном балансировщике. Для полученных вероятностей операций работы с деками проведены численные эксперименты по анализу разработанных моделей

Бесплатно

Организация взаимодействия активных объектов однородных цифровых структур

Организация взаимодействия активных объектов однородных цифровых структур

Стецюра Г.Г.

Статья научная

В статье расширены возможности взаимодействия активных устройств (объектов) однородных цифровых систем. Система состоит из объектов, которые расположены в пределах не более нескольких десятков метров и организуют свое взаимодействие только собственными средствами. Объекты могут быть стационарными и мобильными с произвольным и изменяемым во времени взаимным расположением объектов. Однородность системы означает отсутствие внешнего управления и равные возможности объектов в организации их взаимодействия. Связи между объектами беспроводные с использованием оптических или радиосигналов. Сигналы любого объекта-источника непосредственно поступают ко всем объектам-приемникам. Объект получает право передачи сигналов детерминировано в соответствии со значением его приоритета, задаваемым динамически или статически. Предложенные структура и способы взаимодействия позволяют объектам кроме обычного для распределенных систем обмена сообщениями выполнять распределенные групповые (ассоциативные) операции. В них объекты одновременно устраняют группу конфликтов доступа к общему каналу обмена данными, определяют состояние всех объектов системы и синхронно выполняют совместные действия объектов, реагируя на непредвиденно изменяющиеся внешние условия. Группа одновременно участвующих в групповой операции объектов выбирается с указанием набора критериев, которым должны обладать объекты. Однородность системы существенно упрощает ее техническую реализацию, но включение в систему неоднородности при усложнении системы ускоряет выполнение групповых операций. Поэтому однородную систему предлагается использовать в основном для связи между активными периферийными устройствами и связи этих устройств с более сложными компьютерами кластера.

Бесплатно

Отказоустойчивая система организации высокопроизводительных вычислений для решения задач обработки потоков данных

Отказоустойчивая система организации высокопроизводительных вычислений для решения задач обработки потоков данных

Талалаев Александр Анатольевич, Фраленко Виталий Петрович

Статья научная

В работе представлен обзор существующих систем организации отказоустойчивых вычислений; рассмотрены функциональные характеристики разработанной высокопроизводительной системы на основе вычислительного ядра, специального интерфейса и прикладных модулей. В основе предлагаемой системы организации вычислений лежит распределенная NoSQL СУБД Apache Cassandra, обеспечивающая механизмы отказоустойчивого хранения и автоматической репликации данных в гетерогенной вычислительной среде. Система, оснащенная специальным графическим интерфейсом, позволяет разрабатывать решения для различных прикладных областей. Подключаемые модули могут выполнять в том числе и функции визуализации потоков данных.

Бесплатно

Журнал