Программное и аппаратное обеспечение распределенных и суперкомпьютерных систем. Рубрика в журнале - Программные системы: теория и приложения
Информационная инфраструктура Республики Татарстан: от «Senet-Tatarstan» к «Segrid-Tatarstan»
Статья научная
Описаны этапы формирования в Республике Татарстан телекоммуникационных, информационных и суперкомпьютерных ресурсов организаций науки, образования и государственного управления. Представлены также результаты в области высокопроизводительных вычислений, полученные к настоящему времени.
Бесплатно
Использование контейнерной виртуализации в организации высокопроизводительных вычислений
Статья научная
Статья посвящена вопросу применимости контейнерной виртуализации при организации высокопроизводительных вычислений с точки зрения изоляции пользовательских заданий. В статье приводятся результаты экспериментов по оценке накладных расходов на организацию контейнерной виртуализации, степени взаимного влияния заданий и обеспечения защиты от несанкционированного доступа
Бесплатно
Статья научная
Барьеры на пути специализации реальных программ, написанных в объектно-ориентированной парадигме, часто могут быть преодолены при помощи современных методов метавычислений. Один из барьеров - необходимость разрешения полиморфизма на этапе анализа программы, до ее исполнения. Эта проблема успешно решается для ряда случаев в специализаторе JaSpe, что показано в данной статье. Работа посвящена компиляции программ с использованием метода специализации, без использования компилятора. Мы применили специализатор JaSpe, основанный на методе частичных вычислений, к двум интерпретаторам языка арифметических выражений, написанным на Java. Интерпретаторы были реализованы методом рекурсивного спуска и с использованием шаблона «посетитель». В результате успешной специализации данных интерпретаторов по программе вычисления квадратного корня на языке арифметических выражений были получены скомпилированные версии программы на языке Java. При этом скорость полученных версий программы по сравнению с исходной увеличилась в 12-22 раза.
Бесплатно
К компьютерно-сетевым архитектурам для цифровой трансформации больших систем
Статья научная
На основе математического обобщения классической модели универсального компьютера Дж. фон Неймана в статье предложен общий подход к устранению причин воспроизводства разнородности аппаратных, программных и информационных ресурсов в глобальной компьютерной среде (ГКС). Обобщённая модель позволяет бесшовно расширять свойство универсальной программируемости с внутрикомпьютерных ресурсов на сколь угодно большие сети. При этом кибербезопасность кардинального повышается за счёт аппаратного воплощения "тяжёлых" системных функций, программно выполняемых в операционных системах.Анализ тенденций развития больших распределённых систем показал, что существующие технологии функциональной интеграции разнородных ресурсов ГКС (Grid, Cloud, пиринговые сети) приблизились к пределам своих возможностей увеличения масштабов таких систем. Дальнейшее увеличение их размеров требует неприемлемых затрат на преодоление крайней разнородности и обеспечение кибербезопасности.Причины разнородности ГКС фундаментальны. Они скрыты в логике фоннеймановских оснований микропроцессорных архитектур. Сетевые протоколы TCP/IP в глобальных масштабах легализуют разнородность, а также эвристические методы интеграции разнородных ресурсов.Первоначальные принципы формирования ГКС не предназначались для системно-целостного решения проблем создания сколь угодно больших распределённых систем в ГКС. Предложенная модель открывает возможности для воплощения в ГКС математически-однородного, универсального, бесшовно программируемого и кибербезопасного алгоритмического пространства распределённых вычислений. С устранением разнородности на уровне массовых приложений кардинально снижаются затраты на создание/развитие всего разнообразия сколь угодно больших распределённых систем.
Бесплатно
Ред. заметка
Одна из основных проблем, делающих параллельное программирование ненадежным, трудозатратным, подверженным ошибкам, а программы трудно отлаживаемыми, недетерминированность процессов и результатов вычислений, когда несколько исполнений одной программы с одинаковыми входными данными могут выдавать разные результаты из-за другого порядка взаимодействия параллельных процессов. В связи с бурным ростом сложности программ для суперкомпьютеров, в последнее десятилетие приобретает популярность и становится всё более актуальной идея параллельных вычислений с детерминированностью, гарантированной языком и системой программирования.В статье анализируется проблема, как сделать параллельное программирование как можно более детерминированным, и дается обзор некоторых подходов к ее решению. Также обсуждается задача разработки системы, предоставляющей возможность писать как детерминированный, так и недетерминированный код с гарантиями прикладному программисту, что его программа будет детерминированной.
Бесплатно
Ред. заметка
Проанализирован процесс проектирования и создания опытного комплексного программно-аппаратного решения организации высокопроизводительных вычислений, обеспечения хранения больших данных и трехмерной визуализации в реальном времени для обеспечения производственных процессов в нефтегазовой отрасли. Представлены промежуточные технические решения и результаты, полученные в процессе работ по проектированию соответствующего специализированного комплекса, обсуждены проблемы и рассмотрены направления дальнейшего развития названного технологического направления
Бесплатно
Компьютерные средства анализа транскриптомных данных: программный комплекc ExpGene
Ред. заметка
Технологии высокопроизводительного секвенирования ДНК позволяют получать данные экспрессии генов в масштабе генома, как на микрочипах, так и на основе транскриптомного профилирования. Необходимо развитие новых компьютерных методов анализа таких данных, опирающихся на суперкомпьютерные технологии. Рассмотрены задачи анализа транскриптом в контексте вычислительной сложности. Представлены примеры применения программного комплекса ExpGene для статистической обработки и визуализации транскриптомных и микрочиповых данных. Показаны приложения для анализа транскриптом отделов мозга лабораторных животных
Бесплатно
Магистральные решения в задаче управления квантовой системой
Статья научная
Рассматривается задача оптимизации процессов в спиновой цепочке на основе уравнения Шредингера, содержащего комбинацию линейного и нелинейного управлений. Она преобразуется к регулярной производной задаче по известной из теории вырожденных задач схеме, что существенно повышает эффективность ее исследования итерационными методами. Предлагаемая процедура иллюстрируется на представительном примере.
Бесплатно
Статья научная
В настоящее время резервы в повышении производительности современных процессоров практически исчерпаны, что проявляется в отсутствии роста, как тактовой частоты, так и числа команд, выполняемых в такт, которые определяют скалярную производительность процессорного ядра. В разрабатываемом векторном процессоре с архитектурой управления потоком данных (векторном потоковом процессоре) производительность процессорного ядра может быть повышена до 256 флоп в такт на ядро, что в 8 раз выше по сравнению с последними процессорами Intel Xeon. Это достигается за счет более высокой доли векторных вычислений. В работе показано, что отношение реальной производительности к пиковой на программах битонной сортировки, умножения матриц и 2D Stencil у векторного потокового процессора выше, чем у лучших процессоров традиционной архитектуры.
Бесплатно
Метастохастические адаптивные алгоритмы и их реализация в супервычислительной среде T++ AMP; MPI
Ред. заметка
На примере предложенного адаптивного численного метода расчета многомерного определенного интеграла от априори неизвестной, вычислительно сложной функции, рассматривается общая методика и программный каркас для построения адаптивных параллельных решателей, нацеленных на интеллектуальное многовариантное моделирование сложных многопараметрических систем
Бесплатно
Метод построения циклических конвейеров
Статья научная
Одним из наиболее эффективных способов организации вычислений на ASIC или FPGA является построение неостанавливаемых конвейеров. Однако для некоторых вычислительных схем получаемый конвейер может оказаться слишком большим для имеющихся ресурсов ASIC или FPGA. Авторами предлагается метод построения циклических конвейеров, управление потоками данных в которых основано на счетчиках и не зависит от данных, передаваемых по конвейеру. Предложенный метод позволяет строить более компактные неостанавливаемые конвейеры со скважностью, равной количеству проходов по циклу, которые должны пройти данные, чтобы конвейер преобразовал их в искомый результат.
Бесплатно
Методы закрепления граничных узлов при сглаживании треугольной поверхностной сетки
Статья научная
В задачах численного моделирования, использующих поверхностные сетки, часто требуется перестроение сетки. Однако при перестроении сетки могут возникать искажения. Накопление искажений может привести к развалу решения. Для того, чтобы поддерживать качество сетки в процессе расчета, применяются алгоритмы сглаживания. При выполнении сглаживания методами, сдвигающими узлы сетки, граничные узлы обычно закрепляют, чтобы избежать искажений. Однако простое закрепление узлов может привести к более серьезным искажениям. В данной работе предлагаются методы работы с граничными узлами, позволяющие контролировать такие узлы в процессе сглаживания. Также рассмотрены алгоритмы для работы с псевдотрехмерными поверхностными сетками, представляющими отдельный интерес.
Бесплатно
Статья научная
В работе рассмотрена задача оптимального управления workstealing деком (англ. — deque) в двухуровневой памяти. Предполагается, что известны вероятности параллельных операций с деком и временные характеристики памяти для двух уровней. Задача состоит в нахождении оптимального числа элементов с двух сторон дека, которые при перераспределении дека должны быть оставлены в быстрой памяти. В качестве критерия оптимальности рассмотрены минимальные средние затраты на перераспределение памяти, которые возникают в случае переполнения или опустошения быстрой памяти. Такой критерий позволяет учитывать конкретные скорости доступа к уровням памяти и применять разработанные методы к разным сочетаниям быстрой и медленной памяти. Построены математическая и имитационная модели процесса работы с деком, представлены результаты численных экспериментов.
Бесплатно
Модели управляемых систем, порождающие магистральные решения задач оптимального управления
Статья научная
Предлагается один из подходов к построению математической модели сложной динамической системы из класса моделей линейных по управлению, для которых характерны магистральные оптимальные решения, получаемые методами теории вырожденных задач. Приближенные магистральные решения используются в качестве первого приближения в многоэтапной процедуре уточнения, как самой модели, так и решения оптимизационной задачи. Эффективность такого подхода демонстрируется на прикладной задаче моделирования и исследования социо-эколого-экономической системы региона.
Бесплатно
Статья научная
Данная статья посвящена оценке эффективности применения графических ускорителей и многоядерных сопроцессоров в параллельных системах баз данных. Для этого был разработан эмулятор параллельной СУБД, позволяющий использовать вычислительный кластер, оснащенный графическими ускорителями NVIDIA и сопроцессорами Intel Xeon Phi. С помощью данного эмулятора был проведен ряд вычислительных экспериментов.
Бесплатно
Мониторинг приложений на кластере ZHORES в Сколтехе
Статья научная
Стандартные инструменты мониторинга для кластерных вычислительных систем позволяют оценить работу системы в целом, но не позволяют анализировать работу приложений по отдельности. Система мониторинга для измерения ресурсов, затребованных каждым приложением в отдельности разработана в Сколтехе для высокопроизводительного кластера ZHORES. Система мониторинга собирает как обычные метрики загрузки процессоров и графических ускорителей, так и счетчики событий ЦПУ/ГПУ, которые позволяют более детально анализировать тип ресурса, затребованный приложением. Сервисные программы, развернутые на каждом узле кластера, посылают результаты измерений в единую базу данных временных рядов с шагом в одну секунду. Эти данные затем анализируются статистическими методами в режиме оффлайн для выделения характеристик, связанных с использованием вычислительных ресурсов каждым приложением. Мониторинг позволяет выявлять неэффективное программное обеспечение, производить тонкую настройку работы кластера, а также улучшать работу высокопроизводительной системы в целом.
Бесплатно
Статья научная
Основным фактором, ограничивающим производительность большинства приложений для высокопроизводительных вычислительных систем, является недостаточная пропускная способность памяти, а не недостаточная вычислительная мощность. Программными методами преодоления этого недостатка являются блочные методы, локализующие обращения в пределах быстрой памяти на процессорном кристалле, и «программная конвейеризация» по организации вычислений в виде цепочек арифметических команд между командами обращения к памяти. На примере программ 2D и 3D Stencil показано, что использование «программной конвейеризации» в разрабатываемом векторном процессоре с архитектурой управления потоком данных позволяет достичь значительно более высокой производительности по сравнению с лучшими процессорами традиционной архитектуры.
Бесплатно
Новый метод решения CFD задач на кластерных ЭВМ петафлопсной производительности
Статья научная
Описывается новый метод решения CFD задач на кластерных ЭВМ петафлопсной производительности. Метод обладает высокой эффективностью и позволяет достигать значительного быстродействия за счет прямой реализации. Продемонстрирована масштабируемость, близкая к идеальной.
Бесплатно
Ноябрь 2022: состояние и перспективы развития суперкомпьютерной отрасли в мире и в России
Статья научная
Статья посвящена анализу современного состояния суперкомпьютерной отрасли в мире и в России и перспектив ее развития. По методическому подходу и инструментарию данная статья является продолжением серии подобных аналитических обзоров авторов. Новизна данной работы не только в актуализации сведений с учетом последних редакций списка Top500, но и в акценте на следующее: мировая суперкомпьютерная отрасль переживает радикальную перестройку - переход от «петафлопсной эпохи» к «эксафлопсной эпохе». России с некоторым запаздыванием предстоит сделать такой же переход. Поэтому важно понимать технологические тренды и особенности решений для самых мощных систем в мире за последние годы. На это обстоятельство в работе обращается особое внимание и такой акцент при анализе трендов является одной из побудительных целей данной работы.
Бесплатно
О пополнении группоида до программной алгебры
Статья научная
Задача вложения конечного группоида в конечную программную алгебру имеет прикладное значение для преобразования алгоритма в форму, пригодную для вычисления на алгебраическом процессоре. Она была поставлена и решена Н. Н. Непейводой для полугрупп, затем им же было построено вложение группоида в бесконечную программную алгебру. В данной работе строится вложение конечного группоида в конечную программную алгебру, что завершает решение указанной задачи.
Бесплатно
