Эффективный запуск гибридных параллельных задач в гриде

Крюков Александр Павлович; Степанова Маргарита Михайловна; Приходько Николай Валерьевич; Шамардин Лев Витальевич; Демичев Андрей Павлович; Kryukov A.P.; Stepanova M.M.; Prikhodko N.V.; Shamardin L.V.; Demichev A.P.

Научные статьи \ Общие вопросы науки и культуры \ Информационные технологии. Вычислительная техника. Обработка данных \ Связь компьютеров. Сети ЭВМ. Вычислительные сети

Эффективный запуск гибридных параллельных задач в гриде

Крюков Александр Павлович Степанова Маргарита Михайловна Приходько Николай Валерьевич Шамардин Лев Витальевич Демичев Андрей Павлович

Журнал: Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика @vestnik-susu-cmi

Статья в выпуске: 3 т.2, 2013 года.

Бесплатный доступ

В работе рассматривается способ эффективного запуска в гриде гибридных задач, совместно использующих технологии MPI и OpenMP. Для гибкого управления параметрами запуска параллельных задач на суперкомпьютерных (СК) ресурсах была расширена спецификация языка описания задач. Поддержка новых атрибутов реализована для всех ключевых компонентов инфраструктуры. Взаимодействие веб-сервиса запуска с локальным менеджером ресурсов организовано через специальные обработчики разных типов заданий (single, openmp, mpi или hybrid), что обеспечивает передачу локальному менеджеру СК правильных параметров для резервирования ресурсов и запуска задачи. Представленное решение было опробовано на грид-полигоне, развернутом на базе промежуточного ПО ГридННС.

параллельные вычисления \ распределенные вычисления \ грид \ гибридные задачи

Похожие статьи в разделе Связь компьютеров. Сети ЭВМ. Вычислительные сети

Применение технологий параллельного программирования для систем с общей памятью при решении гиперболических систем уравнений

Иванов А.М., Хохлов Н.И.

Гибридная модель мелкой воды с использованием технологий MPI-OpenMP

Чаплыгин А.В., Гусев А.В.

Эффективность модели программирования на базе явного задания легких тредов

Корнеев Виктор Владимирович, Будник Александр Владимирович

Расширение двухуровневого распараллеливания MPI+OpenMP посредством OpenCL для газодинамических расчетов на гетерогенных системах

Горобец Андрей Владимирович, Суков Сергей Александрович, Железняков Андрей Олегович, Богданов Павел Борисович, Четверушкин Борис Николаевич

Многоуровневые алгоритмы отображения параллельных МР1-программ на вычислительные кластеры

Пазников Алексей Александрович, Курносов Михаил Георгиевич, Куприянов Михаил Степанович

Методы адаптации системы параллельного программирования OpenTS для поддержки работы т-приложений на гибридных вычислительных кластерах

Роганов Владимир Александрович, Кузнецов Антон Александрович, Матвеев Герман Анатольевич, Осипов Валерий Иванович

Короткий адрес: https://sciup.org/147160501

IDS: 147160501 | УДК: 004.75

Efficient submission of hybrid parallel tasks in grid

The method of efficient submission of hybrid tasks using both MPI and OpenMP technologies is considered. For flexible control of parameters of the parallel tasks submission to supercomputers (SC), the specification of the task description language was expanded. Support of the new attributes was implemented for all key components of the infrastructure. Interaction of the submission web service with a local resource manager is organized through special handlers for tasks of different types (single, openmp, mpi or hybrid). This provides transmission of the correct parameters for reservation of resources and task submission to the local SC-manager. The provided solution was tested on a grid testbed deployed on the basis of GridNNN middleware.

Список литературы Эффективный запуск гибридных параллельных задач в гриде

Stepanova, M.M. Running Parallel Jobs on the Grid/M.M. Stepanova, O.L. Stesik//Distributed Computing and Grid Technologies in Science and Education: Proceedings of the 5th International Conference (Dubna, 16-21 July, 2012). -Dubna: JINR, 2012. -P. 383-387.
Ильин, В.А. ГридННС: состояние и перспективы/В.А. Ильин, В.В. Кореньков, А.П. Крюков//Труды 5-й международной конференции «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна, 16-21 июля, 2012 г.). -Дубна: ОИЯИ, 2012. -С. 332-336.
Burke, S. gLite 3.2 User Guide. -Manual Series. -CERN-LCG-GDEIS-722398. -2012./S. Burke, S. Campana, E. Lanciotti, et al. URL: http://edms.cern.ch/document/722398 (дата обращения: 03.04.2013).
MPI-Start/URL: http://grid.ifca.es/wiki/Middleware/MpiStart (дата обращения: 22.02.2013).
Extended Resource Specification Language. -Reference Manual for ARC versions 0.8 and above. -NORDUGRID_MANUAL-4. -2013/URL: http://www.nordugrid./documents/arc-ui.pdf (дата обращения: 03.04.2013).
MPI: A Message-Passing Interface Standard. Version 2.2. -2009/URL: http://www.mpi-forum.org/docs/mpi-2.2/mpi22-report.pdf (дата обращения: 22.02.2013).
OpenMP Application Program Interface. Version 3.1. -2011/URL: http://www.openmp.org/mp-documents/OpenMP3.1.pdf (дата обращения: 22.02.2013).
Makris, I. Mixed Mode Programming on Clustered SMP Systems/I. Makris -M.Sc. Thesis in High Performance Computing. The University of Edinburgh, 2005.-108 p.
Rabenseifner, R. Hybrid MPI/OpenMP parallel programming on clusters of multi-core SMP nodes/R. Rabenseifner, G. Hager, G. Jost//Proceedings of 17th Euromicro International Conference on Parallel, Distributed, and Network-Based Processing. -Nov. 2009. -P. 427-236.
Rane, A. Experiences in tuning performance of hybrid MPI/OpenMP applications on quad-core systems/A. Rane, D. Stanzione//Proceedings of 10th LCI International Conference on High-Performance Clustered Computing -Jan. 2009. -P. 1-10.
Глазкова, Е.А. Анализ эффективности гибридного параллельного программирования на примере системы BLUE GENE/P/Е.А. Глазкова, Н.Н. Попова//Материалы Всероссийской научной конференции «Научный сервис в сети ИНТЕРНЕТ» (Новороссийск, 21-26 сентября 2009 г.). -Москва: Издательство Московского университета, 2009. -С. 36-39.
Balaji, P. MPI Forum Hybrid Programming Working Group/P. Balaji. URL: http://meetings.mpi-forum.org/mpi3.0hybrid.php (дата обращения: 22.02.2013).
Основные подходы к построению грид-инфраструктуры национальной нанотехнологической сети/А.П. Крюков, А.П. Демичев, В.А. Ильин, Л.В. Шамардин//Вычислительные технологии в естественных науках. Перспективные компьютерные системы: устройства, методы и концепции: Труды семинара (Таруса, 24 марта 2011). -Москва: Издательство ИКИ РАН, 2011. -C. 51-68.
Реализация программного интерфейса грид-сервиса Pilot на основе архитектурного стиля REST/А.П. Демичев, В.А. Ильин, А.П. Крюков, Л.В. Шамардин//Вычислительные методы и программирование. Новые вычислительные технологии. -2010. -Т. 11. -С. 62-65.

Еще