Эффективный запуск гибридных параллельных задач в гриде
Автор: Крюков Александр Павлович, Степанова Маргарита Михайловна, Приходько Николай Валерьевич, Шамардин Лев Витальевич, Демичев Андрей Павлович
Статья в выпуске: 3 т.2, 2013 года.
Бесплатный доступ
В работе рассматривается способ эффективного запуска в гриде гибридных задач, совместно использующих технологии MPI и OpenMP. Для гибкого управления параметрами запуска параллельных задач на суперкомпьютерных (СК) ресурсах была расширена спецификация языка описания задач. Поддержка новых атрибутов реализована для всех ключевых компонентов инфраструктуры. Взаимодействие веб-сервиса запуска с локальным менеджером ресурсов организовано через специальные обработчики разных типов заданий (single, openmp, mpi или hybrid), что обеспечивает передачу локальному менеджеру СК правильных параметров для резервирования ресурсов и запуска задачи. Представленное решение было опробовано на грид-полигоне, развернутом на базе промежуточного ПО ГридННС.
Параллельные вычисления, распределенные вычисления, грид, гибридные задачи
Короткий адрес: https://sciup.org/147160501
IDR: 147160501 | УДК: 004.75
Efficient submission of hybrid parallel tasks in grid
The method of efficient submission of hybrid tasks using both MPI and OpenMP technologies is considered. For flexible control of parameters of the parallel tasks submission to supercomputers (SC), the specification of the task description language was expanded. Support of the new attributes was implemented for all key components of the infrastructure. Interaction of the submission web service with a local resource manager is organized through special handlers for tasks of different types (single, openmp, mpi or hybrid). This provides transmission of the correct parameters for reservation of resources and task submission to the local SC-manager. The provided solution was tested on a grid testbed deployed on the basis of GridNNN middleware.
Список литературы Эффективный запуск гибридных параллельных задач в гриде
- Stepanova, M.M. Running Parallel Jobs on the Grid/M.M. Stepanova, O.L. Stesik//Distributed Computing and Grid Technologies in Science and Education: Proceedings of the 5th International Conference (Dubna, 16-21 July, 2012). -Dubna: JINR, 2012. -P. 383-387.
- Ильин, В.А. ГридННС: состояние и перспективы/В.А. Ильин, В.В. Кореньков, А.П. Крюков//Труды 5-й международной конференции «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна, 16-21 июля, 2012 г.). -Дубна: ОИЯИ, 2012. -С. 332-336.
- Burke, S. gLite 3.2 User Guide. -Manual Series. -CERN-LCG-GDEIS-722398. -2012./S. Burke, S. Campana, E. Lanciotti, et al. URL: http://edms.cern.ch/document/722398 (дата обращения: 03.04.2013).
- MPI-Start/URL: http://grid.ifca.es/wiki/Middleware/MpiStart (дата обращения: 22.02.2013).
- Extended Resource Specification Language. -Reference Manual for ARC versions 0.8 and above. -NORDUGRID_MANUAL-4. -2013/URL: http://www.nordugrid./documents/arc-ui.pdf (дата обращения: 03.04.2013).
- MPI: A Message-Passing Interface Standard. Version 2.2. -2009/URL: http://www.mpi-forum.org/docs/mpi-2.2/mpi22-report.pdf (дата обращения: 22.02.2013).
- OpenMP Application Program Interface. Version 3.1. -2011/URL: http://www.openmp.org/mp-documents/OpenMP3.1.pdf (дата обращения: 22.02.2013).
- Makris, I. Mixed Mode Programming on Clustered SMP Systems/I. Makris -M.Sc. Thesis in High Performance Computing. The University of Edinburgh, 2005.-108 p.
- Rabenseifner, R. Hybrid MPI/OpenMP parallel programming on clusters of multi-core SMP nodes/R. Rabenseifner, G. Hager, G. Jost//Proceedings of 17th Euromicro International Conference on Parallel, Distributed, and Network-Based Processing. -Nov. 2009. -P. 427-236.
- Rane, A. Experiences in tuning performance of hybrid MPI/OpenMP applications on quad-core systems/A. Rane, D. Stanzione//Proceedings of 10th LCI International Conference on High-Performance Clustered Computing -Jan. 2009. -P. 1-10.
- Глазкова, Е.А. Анализ эффективности гибридного параллельного программирования на примере системы BLUE GENE/P/Е.А. Глазкова, Н.Н. Попова//Материалы Всероссийской научной конференции «Научный сервис в сети ИНТЕРНЕТ» (Новороссийск, 21-26 сентября 2009 г.). -Москва: Издательство Московского университета, 2009. -С. 36-39.
- Balaji, P. MPI Forum Hybrid Programming Working Group/P. Balaji. URL: http://meetings.mpi-forum.org/mpi3.0hybrid.php (дата обращения: 22.02.2013).
- Основные подходы к построению грид-инфраструктуры национальной нанотехнологической сети/А.П. Крюков, А.П. Демичев, В.А. Ильин, Л.В. Шамардин//Вычислительные технологии в естественных науках. Перспективные компьютерные системы: устройства, методы и концепции: Труды семинара (Таруса, 24 марта 2011). -Москва: Издательство ИКИ РАН, 2011. -C. 51-68.
- Реализация программного интерфейса грид-сервиса Pilot на основе архитектурного стиля REST/А.П. Демичев, В.А. Ильин, А.П. Крюков, Л.В. Шамардин//Вычислительные методы и программирование. Новые вычислительные технологии. -2010. -Т. 11. -С. 62-65.
