Оптимизация отображения неоднородно взаимодействующих MPI процессов на вычислительную архитектуру
Автор: Гетманский Виктор Викторович, Чалышев Владимир Сергеевич, Крыжановский Дмитрий Иванович, Лексиков Евгений Иванович
Рубрика: Информатика, вычислительная техника и управление
Статья в выпуске: 2 т.4, 2015 года.
Бесплатный доступ
Разработан метод отображения на кластерную архитектуру неоднородно взаимодействующих параллельных процессов в вычислительном приложении, использующем MPI. Метод предназначен для сокращения задержек при синхронизации за счет назначения наиболее интенсивно взаимодействующих процессов, на вычислительные ядра с наиболее быстрым интерконнектом. Метод использует представление вычислительной задачи и архитектуры кластера в виде взвешенного графа. Разработан эвристический алгоритм, дающий за приемлемое время результат отображения номеров процессов на номера вычислительных ядер кластера. На примере хорошо масштабируемого вычислительного пакета получено ускорение вычислений на 17-20 % в результате оптимизации отображения для тестов от 300 до 4800 процессов.
Отображение задач, кластер, графы задачи и системы
Короткий адрес: https://sciup.org/147160563
IDR: 147160563 | УДК: 004.272.26 | DOI: 10.14529/cmse150201
Optimizing processes mapping for tasks with non-uniform data exchange run on cluster with different interconnects
The problem of mapping the parallel task to the nodes of computing cluster is considered. MPI software with non-uniform communication and heterogeneous interconnect of computing cluster require to appropriate parallel processes mapping for optimization of data exchange. The graph mapping algorithm is developed. It uses parallel program representation as a task graph and cluster topology representation as system graph. The proposed optimization technique is tested on synthetic benchmark and on real QBox software to study its efficiency on large number of computing cores. The positive results of optimization are achieved and the summary is presented in the paper. Speedup of 17-20 % is obtained on scalable benchmarks using 300-4800 parallel processes.
Список литературы Оптимизация отображения неоднородно взаимодействующих MPI процессов на вычислительную архитектуру
- Копысов, С.П. Методы привязки параллельных процессов и потоков к многоядерным узлам вычислительных систем/С.П. Копысов, А.К. Новиков, Л.Е. Тонков, В.В. Гетманский, В.C. Чалышев, Д.И. Крыжановский, Е.И. Лексиков и др.//Вестн. Удмуртск. ун-та. Матем. Мех. Компьют. науки. -2010. -Вып. 1. -С. 123-132
- Курносов, М.Г. Назначение ветвей параллельной программы на процессорные ядра распределенной вычислительной системы/М.Г. Курносов//Материалы Межд. научно-технической конференции «Многопроцессорные вычислительные и управляющие системы» (пос. Дивноморское, Геленджик, 2007). -Таганрог: ТТИ ЮФУ, 2007. -Т. 1. -С. 227-231.
- Karlsson, C. Optimizing Process-to-Core Mappings for Application Level Multidimensional MPI Communications/C. Karlsson, T. Davies, Z. Chen//Cluster Computing (CLUSTER), 2012 IEEE International Conf. Proceedings (Beijing, China, September, 24-28, 2012). -Beijing, 2012. -P. 486-494. DOI: DOI: 10.1109/cluster.2012.47
- Zhang, J. Process Mapping for MPI Collective Communications/J. Zhang, J. Zhai, W. Chen, et al.//Lecture Notes in Computer Science. -2009. -Vol. 5704. -P. 81-92. DOI: DOI: 10.1007/978-3-642-03869-3_11
- Chen, H. MPIPP: an Automatic Profile-Guided Parallel Process Placement Toolset for SMP Clusters and Multiclusters/H. Chen, W. Chen, J. Huang, et al.//ICS’06 Proceedings of the 20th annual international conference on Supercomputing (Queensland, Australia, June, 28 -July, 01, 2006). -Queensland, 2006. -P. 353-360. DOI: DOI: 10.1145/1183401.1183451
- Intel® MPI Library Reference Manual. URL: http://software.intel.com/sites/products/documentation/hpc/ics/impi/41/lin/Reference_Manual/index.htm (дата обращения: 20.12.2014).
- Larsson, P. Shared Memory Communication vs. Infiniband/P. Larsson. URL: http://www.nsc.liu.se/~pla/blog/2013/09/12/smp-vs-infiniband (дата обращения: 20.12.2014).
- Gygi, F. Large-Scale First-Principles Molecular Dynamics Simulations on the Blue-Gene/L Platform using the Qbox Code/F. Gygi, R.K. Yates, J. Lorenz, et al.//Proceedings of the ACM/IEEE SC 2005 Conference (Seattle, WA, USA, November, 12-18, 2005). -Seattle, 2005. -24 p. DOI: DOI: 10.1109/sc.2005.40
- Суперкомпьютер «Торнадо ЮУрГУ». URL: http://supercomputer.susu.ac.ru/computers/tornado (дата обращения: 20.12.2014).
