Автоматизация отладки и балансировки нагрузки во фрагментированных программах
Автор: Власенко Андрей Юрьевич, Мичуров Михаил Антонович, Мустафин Дамир Эркинович
Журнал: Проблемы информатики @problem-info
Рубрика: Параллельное системное программирование и вычислительные технологии
Статья в выпуске: 3 (56), 2022 года.
Бесплатный доступ
Описываются основные принципы, на которых базируется система фрагментированного программирования LuNA и одноименный язык. Даются значения основных терминов, принятых в системе. Приводятся наиболее типичные для фрагментированных программ логические ошибки. Обосновывается важность решения проблемы динамической балансировки нагрузки между процессами, разделяющими работу по исполнению фрагментов вычислений, совокупность которых и составляет фрагментированную программу на этапе исполнения. Поскольку LuNA относится к высокоуровневым средствам создания параллельных программ, то решение проблем отладки и динамической балансировки нагрузки очень затруднительно для пользователя. В связи с этим для системы разрабатываются модуль автоматизированной отладки на основе метода анализа по трассе и модуль автоматической централизованной динамической балансировки нагрузки. Модуль автоматизированной отладки по ходу исполнения фрагментированной программы на каждом процессе собирает файлы трассы в JSON-форматс, куда вносится информация об обрабатываемых фрагментах вычислений, а также об их входных и выходных фрагментах данных. После нормального или аварийного завершения работы программы пользователь может вызвать специальное программное средство, анализирующее собранные трассы и выводящее подробную информацию об обнаруженных ошибках. При подключении модуля централизованной динамической балансировки нагрузки порождается служебный процесс, который собирает с рабочих процессов информацию о готовых к исполнению и выполнившихся фрагментах вычислений с целью их перераспределения и минимизации дисбаланса. Изложены результаты тестирования модулей на вычислительном кластере НГУ на задаче блочного умножения матриц, продемонстрировавшие эффективность модуля централизованной балансировки нагрузки и приемлемые накладные расходы модуля автоматизированной отладки.
Фрагментированное программирование, система luna, автоматизированная отладка, динамическая балансировка нагрузки
Короткий адрес: https://sciup.org/143179394
IDR: 143179394 | DOI: 10.24412/2073-0667-2022-3-61-76
Список литературы Автоматизация отладки и балансировки нагрузки во фрагментированных программах
- Vlasenko, A., Gudov, A. The Use of Erratic Behavior Templates in Debugging Parallel Programs by the Automated Validity Verification Method // Journal of Computer and Systems Sciences International. 2017. V. 56. № 4. P. 708-720.
- Воеводин, В. В., Воеводин, Вл. В. Параллельные вычисления // СПб: БХВ-Петербург, 2002.
- Akhmed-Zaki, D., Lebedev, D., Malyshkin, V., Perepelkin, V. Automated Construction of High Performance Distibuted Programs in LuNA System // Malyshkin, V. (ed.) 15th International Conference, PaCT 2019, Almaty, Kazakhstan. August 19-23, 2019. P. 3-9.
- Малышкин, В. Э. Технология фрагментированного программирования // Вестник ЮУрГУ. Серия: Вычислительная математика и информатика. 2012. № 46 305. С. 45-55.
- Мустафин, Д. Э. Модуль централизованной динамической балансировки нагрузки LuNA- программ // Журнал „Инновации. Наука. Образование”. 2021. № 40. С. 365-373.
- Protze, J., Hilbrich, Т., Schulz, М., de Supinski, B.R. MPI Runtime Error Detection with MUST: A Scalable and Crash-Safe Approach // 43rd Intern. Conf, on Parallel Processing Workshops. Minneapolis, MN, USA. 2014. P. 206-215.
- Мичуров M. А. Средство анализа причин зависаний фрагментированных программ в системе LuNA // Журнал „Инновации. Наука. Образование”. 2021. № 40. С. 354-364.
- Fokkink, W. Distributed Algorithms: An Intuitive Approach // MIT Press. 2013. P. 38.
- Иртегов, Д. В. Введение в операционные системы // Изд. 2-е. Санкт-Петербург: БХВ- Петербург. 2008.
- Cybenko, G., Dynamic Load Balancing for Distributed Memory Multiprocessors // J. Parallel and Distributed Comp. 1989.
- Zaki, M. J., Li, W., Parthasarathy, S. Customized Dynamic Load Balancing for a Network of Workstations // J. Parallel and Distributed Computing. 1997. V. 43. № 2. P. 156-162.
- Об ИВЦ НГУ // Информационно-вычислительный центр Новосибирского государственного университета. [Электрон, pec.]: (дата обращения: 13.02.2022). http://nusc.nsu.ru/wiki/doku.php/doc/nusc/about
- El-Zoghdy, S. F. A Load Balancing Policy for Heterogeneous Computational Grids // International Journal of Advanced Computer Science and Applications. 2011. V. 2. № 5. P. 93-100.
