Анализ данных о загрузке высокопроизводительных платформ пользовательскими задачами на примере гетерогенной вычислительной платформы Hybrilit
Автор: Полегаева Екатерина Игоревна, Пряхина Дарья Игоревна, Стрельцова Оксана Ивановна
Журнал: Сетевое научное издание «Системный анализ в науке и образовании» @journal-sanse
Статья в выпуске: 2, 2021 года.
Бесплатный доступ
Актуальность исследования, приведенного в данной статье, заключается в возможности агрегировать статистическую информацию об использовании ресурсов платформы различными группами пользователей. В статье проводится анализ данных по использованию ресурсов учебно-тестового полигона платформы HybriLIT, на основе которого можно построить модели для прогнозирования дальнейшей загруженности платформы с целью рационального распределения имеющихся вычислительных ресурсов и системы хранения данных, а также повышения эффективности их использования. Цель работы - представить исследования, направленные на интеллектуальный анализ данных используемых ресурсов при запуске задач различными группами пользователей и времени их выполнения на учебно-тестовом полигоне платформы HybrLIT. Гетерогенная вычислительная платформа HybriLIT, состоящая из учебно-тестового полигона и суперкомпьютера «Говорун», является частью многофункционального информационно-вычислительного комплекса Лаборатории информационных технологий им. М.Г. Мещерякова Объединенного института ядерных исследований. Платформа имеет гетерогенную структуру вычислительных узлов и позволяет запускать параллельные приложения для проведения расчетов на различных вычислительных архитектурах. Сводная информация о запущенных на HybriLIT задачах, автоматически записывающаяся в базу данных менеджером и планировщиком ресурсов SLURM, представляет интерес для анализа. В результате был проведен глубокий анализ данных по нескольким критериям для каждого ресурса и для каждой группы пользователей учебно-тестового полигона гетерогенной платформы HybriLIT.
Интеллектуальный анализ данных, высокопроизводительные вычислительные платформы, эффективное использование ресурсов
Короткий адрес: https://sciup.org/14122738
IDR: 14122738 | УДК: 004.22,
Analysis of data on the load of high-performance platforms by user tasks on the example of a heterogeneous computing platform Hybrilit
The relevance of the research presented in this article lies in the ability to aggregate statistical in-formation about the use of platform resources by various user groups. The article analyzes the data on the use of the resources of the training and testing ground of the HybriLIT platform, on the basis of which it is possible to build models for predicting the further workload of the platform in order to rationally allocate the available computing resources and the data storage system, as well as increase the efficiency of their use. The purpose of the work is to present the research aimed at data mining of the resources used when launching tasks by various groups of users and the time of their execution on the training and testing ground of the HybrLIT platform. The heterogeneous HybriLIT computing platform, consisting of a training and testing ground and the Govorun supercomputer, is part of the multifunctional information and computing complex of the Meshcheryakov Information Technology Laboratory of the Joint Institute for Nuclear Research. The platform has a heterogeneous structure of computing nodes and allows you to run parallel applications for performing calculations on various computing architectures. The summary information about the tasks running on HybriLIT, which is automatically recorded in the database by the SLURM resource manager and scheduler, is of interest for analysis. As a result, a deep analysis of data was carried out according to several criteria for each resource and for each group of users of the training and testing ground of the heterogeneous HybriLIT platform.
Список литературы Анализ данных о загрузке высокопроизводительных платформ пользовательскими задачами на примере гетерогенной вычислительной платформы Hybrilit
- Список мощнейших суперкомпьютеров мира TOP500. URL: https://www.top500.org/.
- МИВК. Многофункциональный информационно-вычислительный комплекс ОИЯИ. URL: https://micc.jinr.ru/.
- Гетерогенная платформа "HybriLIT". URL: http://hlit.jinr.ru/.
- Batch Docs. Планировщик заданий SLURM. URL: https://batchdocs.web.cern.ch/linuxhpc/index.html.
- Абдрахманов М. И. Pandas. Работа с данными. - 2-е изд. - Devpractice Team, 2020. - 171 c.
- Нуньес-Иглесиас Х. Элегантный SciPy / Х. Нуньес-Иглесиас, Х. Дэншоу, дер,Уолт Ван. - ДМК Пресс, 2018. - 336 c.
- Бизли Д. Python. Книга рецептов / Д. Бизли, Б. К. Джонс. - ДМК Пресс, 2019. - 646 c.
- Абдрахманов М. И. Библиотека Matplotlib. - Devpractice Team, 2019. - 125 c.
- Орельен Ж. Прикладное машинное обучение с помощью Scikit-Learn, Keras и TensorFlow. Концепции, инструменты - 2-е изд. - Диалектика, 2020. - 1040 c.
- Инструкция по работе. Буклет "Гетерогенная платформа HybriLIT". URL: http://hlit.jinr.ru/for_users/user_guide/#_3.