Об использовании федеральной научной телекоммуникационной инфраструктуры для суперкомпьютерных вычислений

Об использовании федеральной научной телекоммуникационной инфраструктуры для суперкомпьютерных вычислений

Автор: Савин Геннадий Иванович, Шабанов Борис Михайлович, Баранов Антон Викторович, Овсянников Алексей Павлович, Гончар Андрей Андреевич

Журнал: Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика @vestnik-susu-cmi

Статья в выпуске: 1 т.9, 2020 года.

Бесплатный доступ

Статья посвящена перспективам развития научной телекоммуникационной инфраструктуры на базе национальной исследовательской компьютерной сети нового поколения (НИКС), образованной путем интеграции ведомственных научно-образовательных сетей RUNNet и RASNet. Показаны возможности новой сети для объединения и организации взаимодействия суперкомпьютерных ресурсов и обеспечения безбарьерного доступа к ним. На основе обобщенного мирового опыта показано, что суперкомпьютерные инфраструктуры предъявляют специальные требования к телекоммуникационной сети по передаче данных и наличию ряда дополнительных сервисов. Эти требования выходят далеко за рамки услуг коммерческих операторов связи и, как правило, могут быть удовлетворены только объединенными усилиями национальных научно-образовательных сетей. Рассмотрены ключевые элементы федеральной телекоммуникационной инфраструктуры, необходимые для объединения высокопроизводительных вычислительных ресурсов: высокопроизводительные каналы связи с заданным качеством обслуживания, их автоматическое выделение по требованию и по расписанию, доверенная сетевая среда, федеративная аутентификация и авторизация, обеспечение надежности и безопасности, сквозной мониторинг пути передачи данных между конечными пользователями. На основе анализа жизненного цикла суперкомпьютерного задания, мигрирующего в сети суперкомпьютерных центров коллективного пользования (СКЦ), сформулированы требования к телекоммуникационной инфраструктуре НИКС и сервисам на ее основе со стороны распределенной сети СКЦ.

Еще

Национальная сеть науки и образования, суперкомпьютерный центр, центр коллективного пользования, распределенные вычисления, телекоммуникационная инфраструктура

Короткий адрес: https://sciup.org/147233211

IDR: 147233211   |   УДК: 004.72,   |   DOI: 10.14529/cmse200102

On the use of federal scientific telecommunication infrastructure for high performance computing

The article is devoted to the prospects for the development of scientific telecommunications infrastructure based on the new generation national research computer network (NRCN), formed by the integration of departmental scientific and educational networks RUNNet and RASNet. The new network\prime capabilities for combining supercomputer resources and providing barrier-free access to them are shown. Based on the generalized world experience, it has been shown that supercomputer infrastructures have special requirements for a telecommunication network for data transmission and the presence of a number of additional services. These requirements go far beyond the services of commercial telecom providers and, as a rule, can only be satisfied by the combined efforts of national scientific and educational networks. The key elements of the federal telecommunications infrastructure necessary for combining high-performance computing resources are considered: high-performance communication channels with a specified quality of service, their automatic allocation on demand and on schedule, trusted network environment, federated authentication and authorization, reliability and security, end-to-end monitoring of the data transmission path between end users. Based on the analysis of the life cycle of the supercomputer job migrating at the distributed network, the requirements for the NRCN telecommunications infrastructure and services based on it are formulated.

Еще

Список литературы Об использовании федеральной научной телекоммуникационной инфраструктуры для суперкомпьютерных вычислений

  • Фортов В.Е., Савин Г.И., Левин В.К., Забродин А.В., Шабанов Б.М. Создание и применение системы высокопроизводительных вычислений на базе высокоскоростных сетевых технологий // Информационные технологии и вычислительные системы. 2002. № 1. С. 3.
  • Deutschen Forschungsnetz. URL: https://www.dfn.de/ (дата обращения: 21.08.2019).
  • CANARIE. URL: https://www.canarie.ca/ (дата обращения: 21.08.2019).
  • Internet2. URL: https://www.internet2.edu/ (дата обращения: 21.08.2019).
  • SURFnet. URL: https://www.surf.nl/en (дата обращения: 21.08.2019).
  • AARNET. URL: https://www.aarnet.edu.au/ (дата обращения: 21.08.2019).
  • China Educational and Research Network. URL: http://www.edu.cn/english/ (дата обращения: 21.08.2019).
  • NORDUnet. Nordic gateway for Research and Education. URL: https://www.nordu.net/ (дата обращения: 21.08.2019).
  • G'EANT. URL: https://www.geant.org/ (дата обращения: 21.08.2019).
  • Asi@Connect. URL: http://www.tein.asia (дата обращения: 21.08.2019).
  • Asia Pacific Advanced Network. URL: https://apan.net/ (дата обращения: 21.08.2019).
  • RedCLARA. Latin American Cooperation of Advanced Networks. URL: https://www. redclara.net/ (дата обращения: 21.08.2019).
  • AfricaConnect2. URL: https://www.africaconnect2.net/ (дата обращения: 21.08.2019).
  • Catlett C. The philosophy of TeraGrid: building an open, extensible, distributed TeraScale facility. Cluster Computing and the Grid 2nd IEEE/ACM International Symposium CCGRID2002, 2002.
  • DOI: 10.1109/CCGRID.2002.1017101
  • XSEDE - The Extreme Science and Engineering Discovery Environment. URL: https: //www.xsede.org/ (дата обращения: 21.08.2019).
  • Bassini S., Cavazonni C., Gheller C. European actions for High-Performance Computing: PRACE, DEISA and HPC-Europa. Il Nuovo Cimento C. 2009. Vol. 32. P. 93-97.
  • PRACE - Partnetship for Advanced Computing in Europe. URL: http://www.prace-ri. eu/ (дата обращения: 21.08.2019).
  • Matsuoka S., Shimojo S., Aoyagi M., Sekiguchi S., Usami H., Miura K. Japanese Computational Grid Research Project: NAREGI. Proceedings of the IEEE. 2005. Vol. 93, no. 3. P. 522-533.
  • DOI: 10.1109/JPROC.2004.842748
  • PRACE: Europe's supercomputing infrastructure relies on G'EANT. URL: https://impact. geant.org/portfolio/prace/ (дата обращения: 21.08.2019).
  • MD-VPN Product Description. URL: https://wiki.geant.org/display/PLMTES/MD-VPN+ Product+Description (дата обращения: 21.08.2019).
  • XSEDE System Requirements Specification v3.1. URL: http://hdl.handle.net/2142/ 45102 (дата обращения: 21.08.2019).
  • Шабанов Б.М., Овсянников А.П., Баранов А.В., Лещев С.А., Долгов Б.В., Дербышев Д.Ю. Проект распределенной сети суперкомпьютерных центров коллективного пользования // Программные системы: теория и приложения. 2017. № 4(35). С. 245- 262.
  • DOI: 10.25209/2079-3316-2017-8-4-245-262
  • Шабанов Б.М., Телегин П.Н., Овсянников А.П., Баранов А.В., Тихомиров А.И., Ляховец Д.С. Система управления заданиями распределенной сети суперкомпьютерных центров коллективного пользования // Труды научно-исследовательского института системных исследований Российской академии наук. 2018. Т. 8, № 6. С. 65-73.
  • DOI: 10.25682/NIISI.2018.6.0009
  • Баранов А.В., Тихомиров А.И. Методы и средства организации глобальной очереди заданий в территориально распределенной вычислительной системе // Вестник ЮжноУральского государственного университета. Серия: Вычислительная математика и информатика. 2017. Т. 6, № 4. С. 28-42.
  • DOI: 10.14529/cmse170403
  • Шабанов Б.М., Телегин П.Н., Баранов А.В., Семенов Д.В., Чуваев А.В. Динамический конфигуратор виртуальной распределенной вычислительной среды // Программные продукты, системы и алгоритмы. 2017. № 4.
  • DOI: 10.15827/2311-6749.25.272
  • Baranov A.V., Savin G.I., Shabanov B.M. et al. Methods of Jobs Containerization for Supercomputer Workload Managers // Lobachevskii Journal of Mathematics. 2019. Vol. 40, no. 5. P. 525-534.
  • DOI: 10.1134/S1995080219050020
  • Шабанов Б.М., Самоваров О.И. Принципы построения межведомственного центра коллективного пользования общего назначения в модели программно-определяемого ЦОД // Труды Института системного программирования РАН. 2018. Т. 30, № 6. С. 7-24.
  • DOI: 10.15514/ISPRAS-2018-30(6)-1
  • Baranov A., Telegin P., Tikhomirov A. Comparison of Auction Methods for Job Scheduling with Absolute Priorities // In: Malyshkin V. (eds) Parallel Computing Technologies (PaCT 2017). Lecture Notes in Computer Science. 2017. Vol. 10421. P. 387-395.
  • DOI: 10.1007/9783-319-62932-2_37
  • Овсянников А.П., Савин Г.И., Шабанов Б.М. Удостоверяющие федерации научнообразовательных сетей // Программные продукты и системы. 2012. № 4. С. 3-7.
  • Баранов А.В., Овсянников А.П., Шабанов Б.М. Федеративная аутентификация в распределенной инфраструктуре суперкомпьютерных центров // Труды научноисследовательского института системных исследований Российской академии наук. 2018. Т. 8, № 6. С. 79-83.
  • DOI: 10.25682/NIISI.2018.6.0011
  • Koulouzis S., Belloum A., Bubak M., Lamata P., Nolte D., Vasyunin D., de Laat C. Distributed Data Management Service for VPH Applications // IEEE Internet Computing. 2016. Vol. 20, no. 2. P. 34-41.
  • DOI: 10.1109/MIC.2015.71
  • Kapadia A., Varma S., Rajana K. Implementing Cloud Storage with OpenStack Swift. Packt Publishing, 2014. 105 p.
  • Джонс М. Анатомия облачной инфраструктуры хранения данных. Модели, функции и внутренние детали. 2012. URL: https://www.ibm.com/developerworks/ru/library/ cl-cloudstorage/cl-cloudstorage-pdf.pdf (дата обращения: 28.08.2019).
  • Баранов А.В., Вершинин Д.В., Дербышев Д.Ю., Долгов Б.В., Лещев С.А., Овсянников А.П., Шабанов Б.М. Об эффективности использования канала связи между территориально удаленными суперкомпьютерными центрами // Труды научноисследовательского института системных исследований Российской академии наук. 2017. Т. 7, № 4. C. 137-142.
  • Hanemann A. et al. PerfSONAR: A Service Oriented Architecture for Multi-domain Network Monitoring // Lecture Notes in Computer Science. 2005. Vol. 3826. P. 241-254.
  • DOI: 10.1007/11596141_19
Еще
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp