Тенденции развития вычислительных узлов современных суперкомпьютеров

Тенденции развития вычислительных узлов современных суперкомпьютеров

Автор: Тютляева Екатерина Олеговна, Одинцов Игорь Олегович, Московский Александр Александрович, Мармузов Глеб Владимирович

Журнал: Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика @vestnik-susu-cmi

Статья в выпуске: 3 т.8, 2019 года.

Бесплатный доступ

В данной работе выполнен анализ вычислительных узлов современных суперкомпьютеров с двух точек зрения - аппаратно-компонентной и инфраструктурной. На основании проведённого анализа названы основные конструктивные элементы, которыми должен быть оснащен современный вычислительный узел. В статье приведены классификации архитектур современных универсальных и специализированных ядер с примерами; проведен обзор современных тенденций организации подсистемы памяти и внутриузлового интерконнекта; упомянуты способы использования энергонезависимых устройств хранения на узлах при организации современных высокопроизводительных систем хранения. Также разобраны основные требования к организации инфраструктуры узла современного суперкомпьютера, в частности, дана краткая классификация современных подходов к организации жидкостного охлаждения и мониторинга вычислительных узлов. Выявленные тенденции приводят к основным вариантам дизайна вычислительных узлов, состоящих из энергоэффективного универсального процессора и совокупности энергоэффективных специализированных ускорителей. В статье сделан акцент на современных технологиях, которые достигли стадии выхода в производство или, как минимум, создания рабочих прототипов. Обсуждаются современные суперкомпьютерные задачи и их отображение на архитектуру вычислительных узлов. В заключении приведено кратное обсуждение актуальных технологических проблем и основных направлений для сохранения прогресса в компьютерной отрасли.

Еще

Высокопроизводительный вычислительный узел, разработка архитектуры вычислительного узла, анализ суперкомпьютерных архитектур, тенденции развития суперкомпьютеров

Короткий адрес: https://sciup.org/147233203

IDR: 147233203   |   УДК: 004.382.2   |   DOI: 10.14529/cmse190305

Development trends of modern supercomputers

This work includes analysis of the computation nodes of modern supercomputers from two perspectives; first the hardware components focus and secondly discuss the infrastructure. Identified trends leads to basic options of computation node design. The paper classifies the modern architectures of universal processing cores and specialized hardware accelerators cores; studies the recent trends in memory hierarchy design and intra-node interconnect; the paper includes ways of using the non-volatile memory in modern memory hierarchy. Furthermore, the paper analyses the recent trends in HPC infrastructure, in particular in modern liquid cooling approaches and monitoring. The basic variants of HPC computing nodes design are based on energy efficient universal processor and set of energy-efficient specialized hardware accelerators cores, according to the observed trends. The paper focuses on recent technologies that are currently at various stages of production or at the functional prototype stage. The study also discusses state-of-the-art computational challenges and algorithms-to-architecture mapping issues. Lastly, the paper discusses the current technological problems and main areas to maintain the progress in HPC area.

Еще

Список литературы Тенденции развития вычислительных узлов современных суперкомпьютеров

  • Проект Российской Академии Наук: «Создание вычислительной системы для моделирования суперкомпьютера с производительностью экзафлопсного уровня». Институт прикладной математики им. М.В. Келдыша Российской академии наук. URL: http://www.keldysh.ru/projects/exaflops.pdf (дата обращения: 23.01.2019).
  • Reed D.A., Dongarra J. Exascale Computing and Big Data // Communications of the ACM. 2015. Vol. 58, No. 7. P. 56-68. DOI: 10.1145/2699414
  • Chrysos G. Intel//bigcirc R Xeon Phi coprocessor (codename Knights Corner) // Proceedings of the 2012 IEEE Hot Chips 24 Symposium, HCS, August 27-29, 2012, Cupertino, CA. P. 1-31. DOI: 10.1109/HOTCHIPS.2012.7476487
  • Lindholm E.,Nickolls J., Oberman S., Montrym J. NVIDIA Tesla: A Unified Graphics and Computing Architecture // IEEE Micro. 2008. Vol. 28, No. 2. P. 39-55. DOI: 10.1109/MM.2008.31
  • Jouppi N., Young C., Patil N., Patterson D. Motivation for and Evaluation of the First Tensor Processing Unit // IEEE Micro. 2018. Vol. 38, No. 3. P. 10-19. DOI: 10.1109/MM.2018.032271057
  • Davies M. et al. Loihi: A Neuromorphic Manycore Processor with On-Chip Learning // IEEE Micro. 2018. Vol. 38, No. 1. P. 82-99.
  • DOI: 10.1109/MM.2018.112130359
  • Hsu J. CES 2018: Intel's 49-Qubit Chip Shoots for Quantum Supremacy. IEEE Spectrum Tech Talks. 2018. URL: https://spectrum.ieee.org/tech-talk/computing/hardware/ intels-49qubit-chip-aims-for-quantum-supremacy (дата обращения: 23.11.2018).
  • Intel//bigcirc R Stratix//bigcirc R 10 SoC FPGAs. URL: https://www.intel.com/content/www/us/en/ products/programmable/soc/stratix-10.html (дата обращения: 23.11.2018).
  • Exascale Requirements Review. An Office of Science review sponsored jointly by Advanced Scientific Computing Research and High Energy Physics. June 10-12, 2015, Bethesda, Maryland. URL: http://hepcce.org/files/2016/11/DOE-ExascaleReport-HEP-Final. pdf (дата обращения: 13.11.2018).
  • Top500 List Statistics. Release November 2018. URL: https://www.top500.org/ statistics/list/ (дата обращения: 16.11.2018).
  • Hemsoth N. Cascade Lake at Heart of 2019 TACC Supercomputer. Онлайн ресурс технологических новостей Next Platform поддерживаемый Stackhouse Publishing Inc в партнерстве с The Register. 2018. URL: https://www.nextplatform.com/2018/08/29/ cascade-lake-heart-of-2019-tacc-supercomputer/ (дата обращения: 13.11.2018).
  • Bartsch V. D6.3 Initial Project Press Release // ExaNoDe Consortium Public deliverable. Пресс-релиз по проекту ExaNode. 2016. URL: http://exanode.eu/wp-content/uploads/ 2017/04/D6.3.pdf (дата обращения: 16.11.2018).
  • ARMv8 - A Scalable Vector Extension for Post-K. FUJITSU LIMITED. 2016. URL: http: //www.fujitsu.com/global/Images/armv8-a-scalable-vector-extension-for-post-k. pdf (дата обращения: 22.01.2019).
  • Astra. Top500 The List. URL: https://www.top500.org/system/179565 (дата обращения: 16.11.2018).
  • Xilinx. High Performance Computing and Data Storage. URL: https://www.xilinx.com/ applications/high-performance-computing.html (дата обращения: 23.11.2018).
  • Timmel A.N., Daly J.T. Multiplication with Fourier Optics Simulating 16-bit Modular Multiplication. URL: https://arxiv.org/pdf/1801.01121.pdf (дата обращения: 23.11.2018).
  • Ким А.К., Перекатов В.И., Фельдман В.М. На пути к российской экзасистеме: планы разработчиков аппаратно-программной платформы «Эльбрус» по созданию суперкомпьютера экзафлопсной производительности // Вопросы радиоэлектроники. Вычислительные системы на базе многоядерных микропроцессоров. 2018. № 2. С. 6-13.
  • CORAL Collaboration: Briefing on CORAL-2 RFP and Draft Technical Requirements // Vendor Webinar Meeting. December 6, 2017 URL: https://procurement.ornl.gov/rfp/ CORAL2/Brief-of-Draft-SOW-20171206-SA.PDF (дата обращения: 23.11.2018).
  • Farber R. HPC and AI - Two Communities Same Future. HPCwire: Global News and Information on High Performance Computing. 2018. URL: https://www.hpcwire.com/2018/ 01/25/hpc-ai-two-communities-future/ (дата обращения: 23.11.2018).
  • JEDEC DDR5 & NVDIMM-P Standards Under Development. Global Standards for the Microelectronics Industry. 2017. URL: https://www.jedec.org/news/pressreleases/ jedec-ddr5-nvdimm-p-standards-under-development (дата обращения: 23.11.2018).
  • Hadidi R. et al. Demystifying the Characteristics of 3D-Stacked Memories: A Case Study for Hybrid Memory Cube // Proceedings of the IEEE International Symposium on Workload Characterization, IISWC 2017, October 1-3, 2017, Seattle, WA, USA, P. 66-75.
  • DOI: 10.1109/IISWC.2017.8167757
  • High Bandwidth Memory (HBM) DRAM. JESD235A. Global Standards for the Microelectronics Industry. 2015. URL: https://www.jedec.org/standards-documents/ docs/jesd235a (дата обращения: 23.11.2018).
  • Hybrid Memory Cube (HMC). Hybrid Memory Cube Consortium Page. URL: http: //hybridmemorycube.org/ (дата обращения: 16.11.2018).
  • Intel//bigcirc R Memory Drive Technology Application Note. URL: https://www. intel.com/content/dam/support/us/en/documents/memory-and-storage/ intel-mem-drive-tech-appnote.pdf (дата обращения: 23.11.2018).
  • Graphics Double Data Rate (GDDR5) SGRAM standard. JESD212C. Global Standards for the Microelectronics Industry. 2016. URL: https://www.jedec.org/standards-documents/ docs/jesd212c (дата обращения: 23.11.2018).
  • Graphics Double Data Rate 6 (GDDR6) SGRAM standard. JESD250A. Global Standards for the Microelectronics Industry. 2017. URL: https://www.jedec.org/standards-documents/ docs/jesd250a (дата обращения: 23.11.2018).
  • Ferreira da Silva R., Callaghan S., Deelman E. On the use of burst buffers for accelerating data-intensive scientific workflows // Proceedings of the 12th Workshop on Workflows in Support of Large-Scale Science, WORKS '17. ACM, 2017. P. 2:1-2:9.
  • DOI: 10.1145/3150994.3151000
  • Bhimji W., Bard D., Romanus M., Paul, D., Ovsyannikov A., Friesen B., et al. Accelerating Science with the NERSC Burst Buffer Early User Program. Lawrence Berkeley National Laboratory. 2016. URL: https://escholarship.org/uc/item/9wv6k14t (дата обращения: 23.11.2018).
  • Cray//bigcirc R DataWarpTM Applications I/O Accelerator. URL: https://www.cray.com/ products/storage/datawarp (дата обращения: 23.11.2018).
  • Morgan T.P. For many hyperconverged is the next platform. Онлайн ресурс технологических новостей Next Platform поддерживаемый Stackhouse Publishing Inc в партнерстве с The Register. 2018. URL: https://www.nextplatform.com/2018/01/29/ hyperconverged-next-platform-many-jobs/ (дата обращения: 23.11.2018).
  • Бахур В. РСК представила гиперконвергентное HPC-решение на новейших компонентах. Интернет-издание о высоких технологиях cnews. 2018. URL: http://www. cnews.ru/news/line/2018-06-27_rsk_predstavila_giperkonvergentnoe_hpcreshenie (дата обращения: 23.11.2018).
  • The GEN-Z Consortium. URL: https://genzconsortium.org/ (дата обращения: 23.11.2018).
  • The OpenCAPI Consortium. URL: https://opencapi.org/ (дата обращения: 23.11.2018).
  • NVLink Fabric. URL: https://www.nvidia.com/ru-ru/data-center/nvlink/ (дата обращения: 23.11.2018).
  • Краткое описание продукции: платформа масштабируемых процессоров Intel//bigcirc R Xeon//bigcirc R. URL: https://www.intel.ru/content/www/ru/ru/processors/xeon/scalable/ xeon-scalable-platform-brief.html (дата обращения: 23.11.2018).
  • Infinity Fabric (IF) - AMD. URL: https://en.wikichip.org/wiki/amd/infinity_fabric (дата обращения: 23.11.2018).
  • Российские микропроцессоры серии «Эльбрус» и МЦСТ R и системные платы на их основе. Каталог продукции 2017. URL: http://mcst.ru/files/59db45/cf0cd8/50a21b/ 000000/katalog_produktsii_mtsst_hq.pdf (дата обращения: 23.11.2018).
  • CCIX. URL: https://www.ccixconsortium.com/(дата обращения: 23.11.2018).
  • Coherent Accelerator Processor Interface (CAPI). URL: https://developer.ibm.com/ linuxonpower/capi/ (дата обращения: 23.11.2018).
  • Шустиков В. Ученые Сколтеха создали суперкомпьютер «Жорес». Фонд «Сколково», пресс-релизы. 2019. URL: https://sk.ru/news/b/pressreleases/archive/2019/01/18/ uchenye-skolteha-sozdali-superkompyuter-zhores.aspx (дата обращения: 25.01.2019).
  • Is Liquid Cooling Ready to Go Mainstream? HPCwire: Global News and Information on High Performance Computing. URL: https://www.hpcwire.com/2017/02/ 13/liquid-cooling-ready-go-mainstream/ (дата обращения: 16.11.2018).
  • Aquila. URL: https://www.aquilagroup.com/cooling/ (дата обращения: 26.11.2018).
  • Группа компаний РСК. URL: http://www.rscgroup.ru/ru (дата обращения: 25.01.2019).
  • Asetek. URL: https://www.asetek.com/ (дата обращения: 26.11.2018).
  • Ebullient. URL: http://ebullientcooling.com/ (дата обращения: 26.11.2018).
  • ExaScaler Inc. Overview. URL: http://www.exascaler.co.jp/en/company (дата обращения: 26.11.2018).
  • 3M Server Solutions for Data Centers. URL: https://www.3m.com/3M/en_US/ data-center-us/solutions/data-center-servers/ (дата обращения: 26.11.2018).
  • Абрамов С.М., Амелькин С.А., Романенко А.Ю., Симонов А.С., Чичковский А.А. Опыт реализации высокопроизводительных вычислительных систем с погружной жидкостной системой охлаждения // Труды 3-й Всероссийской научно-технической конференции «Суперкомпьютерные технологии» (СКТ-2014) (Дивноморское, Геленджик, 29 сентября - 4 октября 2014 г.). С. 9-15.
  • Левин И.И., Дордопуло А.И., Доронченко Ю.И., Раскладкин М.К., Федоров А.М. Погружная система охлаждения реконфигурируемых вычислительных систем на основе ПЛИС // Программные системы: теория и приложения. 2016. №4 (31).
  • Liquid MIPS. URL: http://www.liquidmips.com/cms/en-us/howitworks.aspx (дата обращения: 26.11.2018).
  • Libri A., Bartolini A., Benini L. Dwarf in a Giant: Enabling Scalable, High-Resolution HPC Energy Monitoring for Real-Time Profiling and Analytics. URL: https://arxiv.org/pdf/ 1806.02698.pdf (дата обращения: 19.11.2018).
  • Grant R.E., Levenhagen M., Olivier S.L., DeBonis D., Pedretti K.T., Laros III J.H. Standardizing Power Monitoring and Control at Exascale // Computer. 2016. Vol. 49, No. 10. P. 38-46.
  • DOI: 10.1109/MC.2016.308
  • Georgiou Y., Glesser D., Trystram D. Adaptive Resource and Job Management for Limited Power Consumption // IEEE International Parallel and Distributed Processing Symposium Workshop, 2015, Hyderabad. P. 863-870.
  • DOI: 10.1109/IPDPSW.2015.118
  • Shalf J.M., Leland R. Computing beyond Moore's Law // Computer. 2015. Vol. 48, No. 12. P. 14-23.
  • DOI: 10.1109/mc.2015.37
Еще
QR-код для установки приложения SciUp Наведите камеру и скачайте бесплатное приложение SciUp