Об организации вычислительных кластеров в высших учебных заведениях

Введение. В настоящее время вопросы развития суперкомпьютерных вычислительных мощностей и подготовки кадров для их широкого применения рассматриваются как одни из самых приоритетных в нашей стране. Создание и развитие многопроцессорных вычислительных систем продиктовано потребностью решения сложных фундаментальных и прикладных задач с крупномасштабным объемом вычислений. Это задачи из самых разных областей, перечислим лишь некоторые из них: решение глобальных задач математического моделирования, экономического и экологического мониторинга, предсказания погоды, обработки больших потоков данных в реальном времени, расчета динамических процессов в сложно устроенных средах и т.д. Все эти задачи требуют больших вычислительных ресурсов, и их решение возможно на многопроцессорной вычислительной платформе.

Сегодня в мире уже созданы суперкомпьютеры с петафлопсной производительностью (квадриллион операций с плавающей точкой в секунду, 1015), и к 2018 г. прогнозируется достижение экзафлопс ного уровня производительности (1018 оп/сек). Однако лишь единичные приложения могут использовать потенциал петафлопсных машин. Поэтому значимость практического использования суперкомпьютерных технологий ставит перед системой высшего образования задачу оперативной и массовой подготовки кадров в области высокопроизводительных вычислений. Решению данной задачи посвящен проект Комиссии Президента РФ «Создание системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий и специализированного программного обеспечения» [1]. В рамках данного проекта создан и действует Суперкомпьютерный консорциум университетов России.

Вышеизложенное требует нового осмысления с точки зрения подготовки специалистов по информационным технологиям в университетах Республики Бурятия. В настоящее время остро назрела проблема расширения компьютерного образования в плане подготовки специалистов по высокопроизводительным вычислениям, создания необходимой информационно-вычислительной инфраструктуры.

Вычислительные кластеры для учебного процесса. Для подготовки специалистов в области высокопроизводительных вычислений необходим прямой или удаленный доступ к многопроцессорной вычислительной системе.

Современные суперкомпьютеры достигли высокого уровня производительности, но стоимость таких систем не всегда доступна для многих образовательных и научно-исследовательских организаций. Наиболее доступной технической платформой являются кластерные вычислительные системы. Развитие современных сетевых технологий и улучшение технико-экономических показателей «це-на/производительность» способствуют использованию их в качестве параллельных вычислителей.

Кластерные вычислительные системы фактически являются одним из направлений развития компьютеров с массовым параллелизмом. Привлекательной особенностью кластеров является то, что их можно строить на базе стандартных общедоступных технологий. Например, в наиболее доступной конфигурации можно использовать стандартные материнские платы процессоров Intel Pentium и сетевые адаптеры Fast Ethernet. Узлы кластера объединяются между собой посредством коммутатора Fast Ethernet на соответствующее число портов. Количество узлов и их конфигурация зависит от требований, предъявляемых к вычислительным ресурсам конкретными задачами, и доступных финансовых возможностей.

Вариантом, обеспечивающим большую производительность, является использование систем на базе микропроцессоров Alpha, сетевых адаптеров технологии Gigabit Ethernet в качестве основной коммуникационной и Fast Ethernet в качестве интерфейса управления. Средой передачи является неэкранированная витая пара 5-й категории.

Существуют различные конструктивные решения размещения узлов кластера и сетевого оборудования. Возможен монтаж материнских плат в стандартной стойке для электронного и электротехнического оборудования или специальные корпуса. Другой вариант: построение кластера на базе обычной локальной сети при инсталляции соответствующего программного обеспечения для скоординированного функционирования всех узлов. Одним из такого рода программных средств является Windows Compute Cluster Server 2003 (WCCS) корпорации Майкрософт.

Система WCCS построена на базе Windows Server 2003, с которой все уже знакомы. Пакет Compute Cluster Pack (ССР) в составе WCCS позволяет для развертывания, управления, мониторинга и обслуживания кластера использовать те же средства, что используются для выполнения аналогичных задач в системах Windows Server 2003. Вычислительные кластеры предъявляют ряд базовых тре- бований, которые выполняются путем установки пакета Compute Cluster Pack. ССР —включает в себя следующие компоненты: встроенный планировщик заданий; поддержку интерфейса MPI для отраслевого стандарта MPICH2; инструменты пользователя и средства управления ресурсами кластера. Для реализации таких решений необходима лишь опорная платформа - Windows Server 2003.

Приведенные способы организации вычислительных кластеров можно отнести к системам начального уровня для применения в высших учебных заведениях для организации учебного процесса, так как многие задачи, требующие значительных вычислительных ресурсов, можно решить методом параллельных вычислений на относительно небольших системах (узлах), сгруппированных в вычислительные кластеры.

Специализация по параллельным вычислениям. Специализация по параллельным вычислениям предполагает постановку специальных курсов по аппаратным средствам высокопроизводительной вычислительной техники, по системным программным средствам, по параллельным алгоритмам и методам в задачах прикладного анализа. Программа подготовки специалистов может включать следующие разделы: архитектура современных многопроцессорных вычислительных систем; системное программное обеспечение параллельных ЭВМ и сетей; технология программирования на параллельных машинах; крупномасштабное математическое моделирование и вычислительный эксперимент; параллельные алгоритмы вычислительной математики; параллельные технологии в прикладных задачах механики, теории управления, математической экономики, обработки изображений и т.д.

Студенты должны получить реальные навыки разработки параллельных алгоритмов и программ для решения масштабных вычислительных задач. Здесь наиболее остро стоит проблема освоения многопроцессорной вычислительной техники. Начать изменять создавшееся положение можно, корректируя те курсы, в которых начинают изучать алгоритмы. Например, в курсах по численным методам можно вводить первые элементы параллельных вычислений, строить графы алгоритмов, находить в них параллельные ветви вычислений, ориентированные разрезы, которые определяют коммуникации, и многое другое, с чем придется столкнуться, работая с вычислительной техникой параллельной архитектуры. При изложении численных методов можно изучать распараллеливание типовых информационных структур [2] и реализовывать с помощью специальных программных средств.

К вычислительным задачам, которым нужно уделять внимание с акцентом на параллельность алгоритмов, можно отнести: решение систем линейных алгебраических уравнений точными и итерационными методами; обращение матриц; минимизация функций многих переменных; решение систем дифференциальных уравнений; обработка экспериментальных данных.

Направление научной работы кафедры «Электронные вычислительные системы» ВСГУТУ связано с моделированием атмосферных физических процессов и радиоэлектронных систем. Исследования по данной теме предполагают широкое использование численного моделирования между физическими экспериментами и аналитическими подходами. При этом численный эксперимент значительно удешевляет процесс научного и технологического поиска, и именно многопроцессорная вычислительная платформа даст возможность моделировать в реальном времени процессы интенсивных физико-химических реакций, глобальных атмосферных процессов и т.д.

Другим направлением научной работы кафедры ЭВС является разработка методов распределенного имитационного моделирования сложных систем, автоматизированных методов распараллеливания моделирующих алгоритмов, которые позволяют ускорить вычислительный процесс моделирования без потери точности [3]. Реализация данных методов также требует наличия многопроцессорной вычислительной платформы.

Переход на двухступенчатую систему образования «бакалавриат-магистратура» предполагает введение новых предметов, обеспечивающих освоение проблематики параллельных вычислений, изучение современных технологий разработки параллельных программ, получение практических навыков параллельного программирования, что также предполагает наличие технического обеспечения в виде многопроцессорной вычислительной системы.

Поэтому на кафедре разработан вычислительный кластер на базе существующей локальной сети. Кластер представляет собой набор рабочих станций общего назначения, для связи узлов используется стандартная сетевая технология Fast Ethernet на базе коммутатора. Узлы кластера могут одновременно использоваться в качестве пользовательских рабочих станций. В качестве операционной системы используется стандартная Linux, вместе со специальными средствами поддержки параллельного программирования и распределения нагрузки MPI (Message Passing Interface). Библиотеки MPI реализо- ваны практически на всех современных суперкомпьютерах, а также могут использоваться и в кластерных системах, т.е. пригодны для использования в различных системах с распределенной памятью.

В настоящее время на кафедре в компьютерном классе создана модель кластера на следующем оборудовании: 20 компьютеров Intel Pentium, объединенных в сеть Fast Ethernet. Произведено тестирование кластера на распределенной имитационной модели, для чего предварительно проведено распараллеливание имитационной программы по данным. Программа работает следующим образом: каждый узел считает свою часть разбиения, результаты вычислений с каждого узла отправляются головному узлу для их обработки и вывода окончательного результата. При запуске MPI-программы создается коммуникатор по умолчанию MPI COMM WORLD, который передается каждой подпрограмме в качестве первого аргумента. Остальные аргументы определяют источник сообщения и буферы для хранения сообщений. MPI-подпрограммы возвращают целочисленное значение, как параметр ошибки, что позволяет узнать о любых проблемах, имеющих место при выполнении подпрограммы. Основные использованные процедуры MPI: MPICommsize - определяет количество запущенных процессов; MPICommrank - определяет ранг процесса; MPI Bcast -широковещательная рассылка; MPIReduce - операция сбора данных.

Вычислительные эксперименты показали, что использование параллельных вычислений дает большое ускорение выполнения программы, в данном случае более чем в 10 раз. Следует принять во внимание, что в данном кластере использовалась далеко не самая современная по техническим параметрам техника: компьютеры и сетевое оборудование.

Заключение. Подготовка специалистов в области высокопроизводительных вычислений требует объединения всех заинтересованных сторон - вузов, академических учреждений, предприятий, для которых готовятся специалисты. Также интеграция усилий должна произойти в кадровой, финансовой сферах и в сфере вычислительных ресурсов.