Desktop Grid корпоративного уровня

Высокопроизводительные вычисления являются основным инструментом современных материаловедения, химии, разработки лекарственных препаратов, конструирования высокотехнологичных машин и оборудования, проведения фундаментальных и прикладных исследований. Вычислительные эксперименты позволяют снизить количество необходимых для подтверждения свойств объекта натурных испытаний, а иногда и вовсе отказаться от их проведения.

Основной фокус исследований и разработок в области высокопроизводительных вычислений направлен на повышение производительности расчетов (создание все более производительного аппаратного и прикладного и системного программного обеспечения), разработку новых математических моделей для решения фундаментальных и прикладных задач, а также организацию процесса вычислений (балансировка нагрузки, планирование задач, защита от сбоев и др.).

Работа поддержана грантами РФФИ 12-07-31147 и 13-07-00008

Как правило, для организации высокопроизводительного моделирования используются специализированные вычислители — вычислительные кластеры. Они обеспечивают большую производительность, хорошо подходят для решения широкого класса ресурсоемких задач, однако требуют больших инвестиций в инфраструктуру и оборудование, а также сложны в обслуживании.

Грид кластеров позволяет, с одной стороны, повысить пиковую производительность всей вычислительной системы, а с другой — распределить затраты между несколькими центрами высокопроизводительных вычислений [1]. При этом существенно сужается класс решаемых задач и возникают проблемы синхронизации, взаимодействия и другие, связанные с функционированием распределенной вычислительной сети.

1.    Desktop Grid

Desktop Grid — это объединение в качестве единого логического «суперкомпьютера» большого количества неспециализированных вычислителей (офисных рабочих и персональных компьютеров, ноутбуков и даже смартфонов) относительно невысокой производительности. Такой подход еще больше сужает класс доступных для эффективного решения задач. При этом основные преимущества технологии при соответствующей реализации — практически неограниченные масштабируемость и, следовательно, пиковая производительность грид-системы, устойчивость к сбоям и минимальная стоимость создания и сопровождения вычислительной сети.

С ростом скоростей доступа в Интернет и локальных сетей передачи данных, ростом производительности персональных компьютеров, повышается и актуальность реализации вычислительных проектов на базе Desktop Grid. На текущий момент действует 94 крупных проекта на базе Desktop Grid, объединяя более 200 тысяч активных пользователей, предоставляющих ресурсы более 10 миллионов компьютеров суммарной пиковой производительностью бо- лее 7 Петафлопс (что соответствует 6-7 месту в списке TOP 500 мощнейших суперкомпьютеров мира).

Технология организации распределенных вычислений Desktop Grid имеет целый ряд особенностей по сравнению с кластерами и грид-кластерами, такими, например, как невозможность гарантировать доступность вычислительного узла, большая гетерогенность и разброс в производительности и скорости доступа к узлам, а также многие другие. Такие особенности требуют повышенного внимания к вопросам управления ресурсами, планированию заданий, обработки ошибок, обеспечению безопасности и др.

Одной из наиболее популярных платформ организации распределенных вычислений в Desktop Grid является BOINC (Berkeley Open Infrastructure for Network Computing) [2]. Из 94 действующих проектов добровольных вычислений 77 основаны на BOINC, т.е. данная платформа де-факто является стандартом для добровольных вычислений [3]. Ярким примером BOINC-проекта в сети Интернет, использующим свободные вычислительные ресурсы компьютеров добровольцев, является проект SETI@home, цель которого — анализ космических радиосигналов. Средняя производительность вычислений этого проекта по состоянию на 11 января 2014 года составляет 1.6 петафлопс [4]. Аналогичные показатели пиковой производительности имеют суперкомпьютеры, находящиеся во втором десятке месте в списке TOP-500 (по состоянию на ноябрь 2013 года). При этом в проекте SETI@home участвует более 1.4 млн. пользователей, а виртуальная вычислительная система состоит из 3.5 млн. узлов.

Платформа BOINC является активно развивающимся открытым (Open Source) программным обеспечением и предоставляет богатую функциональность. При этом она отличается простотой в установке, настройке и администрировании, а также обладает хорошими возможностями по масштабируемости, простоте подключения новых вычислительных узлов, использованию дополнительного программного обеспечения, интеграции с другими грид-системами и т. д.

Помимо BOINC существует целый ряд других разработок, основанных на тех же идеях: X-Com [5], Condor [6] и другие.

2.    Desktop Grid корпоративного уровня

Одно из перспективных направлений создания Desktop Grid — это реализация технологии распределенных вычислений в рамках локальных коммуникационных сетей предприятий и организаций, т. е. Desktop Grid корпоративного уровня или Enterprise Desktop Grid. Такой подход позволяет частной компании без существенных инвестиций в оборудование и инфраструктуру получить необходимые вычислительные мощности.

Согласно [7], корпоративная Desktop Grid должна удовлетворять следующим требованиям:

• •    Эффективность — использование максимального объема свободных ресурсов.

• •    Устойчивость к сбоям — вычисления должны завершаться с предсказуемой производительностью, скрывая сбои в вычислениях.

• •    Безопасность — защита целостности вычислений (приложения и данных).

• •    Масштабируемость — работа при изменении  (уменьше-

• нии/увеличении) доступных ресурсов с предсказуемым эффектом.

• •    Управляемость — затраты на администрирование не должны расти с той же скоростью, что и размер сети.

• •    «Прозрачность» — использование ресурсов не должно отражаться на работе корпоративных приложений.

• •    Открытость/простота интеграции приложений — запуск приложений с минимальными усилиями.

Desktop Grid корпоративного уровня по своим возможностям находятся между сервисными Grid и классическими Desktop Grid, расширяя класс доступных приложений (благодаря повышению скорости передачи данных и возможности обмена большими объемами данных), снижая гетерогенность и вероятность отказа вычислительных узлов, а также повышая управляемость самой сети.

Одной из первых реализаций, ориентированных именно на организацию вычислений в рамках локальной сети предприятия, является система Entropia [7], разрабатывавшаяся в начале 2000-х годов. Другими примерами систем организации Enterprise Desktop Grid являются Alchemi [8] и, созданная позже теми же разработчиками с учетом полученного ранее опыта, Aneka [9]. В работе [10] приведен ряд особенностей и классификация реализаций промежуточного программного обеспечения Desktop Grid, в том числе ориентированных на работу в рамках локальной сети организации.

Примерами перспективных для Enterprise Desktop Grid приложений являются, например, следующие [11] –[14]:

• •    аналитическая обработка больших наборов данных;

• •    распределенный рендеринг для студий анимации;

• •    моделирование промышленных продуктов и имитационное моделирование;

• •    финансово-экономическое моделирование;

• •    и другие.

В рамках научной организации Desktop Grid может служить дополнением или — в некоторых случаях — заменой вычислительного кластера [14].

Заключение

Программные системы по организации высокопроизводительных вычислений на базе Desktop Grid вызывают все больший интерес благодаря развитию вычислительной техники и каналов связи. Также Desktop Grid характеризуются низкой стоимостью владения и большим вычислительным потенциалом. При этом внимания также заслуживают Desktop Grid корпоративного уровня — Enterprise Desktop Grid. Такие системы позволяют частным компаниям и научным организациям получить все преимущества использования высокопроизводительных вычислений без необходимости масштабных инвестиций в инфраструктуру, поддержку и сопровождение.