Методика оценки вычислительных возможностей мобильных центров обработки данных

Центр обработки данных (далее – ЦОД) предназначен для быстрой и безотказной обработки информации, хранения и передачи пользователю данных в стандартизированном виде для применения их по специальному назначению [1; 2]. В семействе ЦОДов заметное место занимают мобильные ЦОДы (далее – МЦОДы).

Мобильный ЦОД – это технический комплекс информационной, телекоммуникационной и инженерной инфраструктуры, размещенный в специализированном транспортном контейнере. Типовой МЦОД представляет собой небольшой автономный готовый к эксплуатации модуль. Важной характеристикой МЦОДа является устойчивость к воз действиям окружающей среды. Контейнерные центры об работки данных можно распо- © Ерхова Д.А., Фёдорова В.А., Брякалов Г.А., Захаров А.И., 2023

Ерхова Диана Андреевна инженер вычислительного центра Министерства обороны Российской Федерации, Москва. Сфера научных интересов: информационные технологии, мобильные центры обработки информации, параллельное программирование.

лагать в любых климатических условиях, перевозить неограниченное количество раз с помощью автомобилей или железнодорожным транспортом, а также подключать к общим источникам электроснабжения.

Основные достоинства мобильных ЦОДов:

• •    мобильность - возможность оперативного развертывания работы;

• •    невысокая стоимость - не требуют капитального строительства;

• •    масштабируемость - возможность быстрого увеличения мощности;

• •    обособленность - возможность работать автономно и самостоятельно;

• •    гибкость - возможность соответствовать требованиям клиента;

• •    высокая надежность всех систем за счет резервирования;

• •    максимальная степень готовности к эксплуатации как результат применения современных технологий.

МЦОДы могут быть весьма эффективны при различных экстренных ситуациях, например, для создания оперативных штабов, центров обработки информации, при решении задач военного назначения, а также для оказания помощи при ликвидациях последствий стихийных бедствий.

Методика оценки вычислительных возможностей мобильных центров обработки данных

Анализ состояния и возможностей отечественных МЦОДов

Во второй половине ХХ века остро возникла проблема разработки вычислительных комплексов для автоматизации управления различными процессами [3]. В качестве основных требований выдвигались оперативность обработки информации и мобильность таких систем. Что касается специфических требований к таким системам, то выдвигались следующие.

• 1.    Добиться от серийных ЭВМ более высоких характеристик по надежности при эксплуатации в сложных условиях обстановки [4].

• 2.    Конструктивно доработать ЭВМ к специфическим условиям эксплуатации, связанным с вибрацией при механическом передвижении по местности в условиях климатических воздействий.

• 3.    Выбор инфраструктуры мобильного вычислительного центра в виде автотягача, фургона-полуприцепа, оборудованных мощным кондиционером, передвижной дизель-электростанцией, связной радио- и телеграфной аппаратурой и др.

В результате выполненных проектов и работ в последние годы были введены в эксплуатацию следующие образцы отечественных МЦОДов:

• •    подвижный вычислительный пункт (ПВП), или «Платформа» [4];

• •    АСУ «Рубеж - М» [5];

• •    мобильный ЦОД «Росатом» [6];

• •    МЦОД холдинга «Росэлектроника» [7].

Основные технические характеристики отечественных МЦОДов, полученные в результате анализа, приведены в Таблице 1.

Таблица 1

Технические характеристики МЦОДов

Характеристики	Название МЦОДов
	ПВП «Платформа»	АСУ «Рубеж-М»	«Росатом»	«Росэлектроника»
Тип ЭВМ	«Раздан - 2»	«Тетива»	Нет данных	«Вега»
Производительность ЭВМ	5 Мфлопс	20 Кфлопс	50–250 Тфлопс	2,2 Пфлопс
Объем памяти	8192 байт	1024 байт	12–1000 Тбайт	2,2 Пбайт
Транспортное средство	Автотягач ЗИЛ-157 и полуприцеп 828	Полу-прицеп-фургон 936М-ЗИП	КАМАЗ	Кузов-контейнер
Диапазон температуры	+10 до +35 C°	Нет данных	–45 до +35 С°	–50 до +50 С°
Электропитание	Дизель-электростанция	Нет данных	Независимое электропитание	Независимое электропитание
Особенности	Комплексирование 2 однотипных ЭВМ	Вторая ЭВМ в «горячем резерве»	Нет данных	Система жидкостного охлаждения

Основное внимание при анализе было уделено таким важнейшим показателям, как производительность и объем памяти вычислительных средств МЦОДов.

Анализ показал, что лучшими характеристиками на сегодняшний день обладает МЦОД холдинга «Росэлектроника». Его основными преимуществами перед аналогами являются:

• •    выбор отечественных микропроцессоров, что обеспечивает независимость от зарубежья и информационную безопасность;

• •    использование жидкостного охлаждения для достижения максимальной производительности и снижения до 50 % расходов на электроэнергию;

• •    МЦОД холдинга «Росэлектроника» обладает лучшим ИТ-оборудованием и возможностью установки в недостаточно подготовленных помещениях [7].

Среди худших по показателям таблицы 1 можно отметить МЦОД ПВП «Платформа», но это был лишь первый опыт нашей страны по разработке МЦОДов с более чем полувековой историей.

Содержательная постановка задачи

При испытаниях и отладке вычислительных средств мобильных ЦОДов специалистам приходится решать ряд задач по организации вычислительного процесса.

Актуальность данного вопроса обусловлена тем, что в современной практике расчетов часто возникает необходимость прогноза и получения комплексной оценки максимальных вычислительных возможностей средств МЦОДа, а также объема его памяти.

В связи с этим возникает необходимость решать задачу анализа оценки вычислительной возможности МЦОДа, а также при необходимости решать задачу синтеза его памяти.

Содержательная постановка задачи анализа и синтеза вычислительных средств МЦО-Да может быть сформулирована следующим образом .

Дано:

Комплекс вычислительных средств МЦОДа с соответствующей энерговооруженностью [2; 6].

Требуется:

• 1)    определить реальную производительность отдельного вычислительного средства (задача анализа);

• 2)    рассчитать суточный объем количества информации, подлежащей переработке (применительно к задаче синтеза).

Задача анализа – рассчитать производительность вычислительного средства.

Для подсчета производительности микропроцессора нужно учитывать, что современные микропроцессоры в каждом своем ядре содержат несколько исполнительных блоков разного типа (в том числе для операций с плавающей запятой), работающих параллельно. Это позволяет выполнять более одной операции за такт.

В этом случае производительность определяется как произведение:

(Количество ядер) х (количество операций с плавающей точкой за такт) х х (тактовая частота) [8; 9].

Расчет производительности микропроцессора осуществляется в флопсах или его производных. Примеры возможных вариантов расчета производительности типовых микропроцессоров, применяемых в производстве вычислительных систем (далее – ВС), выглядят следующим образом:

• •    микропроцессор Core 2 Duo: 2 х4 х 3,0 ГГц = 24 Гфлопс;

• •    микропроцессор Core 2 Quad: 4 х 4 х 3,5 ГГц = 56 Гфлопс;

• •    микропроцессор AMD Phenom 9500 sAM2: 4 х 4 х 2,2 ГГц = 35,2 Гфлопс.

Более новые микропроцессоры могут исполнять до 8–16 и даже до 32 операций над 64-разрядными числами с плавающей запятой за такт (на каждом ядре).

Методика оценки вычислительных возможностей мобильных центров обработки данных

Определение производительности вычислительных средств МЦОДа

В процессе решения этой задачи будем ориентироваться на технические средства холдинга «Росэлектроника».

Мобильный суперкомпьютер , разработанный концерном «Вега» по заказу холдинга, представляет собой модульный вычислительный комплекс с системой погружного жидкостного охлаждения модулей [7].

В вычислительный модуль входят 40 узлов, каждый узел может содержать до 4 про цессоров и до 4 видеокарт. Узел может включать в свой состав процессоры архитектуры « Эльбрус » с пиковой производительностью до 2.2 Пф, а объем хранимых данных достигает 2,2 Пбайт. При этом компьютер , как уже упоминалось, потребляет на 40 % меньше электроэнергии [7].

Для упрощения расчета производительности вычислительных средств МЦОДа ограничимся рассмотрением одной микросхемы одного узла.

В настоящее время многие вычислительные комплексы (далее – ВК) выполнены на основе отечественных интегральных микросхем (ИМС) 1891ВМ7Я (микропроцессор «Эльбрус-2С+»), используемых также в ВК «Сивуч» [3].

Микропроцессор «Эльбрус-2С+» (1891ВМ7Я) – гетерогенный многоядерный процессор, содержит 2 ядра архитектуры «Эльбрус» и 4 ядра цифровых сигнальных процессоров (DSP) производства ОАО НПЦ «Элвис». Микропроцессор может исполнять до 23 операций за такт. Это отражено в Таблице 2.

Таблица 2

Характеристики МЦОДа холдинга «Росэлектроника»

Количество четырехпроцессорных узлов, шт.	40
Операций за такт (на одно ядро)	23
Тактовая частота ИМС 1891ВМ7Я, ГГц	500 МГц
Число ядер	6

Таким образом, производительность определяется с использованием реальных данных вычислительного модуля, которые приведены в Таблице 2 [3].

Расчет производительности ИМС МЦОДа осуществляется по следующей схеме [8; 9], в которой производительность PR одной ИМС 1891ВМ7Я есть

(Количество ядер) х (Количество операций с плавающей точкой за такт на одно ядро) х х (Тактовая частота ИМС), или

PR = 6∙23∙0,5 ГГц = 69 Гфлопс.

Расчет времени обработки информации, поступившей на МЦОД

Зная производительность PR интегральной микросхемы, можно оперативно определить общий объем Qобщпереработанной информации за время Тобщпо следующей формуле: Qобщ = PR х Tобщ, где Qобщ – объем обработанной информации; PR – производительность ИМС; Тобщ – суточное время обработки информации.

Фактически с учетом возможных непроизводительных временных затрат, например, на сбои и профилактику рабочее время ( Т _раб ) обработки информации заданного объема будет меньше на величину непроизводительных затрат Т _затр .

Примерное время затрат Т _затр можно определить методом анализа временных затрат лучших суперЭВМ мира по данным таблицы «ТОП-500» на ноябрь 2022 года. Результаты анализа и расчеты приведены в Таблице 3.

Таблица 3

Расчет среднего времени затрат Т _затр

№ п/п	PR , max Пфлопс	PR , min Пфлопс	PR от T , затр Пфлопс	% от Т , затр	СуперЭВМ	Страна производства
1	1685	1102	583	34,6	Frontier	США
2	537	442	95	17,7	Фугака	Япония
3	428	309	119	27,8	LUM	Финляндия
4	255	174	81	31,7	Leonardo	Нет данных
5	200	148	52	26,0	Summit	США
			Средн. %	28,21

Результаты анализа данных Таблицы 3 убедительно показывают, что разброс времени затрат Т _затр , составляет от 34,6 до 17,7 %, а средний процент затрат равен 28,21 %. Для упрощения расчетов переработанного суточного объема информации округлим процент времени затрат до 30 %.

Тогда с учетом общего суточного времени Т _общ :

Т _затр = 30 % от ^Т общ = 30 % от 24 ч = 7,2 ^ч-

Общее рабочее время составит:

Т раб = Т о_бщ - Т затр = 24 - 7,2 = 16,8 ч = 60480 с.

Расчет объема информации, переработанной за рабочее время Т _раб

Общий рабочий объем информации Q _раб с учетом временных затрат получим по формуле

Q раб = PR x Т раб = 69 Гфлопс х 60480 сек. = 0,06910¹² • 604,810 2 * 4210¹⁴ * 4,0 Пфлоп .

Задача синтеза

Рассмотрим методику решения задачи синтеза, связанной с возможным расчетом дополнительного состава сетевого хранилища (далее – СХ) данных МЦОДа.

За время суточной работы МЦОДа происходит поступление информации и частичный оперативный расход обработанных данных. Неиспользованную часть данных нужно какое-то время хранить. В настоящее время в таких случаях можно использовать специальные сетевые хранилища [10; 11].

В нашем упрощенном примере максимальный суточный объем рабочей информации составил 4,0 Петафлоп. Для дальнейшего расчета сетевого хранилища этот объем информации целесообразно пересчитать в байты, учитывая, что при обработке данных на 32-разрядной ЭВМ один флоп равен 4 байтам.

Тогда

4,0 Петафлоп = 4,0 • 10¹⁵ флоп = 4 • 4,0 • 10¹⁵ байт = 16 • 10¹⁵ байт * 16 Петабайт.

Для демонстрации методики расчета СХ возьмем, например, следующие данные.

Методика оценки вычислительных возможностей мобильных центров обработки данных

Допустим, что объем оперативного суточного расхода данных 12 Пбайт, а объем данных, который необходимо временно хранить в сетевом хранилище, – 4 Пбайт, или 4000 Тбайт.

Математическая постановка задачи

Дано:

Известно, что после оперативной обработки информации в МЦОДе необходимо сохранить в сетевом хранилище данные объемом до 4.0 Петабайт.

Найти:

• 1)    необходимую конфигурацию дискового массива и количество отсеков сетевого хранилища;

• 2)    вычислить информационную емкость сетевого хранилища и потребляемую им электроэнергию.

Определение необходимой конфигурации дискового массива

Как уже было указано выше, сетевое хранилище должно вмещать до 4000 Тбайт информации. Для формирования дискового массива за основу можно взять твердотельный диск Samsung 30.7. Его характеристики представлены в Таблице 4.

Таблица 4

Характеристики диска Samsung 30.7

Формфактор Емкость Скорость чтения/ записи Время наработки на отказ Интерфейс Размеры, м/м 2,5” 30,7 Тбайт 2100 Мб/с 2000000 ч NAS catalog--vnutrennie-tverdotelnye-nakopiteli-ssd/26912750/list lfilter=27143691% 3A41852497 69,85 ∙ 100,20 мм

Что касается сетевого хранилища (NAS) [10; 11], то это сервер хранения данных файлового уровня, подключенный к компьютерной сети, обеспечивающей доступ к данным.

На базовом уровне NAS представляет собой корпус с отсеками, заполненными жесткими дисками, поэтому главной характеристикой NAS является максимальная емкость. Она определяется числом отсеков и емкостью поддерживаемых накопителей. NAS обычно содержат один-два отсека, а более мощные – от 4 до 24.

Основная функция NAS – хранение файлов и обеспечение доступа к ним.

Проведем расчет количества дисков K _д в системе хранения по следующей формуле:

к = Q

Qa где – Qвр– объем дисковой памяти временного хранения СХ (до 4000 Тб); Kд– количество дисков системы хранения; Qд– емкость одного диска (30,7 Тб).

Тогда по формуле получим количество дисков системы хранения:

K_d =^-= ⁴⁰⁰⁰ =130,2 хХЗОдисков.

Qa 30,7

Определение количества отсеков и занимаемой ими площади

Так как количество дисков, которое можно разместить в каждом отсеке, равно 8, то общее количество отсеков СХ можно рассчитать по формуле:

K =   == 16,25 « 16 шт .

• ^c 8     8

Поскольку в систему сетевого хранилища входит 16 отсеков, в каждом из которых содержится по 8 дисков, это позволяет ограничиться двумя стойками, в которых можно разместить 128 твердотельных дисков Samsung 30.7. Реально это соответствует количеству информации 3930 Тб, что практически соответствует расчетному.

Принимая во внимание, что на одну стойку требуется примерно 0,5 м2 площади, для установки двух стоек потребуется площадь размером 1 м2.

Расчет количества потребляемой электроэнергии сетевым хранилищем

В режиме ожидания современные NAS с четырьмя жесткими дисками потребляют порядка 20 Вт [10; 11], хотя под интенсивной нагрузкой энергопотребление увеличивается до 80…100 Вт.

Таким образом, общее потребление электроэнергии проектируемой СХ с учетом системы освещения, связи, сигнализации и других вспомогательных потребителей электроэнергии составит примерно 6,4 Квт.

Итак, в ходе решения задачи синтеза проектируемой СХ были определены и рассчитаны следующие характеристики состава ее оборудования:

• •    максимальный объем обработанной информации - 4,0 Пфлоп;

• •    расчетный объем информации в сетевом хранилище - 4000 Тбайт;

• •    необходимый дисковый массив - 128 дисков;

• •    количество монтажных стоек - 2 шт.;

• •    необходимая площадь для шкафов - 1 м²;

• •    потребляемая электроэнергия - до 7 кВт.

Методика синтеза проектируемого сетевого хранилища

Проведенные синтез и расчеты проектируемого СХ позволяют сформулировать методику построения хранилища данных, которая сводится к следующему.

• •    определение расчетного объема хранимых данных в СХ;

• •    расчет необходимого дискового массива;

• •    определение количества отсеков и стоек для монтажа элементов СХ;

• •    расчет общей площади, необходимой для размещения стоек;

• •    расчет количества электроэнергии, потребляемой СХ.

Заключение

Настоящая статья посвящена разработке методики оценки вычислительных возможностей мобильных центров обработки данных. Данная методика позволяет получать общую оценку возможностей ИТ-оборудования МЦОДов, решать задачу анализа производительности для реального состава вычислительных средств, проводить расчет объема обработанной информации для любого промежутка времени, а также оценивать возможности систем хранения данных при выполнении задач по назначению.

Статья носит прикладной характер и может быть полезна для лиц, интересующихся вопросами повышения эффективности вычислительных средств мобильных центров обработки данных.

Методика оценки вычислительных возможностей мобильных центров обработки данных