Методика расчета и оценки состава IT-оборудования центра обработки данных

Центр обработки данных (ЦОД) – это отказоустойчивая комплексная централизованная система, обеспечивающая автоматизацию информационных процессов с высоким уровнем производительности и качеством предоставляемых сервисов, а также непрерывную работу оборудования и снижение стоимости хранения и обработки информации.

Актуальность статьи обусловлена тем, что в современной практике проектирования и строительства ЦОДов возникает необходимость прогноза и получения комплексной оценки вычислительной возможности средств (IT-оборудования) ЦОДа [1].

Следует отметить, что создание ЦОДов позволяет реализовать ряд преимуществ:

• •    повышение эффективности и надежности эксплуатации вычислительных ресурсов;

• •    предоставление отказоустойчивых инфраструктурных сервисов в режиме круглосуточной работы в течение года;

Захаров А.И., Брякалов Г.А., Михайлова П.И., Чумакова Е.В. Методика расчета...    111

• •    простое и прозрачное централизованное администрирование;

• •    централизованное управление и учет ресурсов ЦОД;

• •    контроль доступа к ЦОДу;

• •    возможность параллельной обработки информации.

Основной и главной задачей в ходе проектировании создаваемого ЦОДа является расчет и оценка состава вычислительных средств (IT-оборудования), с помощью которых можно обработать максимальный или заданный объем информации за фиксированный отрезок времени.

В конечном счете, возникает необходимость решения задачи синтеза вычислительных средств ЦОДа.

Итак, задача синтеза решается при проектировании ЦОДа, когда необходимо определить состав и структуру IT-оборудования для обработки максимального или заданного объема информации.

Данную задачу на содержательном уровне можно сформулировать следующим образом.

На момент проектирования известен определенный ресурс электроэнергии для обеспечения всестороннего функционирования ЦОДа.

Необходимо определить требуемые эксплуатационные размеры площади здания ЦОДа, и в первую очередь из общей территории следует выделить площадь, отводимую под размещение IT-оборудования (машинный зал).

Далее необходимо определить количество вычислительных стоек, обеспечивающих максимально возможную вычислительную мощность ЦОДа.

И наконец, следует разработать методику решения задачи синтеза, связанную с расчетом и оценкой состава IT-оборудования ЦОДа.

Классификация ЦОДов

Сами центры обработки данных можно разделить на несколько видов, которые строго соответствуют определенным классификационным признакам [1].

По размеру площади и энерговооруженности:

• •    крупные ЦОДы имеют свое здание, специально сконструированное для обеспечения условий размещения. При этом их потребляемая электрическая мощность – 20÷40 МВт;

• •    средние ЦОДы обычно арендуют площадку определенного размера и каналы передачи данных. Потребляемая электрическая мощность – 10÷20 МВт;

• •    малые ЦОДы размещаются в малоприспособленных помещениях. Оборудование плохого качества, а также минимум услуг. Потребляемая электрическая мощность – 5÷10 МВт;

• •    контейнерные ЦОДы. Здесь стойки с оборудованием размещаются в стандартных контейнерах. Потребляемая электрическая мощность – 3÷5 МВт.

Надежность. Стандарт TIA-942 предполагает четыре уровня надежности ЦОДов.

Для расчета и оценки вычислительных возможностей средств ЦОДа рассмотрим дополнительно классификацию информационных технологий.

Классификация информационных технологий осуществляется в основном по тем или иным признакам, связанным с областью их практического использования и предусматривает:

112 в ыпуск 2/2019

• •    базовые (обеспечивающие) информационные технологии;

• •    прикладные (функциональные) информационные технологии.

Базовые информационные технологии представляют собой наиболее эффективные способы организации информационных процессов, связанных с преобразованием, хранением или же передачей определенных видов информации.

Основная задача прикладных информационных технологий – рациональная организация того или иного вполне конкретного информационного процесса.

При этом учитываются:

• •    назначение и характер использования вычислительных средств;

• •    вид обработки информации;

• •    степень охвата задач управления;

• •    класс реализуемых технологических операций;

• •    тип пользователей интерфейса;

• •    способ построения сети.

В зависимости от вида обрабатываемой информации информационные технологии в основном направлены на электронную обработку данных.

Основы расчета элементов IT-оборудования ЦОДа

IT-оборудование (информационно-технологическое оборудование) – это комплекс оборудования, включающий в себя электронно-вычислительную технику, средства электропитания и телекоммуникации.

Конкретно, это серверное и компьютерное оборудование, линии связи и телекоммуникации, сети электропитания, а также системы аварийной и пожарной сигнализации.

Анализ подходов к расчету и оценке состава оборудования ЦОДа.

В соответствии с поставленной задачей в первую очередь определяются параметры расчета ресурса электроэнергии ЦОДа и его вычислительные возможности. Особое внимание обращается на э нерговооруженность – главный и важнейший показатель электрической мощности ЦОДа – физической величины, измеряемой в ваттах (Вт). В технике часто применяются более крупные единицы электрической мощности – киловатты и мегаватты. Помимо этого принимаются во внимание данные статистики в области ЦОДов, а именно стоимость постройки, затраты на эксплуатацию, причины аварийных ситуаций и др. [1; 2; 4].

В частности, затраты на эксплуатацию ЦОД, как правило, распределяются следующим образом:

• •    30% – электроэнергия;

• •    25% – техническое обслуживание;

• •    15% – аренда площадей;

• •    15% – система энергоснабжения ЦОД;

• •    8% – амортизация оборудования;

• •    5% – обслуживающий персонал;

• •    1% – мониторинг в ЦОД;

• •    1% – другое.

В свою очередь первая составляющая затрат – на электроэнергию – выглядит следующим образом:

Захаров А.И., Брякалов Г.А., Михайлова П.И., Чумакова Е.В. Методика расчета...    113

• •    57% – ИТ-оборудование;

• •    34% – система кондиционирования ЦОДа;

• •    6% – система бесперебойного электроснабжения ЦОД (ИБП);

• •    3% – освещение, мониторинг, пожарная сигнализация, обслуживающий персонал.

Накопленный опыт предлагает разные критерии оценки расчета энергетики ЦОДа [3]:

• •    по энерговооруженности из расчета 1 кВт на 1 м² или из расчета 1 кВт на 1 стойку;

• •    по средней плотности размещения IT-оборудования;

• • по стоимости потребляемой электроэнергии из расчета 1 кВт на 1 м².

Критерий расчета энерговооруженности ЦОДа: 1 кВт на 1 м2.

В среднем ЦОДы, построенные и эксплуатируемые в РФ, характеризуются энерговооруженностью 1,5–4 кВт на 1 м2 [3]. При этом в них конструктивно заложена возможность увеличения энергопотребления максимум на 50%.

Таким образом, расчетное количество электрической мощности, отнесенное к 1 м2 полезной площади, оказывает прямое влияние на общую площадь и структуру ЦОДа, состав и плотность оборудования, структуру и энергообеспеченность IT-оборудования.

Общий внешний рынок ЦОДов неуклонно идет по пути совершенствования и укрупнения объектов. Особенно заметна эта тенденция в последние годы, когда заказы на объекты мощностью в несколько десятков мегаватт резко уменьшились, а крупнейшие мировые операторы нацелились на показатели в 100 МВт и более.

Критерий расчета энерговооруженности ЦОДа: 1 кВт на 1 стойку.

Этот показатель определяют двумя способами. Первый предусматривает осреднение мощности и дает среднюю мощность на стойку. Второй предполагает выявление в ЦОДе одной стойки с наибольшей потребляемой мощностью. В общее количество стоек включают заполненные серверные стойки, мейнфреймы и отдельно стоящие дисковые накопители. Из расчета исключается оборудование со сравнительно низким энергопотреблением и выделяется стойка с самым высоким энергопотреблением.

При анализе характеристик ЦОДов выяснилось, что за последнее время максимальное значение средней мощности стойки составило 5,9 кВт. При этом наблюдается тенденция к снижению этого показателя. Поэтому в большинстве случаев клиенту достаточно 5–6 кВт на стойку, и даже если он хочет установить оборудование с большим энергопотреблением, фактически данное оборудование расходует не более 70% от заявленной мощности [3].

В настоящий момент стойки с энергопотреблением до 7 кВт являются самыми востребованными. К тому же 7 кВт – это граничное значение, максимум, который при нормальном функционировании оборудования можно снять с использованием традиционной схемы охлаждения. Например, ЦОДы, построенные и эксплуатируемые Stack Group [7], характеризуются энерговооруженностью 1,5–4 кВт на 1 м2 и конструктивно заложенной возможностью увеличения энергопотребления минимум на 50%.

Что касается расчета по средней плотности размещения IT-оборудования и по стоимости электроэнергии из расчета 1 кВт на 1 м2, они освещены в литературе [2; 3] и в данной работе опущены.

Алгоритм расчета и оценки состава вычислительных средств ЦОДа.

В общем виде вербальная формулировка алгоритма расчета и оценки состава вычислительных средств ЦОДа сводится к следующему.

114 в ыпуск 2/2019

1-й шаг. Расчет площади здания ЦОДа по его энерговооруженности.

Расчет площади здания ЦОДа по заданной энерговооруженности производится в ваттах по критерию 1 кВт на 1 м2.

Если при проектировании ЦОДа в его техническом задании указана величина энерговооруженности, равная Р в мегаваттах (МВт), тогда площадь всего здания ЦОДа S определяется примерно по следующему соотношению:

S (тыс. м²) = Р (МВт).

2-й шаг. Расчет площади машинного зала по данным статистики.

Исходя из процентных соотношений данных статистики, приведенных выше, можно сделать следующие выводы: от общих затрат на эксплуатацию ЦОДа 30% приходится на электроэнергию и систему энергоснабжения ЦОДа, а 57% от этих общих затрат приходится на IT-оборудование.

Учитывая расчет соотношения электроэнергии, которое приходится на внутреннюю площадь здания ЦОДа, можно по соотношению 1 кВт на 1 м2 определить площадь машинного зала в квадратных метрах.

3-й шаг . Расчет стойки по критерию 1 кВт на 1 стойку.

Проводится с целью выявления в машинном зале одной стойки с наибольшей потребляемой мощностью. Из расчета исключаются стойки с низким энергопотреблением. Как указывалось выше, по статистике максимальное значение мощности стойки составляет 5,9 кВт [3].

Методика расчета элементов IT-оборудования ЦОДа

Методику расчета элементов IT-оборудования для монтажа вычислительных средств в машинном зале рассмотрим на примере решения задачи синтеза количества вычислительных средств ЦОДа.

Указанная методика базируется на пошаговом выполнении расчета общей площади территории ЦОДа, площади машинного зала для размещения его оборудования, а также необходимого количества вычислительных стоек с учетом их производительности и стоек со вспомогательными элементами.

1-й этап. Определение мощности электроснабжения IT-оборудования

Как отмечалось выше в техническом задании, на проектирование ЦОДа из 100% общих затрат на его эксплуатацию 30% составляют затраты на электроэнергию. В свою очередь из этих 30% на электроснабжение IT-оборудования приходится 57%.

Поэтому, если в техническом задании на эксплуатацию ЦОДа, например, определена мощность электроэнергии в размере Р _эксп = 5 МВт, то на систему электроснабжения ЦОДа будет выделено соответственно 30% от Р _эксп , а именно

Р _ЦОД = Р _эксп · 0,3 = 1,5 МВт.

Тогда электроснабжение IT-оборудования Р _IT составит 57% от Р _ЦОД , т.е.

Р _IT = Р _ЦОД · 0,57 = 1,5 · 0,57 = 0,855 МВт.

Так как построенные и эксплуатируемые ЦОДы [7] характеризуются энерговооруженностью, в которой лишь конструктивно заложена возможность увеличения энерго-

Захаров А.И., Брякалов Г.А., Михайлова П.И., Чумакова Е.В. Методика расчета...    115

потребления на 50%, то рабочая доля энергообеспеченности IT-оборудования Р уменьшится и составит 50% от Р _IT .

Р _раб = Р _IT · 0,5 = 0,855 · 0,5 ≈ 0,427 МВт.

2-й этап. Определение площади машинного зала ЦОДа

Проведя расчет мощности электроснабжения, которая приходится на машинный зал по соотношению 1 кВт на 1 м², можно определить площадь машинного зала в квадратных метрах. Так как рабочая мощность электроснабжения IT-оборудования составила Р _раб = 427 кВт, то по упомянутому соотношению общая площадь машинного зала составит 42^р7 м².

Учитывая часть вспомогательных площадей машинного зала, которые будут отведены для дежурной смены, для хранения ЗИПа, для профилактики контрольно-измерительной аппаратуры и др. (примерно 50 м2), определим рабочую площадь машинного зала в 375 м2.

3-й этап. Определение расчетного количества вычислительных стоек

При расчете количества стоек основными определяющими показателями являются рабочая площадь машинного зала и статистически определенная эмпирическая цифра 2,5 м2 на стойку при расчете по традиционной схеме холодоснабжения [3]. При размере площади машинного зала в 375 м2 и выборе цифры 2,5 м2 на стойку общее количество стоек машинного зала составит 150 единиц.

4-й этап. Расчет электроснабжения стоек

Самым правильным способом определения общей мощности вычислительных стоек является сумма, исходящая из совокупности их электропотребления [3].

Практически же используется способ измерения общего потребления электроэнергии вычислительными стойками, основанный на применении отраслевых норм. Можно выделить три уровня плотности заполнения стоек оборудованием: стойки низкой плотности до 4 кВт, средней плотности до 7 кВт, высокой плотности до 12 кВт. Количество стоек того или иного типа, которые предстоит разместить, зависит от набора вычислительных операций. Обычно центры эксплуатируют около 50% стоек низкой плотности, 35% – средней и 15% – высокой. Учитывая указанные процентные соотношения, определим потребляемую электроэнергию стойками разных уровней плотности.

Как правило, из общего количества стоек в помещении ЦОДа выделяют количество стоек, занятых оборудованием для электроснабжения и охлаждения, а также количество стоек, занятых IT-оборудованием. Стойки для электроснабжения и охлаждения обычно относят к стойкам низкой плотности, а стойки IT-оборудования относят к стойкам средней и высокой плотности [8].

Продолжая расчеты, получим:

• 1.    Стойки низкой плотности в количестве 50% от 150 единиц составляют 75 единиц. Потребляемая электроэнергия Р _низ = 75 ·4 = 300 кВт.

• 2.    Стойки средней плотности, или 35% от 150, составляют примерно 53 единицы. Потребляемая электроэнергия Р _ср = 53 ·7 = 371 кВт.

• 3.    Стойки высокой плотности, или 15% от 150, составляют примерно 22 единицы. Потребляемая электроэнергия Р _выс = 22 ·12 = 264 кВт.

116 в ыпуск 2/2019

Общая суммарная мощность стоек машинного зала по потребляемой электроэнергии составит Р : мз

Р = Р + Р + Р = 300 + 371 + 264 = 935 кВт = 0,935 МВт.

Так как к стойкам средней и высокой плотности относят стойки IT-оборудования, то их суммарная мощность Р по потребляемой электроэнергии составит:

Р _IT = Р _ср + Р _выс =371 + 264 = 635 кВт = 0,635 МВт.

• 5- й этап. Определение фактического количества стоек и их суммарной вычислительной мощности

Проведем окончательный расчет размещения вычислительных средств в машинном зале ЦОДа на примере использования оборудования современного отечественного вычислительного комплекса нового поколения семейства « Сивуч » [5; 6; 10].

Вычислительные комплексы (ВК) «Сивуч-1» (и его модификация «Сивуч-4») выполнены на основе отечественных интегральных микросхем 1891ВМ7Я (микропроцессор «Эльбрус-2С+») [9].

Микросхема 1891ВМ7Я является вычислительной системой, выполненной на кристалле и содержащей:

• •    два универсальных процессорных ядра с отечественной архитектурой «Эльбрус»;

• •    четыре процессорных ядра DSP для обработки цифровой сигнальной информации.

Вычислительный комплекс «Сивуч» обладает следующими техническими характеристиками (табл.).

Технические характеристики ВК «Сивуч»

Параметр	«С-4»-4	«С-4»-8	«С-4»-16	«С-4»-32
Количество ВК «Сивуч-1», шт.	4	8	16	32
Количество ИМС 1891ВМ7АЯ, шт.	144	288	576	1152
Производительность, ТFLOPS, не менее	1,6	3,2	6,4	12,8
Оперативная память, Тбайт	1,152	2,304	4,608	9,216
Внешняя Flash-память, Тбайт	18,432	36,864	73,728	147,456
Количество каналов ввода-вывода:	168 240	336 480	672 960	1344 1 920
Потребляемая мощность, кВт, не более	11,2	22,4	44,8	89,6

Сравнивая рассчитанную суммарную мощность электроэнергии, достаточную для работы IT-оборудования Р _IT = 0,635 МВт с мощностью, потребляемой вычислительным комплексом « Сивуч » в комплектации «С-4-32» (см. табл.) и равную Р _С-4-32 = 89,6 кВт, определим количество комплектов вычислительных комплексов (К _вк ), которое удовлетворяет ресурсу суммарной мощности электроэнергии:

К _вк = Р _IT / Р _С-4-32 = 635 / 89,6 = 7,08, или примерно 7.

Захаров А.И., Брякалов Г.А., Михайлова П.И., Чумакова Е.В. Методика расчета...    117

Поскольку каждый ВК «С-4-32» имеет в своем составе 32 стойки, то общее количество стоек рабочего состава IT-оборудования К _IT составит:

К _IT = 32 · 7 = 224 стойки.

Выше при расчете рабочей площади машинного зала общее количество стоек машинного зала составило 150 стоек, а по расчету с учетом потребляемой мощности составом IT-оборудования возможное количество стоек увеличилось до 224, что превышает реальные возможности машинного зала. Поэтому вычислительные средства машинного зала ЦОДа должна составить комбинация средств ВК « Сивуч » в следующем составе:

• •    ВК «С-4-32» – 4 (четыре) – 128 стоек;

• •    ВК «С-4-16» – 1 (один) – 16 стоек;

• •    ВК «С-4-4» – 1 (один) – 4 стойки.

Таким образом, комбинация ВК « Сивуч » состоит из 148 стоек и в резерве остается место еще для двух стоек.

Исходя из характеристик производительности представленного ряда машин системы ВК «Сивуч», проведем расчет мощности машинного зала Р _мз :

Р _мз = 4 (ВК «С-4» – 32) + (ВК «С-4» – 16) + (ВК «С-4» – 4) =

= 4 · 12,8 + 6,4 + 1,6 = 59,2 Teraflops (Tf) = 59 200 Gigaflops (Gf).

Вычисление объема информации Q _вк для однородной системы ВК «Сивуч» рассчитывается с использованием математической зависимости

Q вк = (Pмз (T – Тзатр)), где Т – время работы ВК; Т – системные затраты времени.

6-й этап. Расчет суточного объема рабочей информации, обработанной ВК «Сивуч».

С учетом того, что в сутках Т = 86 400 с, а системные затраты времени составляют примерно одну треть от Т , т.е. Т _затр = 28 800 с, объем рабочей информации Q _вк определяется по упомянутой выше формуле

Q _вк = P _мз · ( T – Т _затр. ) = 59 200 · (86 400–28 800) = 3 409 920 000 Гигафлоп =

= 3р. 409 920 Терафлоп = 3 409,92 Петафлоп.

Заключение

В современной практике создания и эксплуатации центров обработки данных часто возникает необходимость комплексной оценки возможностей обработки информации вычислительными средствами ЦОДа. В статье проанализированы разные подходы к расчету и оценке состава средств IT-оборудования центра обработки данных. Разработан вербальный алгоритм пошагового расчета площади машинного зала, количества вычислительных стоек и ресурса электроэнергии, необходимой для их надежного функционирования.

Пример расчета вычислительной возможности машинного зала и объема информации, обработанной за сутки непрерывной работы при полном использовании IT-обору-

118 в ыпуск 2/2019

дования, подтверждает решение задачи синтеза для реального состава вычислительных средств ЦОДа.

Статья имеет практическую направленность и может быть полезна разработчикам ЦОДов и инженерному составу, эксплуатирующему их.