Нестандартные подходы к организации климатических систем в центрах обработки данных

A.V. Zatonskiy1, , P.V. Plekhov1, , V.V. Zakharov2, , N.N. Khristolyubov1,

В свете глобального развития ИТ-технологий в РФ в последние годы и, как следствие, увеличения количества и мощностей центров обработки данных (ЦОД) затраты электроэнергии на системы кондиционирования также растут. Системы кондиционирования потребляют до 30–40 % электроэнергии ЦОД. При выходе их из строя или недостаточной мощности возможно нарушение работы ЦОД, ведущее к многим неприятным последствиям. Таким образом, тема снижение затрат на климатические системы никогда не потеряет актуальность. Это подтверждает, например, информация о росте потребления электроэнергии центрами обработки данных (рис. 1), отображенная в работе [1] о том, что доля мирового потребления электроэнергии ЦОД в 2025 г. составит порядка 33 % при 10 % в 2015 г.

Рис. 1. Прогноз доли мирового производства информационно-коммуникационных технологий в потреблении электроэнергии по видам на 2025 г.

Fig. 1. Forecast of the share of global information and communication technology production in electricity consumption by type in 2025

3) м алы е п лоща д и п озв о ляю т ра зм ещать ЦОД

Кроме этого, развитие технологий серверного оборудования ведет к высокой плотности их размещения в помещениях ЦОД [2]. Плотностью центра обработки данных называют количество потребляемых киловатт на один серверный шкаф. В ближайшее время вектор развития данного направления не изменится, об этом можно судить по количеству преимуществ от его применения. Об этих преимуществах неоднократно заявлялось крупными строителями и эксплуататорами данных объектов [2, 3].

Плюсы, полученные от развития ЦОД высокой плотности:

• 1)    снижение стоимости услуг для потребителя (повышение привлекательности и конкурентоспособности на рынке);

• 2)    снижение стоимости строительства и аренды ЦОД;

в условиях густонаселенных мегаполисов ближе к потребителю услуг;

• 4)    снижение TCO.

О п рогн оза х т е н де н ц ии р оста в данном направлении можно судить на осно в а н и и ре зу льта та о т рас ле в о го и с сле д ов а н ия ЦОД «2020 Data Center Industry Survey Results» , опубликованного Uptime institute [4].

1.    Проблемы связанные с использованием оборудования высокой плотности

Исследования компании C olocat ion Am eri c a демонстрируют тренд показателей плотности в р а з рез е роста мощ нос ти на од н у с той к у в ЦОД (рис. 2).

Рис. 2. График роста средней мощности на серверную стойку в период с 2008 по 2020 г.

Fig. 2. Graph of growth of average capacity per server rack from 2008 to 2020

Использование серверов высокой плотности (blade chassis) приводит к превышению возможностей климатических систем ЦОД с классическим подходом к охлаждению (использование прецизионных кондиционеров и перфорированного напольного покрытия в зоне забора воздуха оборудованием). Конструктивные особенности таких ЦОД предполагают равномерное распределение рабочих нагрузок, что проблематично при использовании вышеупомянутых технологий. Это делает невозможным дальнейшую эксплуатацию традиционного механизма обеспечения отказоустойчивости. Спроектированное по схеме N+1 климатическое оборудование будет вынуждено работать на полную мощность и потеряет функции резервирования. Также будет утерян функционал периодической ротации, что неизбежно приведет к повышенному износу оборудования. Использование механизмов миграции виртуальных машин и тиринга в системах хранения данных делает фиксацию горячей точки1 невозможным, так как горячие участки становятся трудноуловимыми. Динамическое распределение нагрузки средствами гипервизоров максимизирует использование их потенциала и, как следствие, рост потребления электроэнергии и тепловыделения. Примеры и причины локального перегрева на рис. 3.

Рис. 3. Графическое представление движения воздушных масс в ЦОД2 Fig. 3. Graphical representation of air mass movement in the data center

Простой и э кономи че ск и э ф фективный способ, позволяющий устранить д а н н у ю п роб ле му , – э то м оде рн и за ц ия к ли ма т и че с к и х систем путем управления воздушным поток ом. Про б ле м ы пе р е гре в а о б ору д ов а н и я в п ри м ере (см. рис. 3) связаны не с недостатком холо д оп рои зв од и тельн ости сист ем ы кон д и ц ион иров а н и я, а с неправильным распределением воздушн ы х мас с . В д а н н о м п ри ме ре п ра в а я с той ка н е може т получить достаточное количество холодног о в озд у ха и п оэ том у в ы ну жде н н о ком п енсиру е т ра зн ицу, втягивая горячий воздушный поток с ты льн ой с т ороны стой к и. Ле в а я с той к а с м е ш и в а е т воздушные потоки горячего и холодного к ори д ор а , за н и жая тем п ера турн ы е п ока з атели да тчика на кондиционере, что провоцирует снижени е э фф е к ти в н ос т и р а б оты п о с лед н е го. Мо ж н о с д е лать вывод, что действия, приводящие к ум е н ьш е н ию утечки и р е ц иркул я ц и и в озд у ха , б уд у т э ф фективны в устранении зон с избытком тепла ( ри с . 4) .

Рис. 4. Графическое представление движения воздушных масс в ЦОД с использованием системы разделения горячего и холодного коридора

Fig. 4. Graphical representation of air mass movement in a data center using a hot and cold aisle separation system

2.    Материалы и методы

На при ме ре к онк рет н о го объекта рассмотрим систему изоляции воз д у ш н ых кори д оров и э ф фек т и в н ос ть и с п ользова н и я п рям ого Free Cooling в климатических условиях Пермского края [5, 6, 10].

Вводные:

Место строительства – П ер мский край. Расчетная географическая широ та – 59° с. ш.;

• •    2 0 с е рв е рных шк афов 600 х 1200 мм 42U;

• •    М а кс и м альна я мощ н ос т ь н а од и н с ерв е рн ый ш к аф - 10 кВт;

• •    М а кс и м альна я мощ н ос т ь н а ма ш и н н ый зал - 170 кВт (ИТ-нагрузка);

• •    С хе ма рез ерви ров а н и я с и с те мы бе сп е реб ой н ого п ита н и я - 2 N ;

• •    С хе ма рез ерви ров а н и я с и с те м к онд и ц и он и ров а н и я - N +1.

Для у д а ле н и я те п лоп ос ту плений в помещении машинного зала использов ан ы к он д и ц и он е р ы с холо д оп рои зводи те л ьнос тью не менее 92,7 кВт. Применяется резервиро в а н и е к он д и ц и оне ров N + 1, то е с ть для у д а ле н и я в с е х теплопритоков достаточно двух кондиционеров, третий находится в ре зерве. Кон д и ц и онеры о б орудованы пароувлажнителями для поддерж а н и я за д а н н о го у ро вн я вл а жн ос ти в ма ш и н н о м за л е. Направление подачи воздуха осуществляе тс я под фа ль ш п олом , забор воздуха производ и т с я с в е рху .

Для у д а ле н и я те п лопос ту п лений в помещении ИБП применены шкафн ые пре ц и зи он н ые ко нди ц ион е ры с хол од оп роизв од и те льн ос ть ю к ажд о г о н е ме н е е 25 к В т [ 7]. Применяется резервирование кондиционеров N + 1, т о есть для удаления всех теплопритоков достаточн о од н ого к ондиц и он е ра, в т орой находи т ся в р езерве. Направление подачи воздуха осуще ств ляе тс я фрон т а ль но в в е рх, за бор возд у ха п роизв од и тс я с фрон т а [8–10].

Сравнивать будем два варианта систем кондиционирования: классическую DX-систему кондиционирования и DX-систему кондиционирования с функцией Free Cooling (свободное охлаждение). В качестве хладоносителя в режиме Free Cooling используется фреон [11]. Переход сис- темы кондиционирования в режим Free Cooling происходит при температуре уличного воздуха +2 °С и ниже [12].

Для оп ред е л е н и я к оли ч е ств а часов, в которые система кондиционирован и я б у д е т ра б от а ть в режиме Free Cooling , был и п рименены статистические данные метеонаблюд е н и й в г. Пе рмь за 2 021 г. Г рафик и з ме н ения сре д ней суточной температуры за 2021 г. представле н н а ри с . 5. Количество дней и часов фреоновой D X -системы с функцией Free Cooling в летний и зимний периоды года приведены в табл. 1 . Т е мпе ра ту ра в озд у ха и с поль з ов а н а для г. Пе рмь [13–16].

Рис. 5. График изменения средней суточной температуры за 2021 г. для г. Пермь Fig. 5. The graph of changes in the average daily temperature for the year 2021 for Perm

Таблица 1

Время применения рассматриваемых систем кондиционирования

Time of application of the air conditioning systems under consideration

Table 1

Температурный диапазон	Количество дней	Количество часов
От –40 до +2 °С (Free Coоling)	187	4488
От +1 до +40 °С	178	4272
Итого:	365	8760

3.    Результаты исследования

Ни же п ре дс та в ле н о с р а вн е н и е с и с те м с и с п о льзо в а н и е м фу н к ц и и Free Cooling и без нее. Так ж е ра с с м отре н ы а н ал и ти че ские и расчетные сравнения решений с расч е тн ым с ов ок у п ны м э кономи че ск им э ф фек т ом. В т аб л. 2 приведены расчетные проектные данные фреоновой DX -системы охлаждения без функции Fr e e C o oli ng , а также максимальное электропотребление одного DX - шк а фн о го п ре ц и з и онн ого к о ндиционера, установленного для охлаждения ма ш и н н ого зала .

М а кс и м альн о е э ле к троп о тре б ле н ие од н ого DX -шкафного прецизионного кондиционера, ус тан овл е н н ого для охл а ж де н и я п оме ще н и я ИБ П, п р е д с тавл е н о в та б л . 3.

М аксим ал ь но е эл ект р о по т ре бление системы кондиционирования ЦОД с пр име нением ф р ео новых DX - с ист ем о х л аж дения без функци и Free Cooling при 100 % проектной ИТ-нагрузке 170 кВт представлено в табл. 4.

Таблица 2

Электропотребление при максимальной проектной тепловой нагрузке в ЦОД.

Шкафной прецизионный кондиционер (Машзал)

Таблица 3

Таблица 4

Table 2

Electrical consumption at maximum design heat load in data center.

Cabinets precision air conditioner (Machine room)

Температура на улице, °С	Компрессор, кВт/ч	Пароувлажни-тель, кВт/ч	Вентиляторы внутреннего блока, кВт/ч	Конденсатор, кВт/ч	Общая мощность потребления, кВт/ч
От –40 до +40	23,26	6,75	3,6	3,2	36,81

Электропотребление при максимальной проектной тепловой нагрузке в ЦОД.

Шкафной прецизионный кондиционер (ИБП)

Table 3

Electrical consumption at maximum design heat load in data center.

Cabinet precision air conditioner (UPS)

Температура на улице, °С	Компрессор, кВт/ч	Пароувлажни-тель, кВт/ч	Вентиляторы внутреннего блока, кВт/ч	Конденсатор, кВт/ч	Общая мощность потребления, кВт/ч
От –40 до +40	3,97	0	1,18	0,9	6,05

Итоговая потребляемая мощность

Table 4

Total power consumption

Оборудование	Мощность, кВт/ч	Одновременная работа, кол.	Общая мощность, кВт/ч
Шкафной прецизионный кондиционер (Машзал)	36,81	2	73,62
Шкафной прецизионный кондиционер (ИБП)	6,05	1	6,05
Итого:			79,67

Поскольку система кондиционирования имеет единственный режим работы на фреоновом контуре, а режим работы ЦОД - 24 х 7 х 365, то при допущении 100 % проектной ИТ-нагрузки в 170 кВт годовое потребление системы кондиционирования в натуральных и денежных единицах при средней стоимости 1 кВт/ч, равной 6 руб., приведено в табл. 5.

Таблица 5

Затраты на электроэнергию

Table 5

Electricity costs

Режим	Мощность системы кондиционирования, кВт/ч	Кол-во часов в году	Общая потребленная энергия в год, кВт/ч	Стоимость 1 кВт/ч, руб.	Общие затраты на электроэнергию, руб.
Круглогодичный	79,67	8760	697 909,20	6,00	4 187 455,20

Ниже рассмотрим аналогичные расчетные проектные данные, опираясь на ранее полученные данные о времени работы в различных режимах, но для фреоновой DX -системы охлаждения с функцией Free Cooling .

Максимальное электропотребление фреоновой DX -системы охлаждения ЦОД с функцией Free Cooling в диапазоне уличных температур воздуха от +2 °С и выше не будет отличаться от максимального потребления систем кондиционирования без функции Free Cooling и составит 79,67 кВт/ч.

Максимальное электропотребление одного фреонового шкафного прецизионного кондиционера в режиме Free Cooling (+2 °С и ниже), установленного для охлаждения машинного зала, представлено в табл. 6.

Таблица 6

Электропотребление Free Cooling системы (зимний режим).

Шкафной прецизионный кондиционер (Машзал)

Table 6

Electrical consumption of Free Cooling system (winter mode).

Cabinets precision air conditioner (Machine room)

Температура на улице, °С	Компрессор, кВт/ч	Пароувлаж-нитель, кВт/ч	Вентилятор внутреннего блока, кВт/ч	Конденсатор, кВт/ч	Насос, кВт/ч	Общая мощность потребления, кВт/ч
От –40 до +2	0	7,5	3,6	3,2	0,6	14,9

Максимальное электропотребление одного фреонового шкафного прецизионного кондиционера в режиме Free Cooling (+2 °С и ниже), установленного для охлаждения помещения ИБП, представлено в табл. 7.

Таблица 7

Электропотребление Free Cooling системы (зимний режим). Шкафной прецизионный кондиционер (ИБП)

Table 7

Electrical consumption of Free Cooling system (winter mode). Cabinets precision air conditioner (UPS)

Температура на улице, °С	Компрессор, кВт/ч	Пароувлаж-нитель, кВт/ч	Вентилятор внутреннего блока, кВт/ч	Конденсатор, кВт/ч	Насос, кВт/ч	Общая мощность потребления, кВт/ч
От –40 до +2	0	0	1,18	0,9	0,3	2,38

Максимальное электропотребление системы кондиционирования ЦОД с применением фреоновых DX -систем охлаждения в режиме Free Cooling при 100 % проектной ИТ-нагрузке 170 кВт представлено в табл. 8).

Таблица 8

Итоговая потребляемая мощность (система в режиме Free Cooling)

Table 8

Total power consumption (system in “Free Cooling” mode)

Оборудование	Мощность, кВт/ч	Одновременная работа, кол.	Общая мощность, кВт/ч
DX+Free Cooling шкафной прецизионный кондиционер (Машзал)	14,9	2	29,8
DX+Free Cooling шкафной прецизионный кондиционер (ИБП)	2,38	1	2,38
Итого:			32,18

Рассматриваемая система кондиционирования имеет несколько режимов работы при допущении 100 % проектной ИТ-нагрузки в 170 кВт. Годовое потребление системы кондиционирования в натуральных и денежных единицах при средней стоимости 1 кВт/ч, равной 6 руб., приведено в табл. 9.

Таблица 9

Сравнение затрат электроэнергии

Table 9

Comparison of electricity costs

Режим	Мощность системы кондиционирования, кВт/ч	Кол-во часов в году	Общая потребленная энергия в год, кВт/ч	Стоимость 1 кВт/ч, руб.	Общие затраты на электроэнергию, руб.
Летний	79,67	4 272	340 350,24	6,00	2 042 101,44
Зимний	32,18	4 488	144 423,84	6,00	866 543,04
Итого:			484 774,08		2 908 644,48

Обсуждение и заключение

Из всего вышеописанного можно сделать вывод, что, согласно приведенным выше расчетам, суммарное годовое электропотребление двух типов систем кондиционирования отличается на 31 %, а в денежном выражении применение системы кондиционирования с функцией Free Cooling позволит ежегодно экономить только на электроэнергии около 1,3 млн руб., что успешно продемонстрировано в таблицах. Учитывая срок службы ЦОД и систем кондиционирования в частности, на протяжении 10 лет экономия средств составит более 13 млн руб. Учитывая разницу стоимости двух типов систем не более 26 %, система кондиционирования с функцией Free Cooling окупается за короткий срок (около 2 лет). Помимо существенной экономии на электроэнергии, в системах с функцией Free Cooling выше срок службы (на 40 %) самого дорогостоящего компонента любых фреоновых систем – компрессора, так как при работе в режиме Free Cooling компрессор не участвует.

Эффективность предложенной схемы была рассмотрена с экономической точки зрения, в ходе исследования был предложен метод вычисления экономии при введении естественного охлаждения в различных климатических регионах. Предложенный способ позволяет рассчитывать экономический эффект от применения классической системы регулировки климата и реализации Free Cooling . Наибольшую эффективность режим свободного охлаждения имеет в зимний и переходный периоды года. В летний период фрикулинг применим в регионах с низким показателем температур наружного воздуха.