Разработка методики расчета и оценки эксплуатационных характеристик средств систем хранения информации центров обработки данных

В настоящее время в литературе, посвященной информационным технологиям, уделяется много внимания обработке и хранению информации в центрах обработки данных (ЦОДах). Это связано с большими объемами и высокой скоростью обработки информации, а также с интенсивным обменом ею и необходимостью надежного хранения. Повышенные требования к надежности хранения и времени доступа к данным предполагают создание специальной системы средств их хранения. Роль и важность такой системы определяются возросшей потребностью в свободном доступе к данным и возможностью управления ими.

Выделение средств хранения данных в отдельную систему позволяет решать проблему обеспечения упомянутого надежного хранения и доступа к данным. Кроме того, это создает условия для оформления системы хранения данных (СХД) в виде аппаратно-программной структуры, что предоставляет возможность использования средств хранения данных для решения поставленных задач. Иными словами, необходимость в СХД возникла, когда массивы хранимой и передаваемой информации достигли значительных размеров, что, в свою очередь, предопределило время и надежность доступа к ним.

Итак, системы хранения данных предназначены для организации надежного хранения данных, а также отказоустойчивого, высокопроизводительного доступа к устройствам хранения и представляют собой комплекс специализированного аппаратного оборудования и программного обеспечения, предназначенных для хранения и передачи информации [2; 9].

Все современные ЦОДы сталкиваются с проблемой постоянного увеличения объемов данных, которые обязательно нужно надежно хранить. Это могут быть данные оперативных систем корпоративных заказчиков ЦОДов, к которым предъявляются повышенные требования по доступности, или же архивные данные, требования доступности к которым ниже, зато их следует долго хранить (например, архивные или резервные копии).

У больших СХД для достижения высокого уровня сервиса становится актуальным повышение быстродействия системы. При этом большой СХД считается система, в которой обрабатываются значительные объемы данных (до петабайтов) или к ней подключены десятки серверов. Для небольших систем быстродействие можно повысить за счет более производительной аппаратной части системы.

Таким образом, на повестку дня остро встает вопрос правильной организации хранения данных с учетом требования по оперативности доступа к ним, а также оптимизации временных затрат при растущих объемах данных.

Анализ отечественных и зарубежных СХД [2; 3; 7] выявил ряд их положительных качеств, к которым можно отнести дешевизну и доступность ресурсов хранилища для любых компьютеров, простоту их коллективного использования, возможность применения блочных методов доступа и др.

Вместе с тем СХД свойственны и недостатки. Это, например, невозможность коллективного доступа к СХД с разных компьютеров, довольно высокая стоимость подключения к системам хранения и др.

Стремление снизить затраты на инфраструктуру СХД, более гибко и оперативно реагировать на новые требования к системам хранения данных, получить комплексную оценку их возможностей обусловливает актуальность исследований в этом направлении.

Захаров А.И. и др. Разработка методики расчета и оценки эксплуатационных...    85

Структура СХД

Анализируя известные из литературы структуры СХД, можно выделить типовые фрагменты устройств, а также математическое обеспечение, характерные или обязательные для состава любой структуры системы хранения данных [3; 8]. К таковым можно отнести:

• 1.    Устройства хранения (массивы дисков, ленточные библиотеки, оптические накопители).

• 2.    Инфраструктуру доступа к устройствам хранения.

• 3.    Подсистему резервного копирования и архивирования данных.

• 4.    Программное обеспечение управления хранением.

• 5.    Систему управления и мониторинга всей системы в целом.

Если коротко остановиться на физической основе структуры СХД, то следует отметить, что, с одной стороны, это специальная система для работы с носителями информации, с другой – система предоставления данных серверам для ее целевой обработки.

Таким образом, серверы предназначены для вычислений и обработки информации, а СХД принимает, хранит, отсылает данные и исключает возможность их утраты. Поскольку задачи у них разные, то раньше серверы размещались только в ЦОДах, а СХД – в хранилище данных.

В настоящее время в СХД ставят процессоры с высокой производительностью, и СХД становится самостоятельным сервером, способным обрабатывать и хранить файлы, поэтому элементы структуры современных СХД (серверная часть и непосредственно хранилище данных) могут находиться как на разных площадках размещения оборудования, так и на одной.

По типу подключения СХД делятся на [2; 7; 9]:

• •    DAS ( Direct Attached Storage ) – устройство для хранения данных, подключенное непосредственно к серверу или к рабочей станции через интерфейс по протоколу SAS;

• •    NAS ( Network Attached Storage ) – отдельная интегрированная дисковая система со своей специализированной организационной структурой (ОС) и набором функций быстрого запуска системы и обеспечения доступа к файлам. Система подключается к обычной компьютерной сети (ЛВС);

• •    SAN ( Storage Area Network ) – это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений. Она обычно строится на основе протокола Fibre Channel или протокола iSCSI [7].

При дальнейших рассуждениях остановимся именно на системе со специальной выделенной сетью SAN. Упрощенная структура такой СХД представлена на рисунке.

Если исходить из анализа недостатков СХД, отмеченных выше, то на содержательном уровне можно сформулировать задачу исследования системы хранения данных ЦОДа с учетом требований по их доступности и оптимизации временных затрат на доступ к информации как задачу синтеза СХД.

86 в ыпуск 3/2020

Вариант структуры СХД типа SAN

Методика расчета характеристик системы хранения информации центра обработки данных

Поставленную задачу на содержательном уровне можно сформулировать следующим образом.

На момент расчета хранилища данных центра обработки данных известно количество информации, которое необходимо обработать и сохранить в СХД. Например, оно составляет 5 Петафлоп (Пфлоп).

Требуется определить:

• 1.    Площадь помещения и количество стоек для IT-оборудования машинного зала.

• 2.    Количество серверов, необходимый дисковый массив, а также потребляемую ими электроэнергию.

Расчет суммарной производительности вычислительных средств СХД

Переведем исходное количество информации Q (5 Пфлоп), которое следует отправить в хранилище, из внесистемной в более удобную размерность – байты.

• 1    флоп = 8 байтов (при обработке данных в размере «двойное слово»).

• 1    Пфлоп = 10¹⁵ флоп.

• 5    Пфлоп = 5×10¹⁵ флоп = 8×5×10¹⁵ байт = 40000 Терабайт (Тбайт).

Иными словами, в хранилище необходимо поместить 40000 Тбайт информации.

С учетом того, что в сутках Т = 86400 с, а системные затраты времени составляют примерно одну треть от Т [4], т.е. Т _затр = 28 800 с, то при объеме пересылаемой информации

Захаров А.И. и др. Разработка методики расчета и оценки эксплуатационных...    87

Q = 40 000 Тбайт получим следующую суммарную производительность П вычислительных средств [6; 10]:

П = Q / ( T – Т _затр ) = 40000 / (86400 – 28800) ≈ 0,7 Тфлопс, где П – суммарная производительность вычислительных средств; Q – объем пересылаемой информации; Т – время работы вычислительных средств; Т _затр – системные затраты времени.

Выбор вычислительных средств для серверной части IT-оборудования и расчет площади серверной части машинного зала

Учитывая разнообразие типов ЭВМ и удобство компоновки их в машинном зале, остановим свой выбор на отечественном вычислительном комплексе ВК «Сивуч» [4; 5], характеристики которого приведены в таблице.

Технические характеристики ВК «Сивуч»

Наименование параметра	«С-1»-1	«С-4»-4	«С-4»-8	«С-4»-16
Количество ВК «Сивуч-1», шт.	1	4	8	16
Количество ИМС 1891ВМ7АЯ, шт.	36	144	288	576
Производительность, Тфлопс, не менее	0,4	1,6	3,2	6,4
Потребляемая мощность, кВт, не более	2,8	11,2	22,4	44,8

Исходя из общего необходимого объема хранилища Q = 40 000 Тбайт и учитывая суммарную производительность вычислительных средств при суточной обработке информации П = 0,7 Тфлопс, можно определить вариант состава ЭВМ, обладающих достаточной или более высокой производительностью. Например, для варианта использования ВК «Сивуч-1», производительность которого П _«С-1» = 0,4 Тфлопс (см. табл.), она окажется ниже потребных 0,7 Тфлопс.

Следовательно, вариант с этим вычислительным комплексом не способен обработать поступивший объем информации Q за время Т _раб = Т – Т _затр = 57 600 с. С целью выполнения поставленной задачи по обработке поступившей информации следует для машинного зала выбрать два комплекса ВК «Сивуч-1» с суммарной производительностью 0,8 Тфлопс.

Тогда появится возможность обработать и сохранить поступившую в СХД информацию.

Q = 2 × П _«С-1» × Т _раб = 2 × 0,4 × 57600 = 46080 Тфлоп.

Вся площадь здания современного ЦОДа делится на серверную, хранилище данных и вспомогательную площадь.

Так как по статистическим данным на одну стойку ВК «Сивуч-1» отводится 2,5 м², то два ВК «Сивуч-1» займут серверную часть S _с.ч площади в размере

S _с.ч = 2 × 2,5 = 5 м².

88 в ыпуск 3/2020

К вспомогательной площади ЦОДа отнесем комнату дежурной смены (≈ 15 м2), помещение для ЗИПа (≈ 5 м2), а также подходы и проходы к ВК «Сивуч-1» (≈ 5 м2).

Тогда вспомогательная площадь совместно составит ≈ 25 м2.

Определение необходимого дискового массива

Согласно признаку классификации «тип накопителя», остановим выбор последнего на жестком диске как наиболее экономичном и управляемом накопителе.

Жесткие диски можно выбирать по следующим параметрам [1; 4]:

• •    конструктивное исполнение: HDD, SSD;

• •    по диаметру HDD в дюймах: 3,5; 2,5; 1,8 дюйма;

• •    по интерфейсу: ATA/IDE, SATA/NL, SAS, SCSI, SAS, FC;

• •    по классу использования: индивидуальные, корпоративные.

Требуемое число дисков для удобства эксплуатации объединим в массивы дисков по схеме RAID 50. Использование массива жестких дисков RAID 50 предполагает, что выполнение операций RAID 5, а затем RAID 0 увеличит производительность данного массива.

RAID 5 обеспечивает разделение данных с проверкой на паритет с возможностью хранения этих данных в разных хранилищах [3].

Для конструктивного размещения массива дисков RAID 50 на стойках СХД, установленных в машинном зале, выберем один из вариантов компоновки дисков на полках расширения фирмы IBM EXP3000, которая сочетает передовые технологии и высокую надежность. Полка расширения EXP3000 может содержать до 12 МД SATА и монтируется на стандартную стойку высотою 42U, которая вмещает до 20 таких полок.

С учетом возможности масштабирования дисков путем подключения дополнительных полок расширения фирмы IBM EXP3000 общее количество дисков на одной стойке может быть доведено до 240. Тогда при использовании дисков SATA емкостью 750 Гбайт с подключением к системе SAN их максимальная емкость на стойке Q _с составит 180 Тбайт.

Отсюда можно определить общее количество стоек К _с с набором магнитных дисков

К _с = Q / Q _с = 40000 / 180 ≈ 222 стойки.

Определение общей площади и необходимого количества электроэнергии для IT-оборудования СХД

Часть общей площади, отводимой под хранилище данных, включающей 222 стойки по 0,5 м2 на стойку (т.е. 111 м2), проходы и коридор между стойками дисков, занимающие порядка 14 кв.м, в сумме составит 125 м2.

Общую площадь СХД ( S _общ ) можно определить как сумму площадей серверной ( S _с.ч ), хранилища данных ( S _д ) и вспомогательной ( S _всп ).

S _общ = S _с.ч + S _д + S _всп = 5 + 125 + 25 = 155 м².

Необходимое количество электроэнергии Р _общ для IT-оборудования СХД можно определить как сумму потребляемой серверами электроэнергии Р _с (см. табл.) и массивом дисков хранилища данных Р .

х.д

Захаров А.И. и др. Разработка методики расчета и оценки эксплуатационных...    89

Принимая во внимание, что одна стойка вмещает 240 дисков, а каждый диск потребляет ≈ 10 Вт электроэнергии, то каждая стойка потребляет 2400 Вт или 2,4 кВт. Отсюда следует, что все 222 стойки СХД могут потреблять 532,8 кВт электроэнергии.

Тогда необходимое количество электроэнергии Р для IT-оборудования СХД с учетом небольшого запаса составит

Р _общ = Р _с + Р _х.д = 5,6 + 532,8 = 538,4 кВт ≈ 540 кВт.

Итак, по ходу изложения статьи были затронуты вопросы, связанные с проектированием и разработкой систем хранения данных, размещаемых в рамках единого здания ЦОДа, предпринята попытка комплексной оценки структуры и состава средств IT-оборудования как центра обработки данных, так и системы их хранения.

Заключение

В статье представлены формулировка и решение задачи синтеза состава IT-оборудования, необходимого для нормального функционирования современного хранилища данных ЦОДа. В ходе исследования выполнены ориентировочные расчеты размещения средств обработки данных и их хранения на единой совмещенной территории машинного зала, что по своей сути подтверждает решение задачи синтеза для проектируемой СХД.

Статья носит прикладной характер и предназначена для разработчиков СХД и инженерного состава, связанного с их эксплуатацией.