Проектирование систем кондиционирования ЦОД - УКЦ

В Центрах Обработки Данных (ЦОД) современных предприятий системы кондиционирования воздуха должны обеспечивать работу в режиме 24 часа в сутки, 7 дней в неделю (24/7) на протяжении 365 дней в году при удельной мощности в среднем от 540 Вт/м2 до 1080 Вт/м2. На ЦОД предприятий обычно возлагается выполнение основных финансовых, корпоративных и управленческих функций. Промышленность имеет тенденцию к повышению требований в части скорости обработки данных. Соответственно, удельные мощности серверов в ближайшем будущем возрастут до 1945 Вт/м 2.

Современные центры Интернет — центры передачи данных работают при удельной мощности, превышающей 1080 Вт/м2 с использованием вычислительных возможностей стоечных (rack) и модульных (blade) серверов. Операторы подобных Интернет-центров обычно определяют мощность и потребную холодопроизводительность в кВт на компьютерный блок. Мощность на компьютерный блок в центрах подобного рода, как правило, постоянна и находится в пределах от 4 до 7 кВт на блок. Однако иногда она может быть значительно выше. Современные ЦОД должны обеспечивать размещение указанных повышенных мощностей в любом месте центральной части помещения. В настоящей статье рассматриваются основные вопросы проектирования ЦОД, и как они решены на одном из недавно оснащенных объектов.

В статье удельная мощность в Вт/м2 определяется, исходя из электрической мощности размещенных вычислительных средств в ваттах, деленной на занимаемые квадратные метры фальшпола.

Площадь пола ЦОД складывается из площадей, занимаемых вычислительным оборудованием; местами, выделяемыми в целях его технического обслуживания; проходами; кондиционерами и распределителями электропитания (Power Distribution Units, PDU). Фактическая удельная мощность вычислена как частное от деления фактической мощности вычислительного оборудования на площадь пола, занимаемого этим оборудованием, плюс вспомогательные площади, перечисленные выше.

Пустые площади или «белые пятна» (площадь пола, не занятая вычислительными средствами и не входящая в состав вспомогательных площадей) не должны включаться в расчет фактической удельной мощности.

Вычислительные средства ЦОД обычно состоят из стоечных серверов старого и нового поколений, модульных серверов, главного компьютера (mainframe), сетевых устройств и накопителей информации. В составе каждого из перечисленных классов оборудования присутствуют различного рода средства вычислительной техники, большинство из которых характеризуются различными габаритами (форм — фактором), расходуемой мощностью и потребностями в охлаждении.

В конечном счете, общее энергопотребление на фальшпол (и, следовательно, основная потребность в охлаждении, обеспечиваемой с использованием фальшпола) представляет собой сумму фактической расходуемой мощности каждым из элементов вычислительных средств. В идеале проектировщики систем кондиционирования воздуха должны были бы иметь информацию о полном перечне моделей и производителей используемого оборудования, расходуемой мощности и потребностях в охлаждении, а также о предпочтительном его размещении на объекте пользователя. Общество ASHRAE (American Society of Heating, Refrigeration, and Air-Conditioning Engineers) разработало для производителей средств вычислительной техники метод специфицирования тепловых нагрузок и рекомендуемые значения поддерживаемых температур [1]. Во многих случаях упомянутые ранее перечни и планы размещения оборудования недоступны на стадии разработки проекта, поскольку проект в области информационных технологий (Information Technology, IT) обычно разрабатывается параллельно с проектом инженерного обеспечения ЦОД.

Часто на стадии проектирования просят учесть возможность произвольного размещения вычислительного оборудования в пределах фальшпола. Упомянутое руководство в качестве обычно используемого критерия проектирования рекомендует со стороны механических и электрических систем инженерного обеспечения предусматривать поддержку наиболее напряженной группы IT-шкафов, содержащих стоечные и модульные серверы максимальной мощности, имеющие наибольшую потребность в охлаждении, существенно превышающую осредненные значения. В результате успех проекта кондиционирования воздуха в большинстве случаев обеспечивается предусматриваемой возможностью охлаждения данной наиболее напряженной группы вычислительного оборудования, характеризующегося наибольшей расходуемой мощностью.

Осложняющим является то обстоятельство, что главные компьютеры и накопители информации имеют специфические требования с точки зрения их охлаждения (расположение притока и вытяжки, а также расходы воздуха и поддерживаемая температура). Это обычно требует использования иных концепций охлаждения в отличие от охлаждения серверов. Кроме того, с точки зрения проектировщика IT-технологий, последующие поколения вычислительной техники могут потребовать существенного изменения размещения оборудования на существующих фальшполах и коренной реорганизации системы распределения охлажденного воздуха. Учитывая, что обновление компьютерных технологий происходит каждые три года, следует ожидать, по крайней мере, пятикратную реконструкцию инфраструктуры ЦОД на период жизненного цикла.


Требования ЦОД

Стандартные 86-дюймовые IT-шкафы (2,2 м) включают 42 горизонтальных посадочных места (Units, U) для размещения вычислительных средств, где «U» — стандартная единица для измерения пространства между полками. Высота каждого U составляет 1,75 дюйма (4,45 см). Современный стоечный сервер высотой 1U питается от источника мощностью 550 Вт и обычно работает с нагрузкой от 50 до 70%. Типовой модульный сервер размером 42U, содержащий 1U серверы может потреблять 16 170 Вт. Типовой модульный сервер высотой 6U, питающийся от источника мощностью 6000 Вт, может потреблять до 5400 Вт, работая с 90% нагрузкой. Шкаф размером 42U, содержащий такого типа модульные серверы, может потреблять 37 800 Вт. Для сравнения, шкаф размером 42U, содержащий стоечные серверы старого поколения обычно потребляет от 1000 до 2000 Вт.

  Оборудование Диапазон энергопотребления
1 Стоечный 3U сервер старого поколения от 5645 до 7900 Вт/м2
2 Стоечный 4U сервер старого поколения от 4620 до 6610 Вт/м2
3 Современный 1U стоечный сервер от 26370 до 50480 Вт/м2
4 от 20720 до 37670 Вт/м2 Современный 2U стоечный сервер
5 Современный 4U стоечный сервер от 15230 до 29900 Вт/м2
6 Модульный 3U сервер от 26160 до 30140 Вт/м2
7 Модульный 7U сервер от 51670 до 67280 Вт/м2
8 Главный компьютер * от 11830 до 34450 Вт/м2
* Большой разделенный сервер
Таблица 1: Энергопотребление IT оборудования

Полагая, что в обычной пропорции 25% фальшпола занято шкафами размером 24 на 42 дюйма (610 на 1070 мм), потребляющими по 16170 Вт каждый, потребная удельная холодопроизводительность составит 6194 Вт/м2. Указанные потребности существенно превышают возможности традиционного оборудования, используемого для кондиционирования ЦОД. Новые главные компьютеры могут потреблять от 12 до 30 кВт, занимая площадь от 0,93 до 1,4 м2. Примерные диапазоны удельного энергопотребления на единицу площади для серверов, размещаемых в шкафах с площадью основания 2 на 3 фута (610 на 920 мм) и для главных компьютеров приведены в таблице 1.

В 1999 году Теплотехнический Консорциум (сообщество инженеров-теплотехников, занятых в области производства компьютерной техники) исследовал в историческом плане технические характеристики компьютерного оборудования и проанализировал тенденции развития новых средств вычислительной техники. Результаты исследований были опубликованы в 2000 году [2]. Указанные тенденции были пересмотрены AHRAE [3] в 2005 году (рис. 1). Вертикальная шкала является логарифмической, вследствие чего прямая линия с положительным наклоном отображает собой степенной рост удельного энергопотребления.

Тенденция изменений удельного энергопотребления средств вычислительной техники
Рисунок 1. Тенденция изменений удельного энергопотребления средств вычислительной техники

В настоящее время промышленные ЦОД комплектуются оборудованием как с низким, так и с высоким энергопотреблением и характеризуются расчетной тепловой нагрузкой от 1210 до 1610 Вт/м2, что находится в пределах возможностей традиционного оборудования, используемого для кондиционирования ЦОД. Большинство корпоративных ЦОД комплектуются главным компьютером и средствами распределенной обработки данных. В этом случае средняя тепловая нагрузка существенно ниже максимальных значений для мест расположения серверов. Тем не менее, ожидается, что большинство единиц оборудования старого поколения будет заменено новым с существенно возросшим удельным энергопотреблением. Учитывая это, а также тенденции дальнейшего роста удельного энергопотребления по мере прогнозируемого совершенствования средств вычислительной техники, определение расчетных значений плотности энергопотребления является одним из наиболее ответственных моментов принятия правильных решений на стадии проектирования ЦОД.


Проектирование ЦОД

Большинство проектов новых корпоративных ЦОД в начальной стадии ориентировано на использование существующего оборудования и дополнительную установку нового оборудования. При этом начальная энергетическая нагрузка принимается равной от 430 Вт/м2 до 645 Вт/м2, хотя в действительности на стадии ввода в эксплуатацию фактическое энергопотребление бывает значительно меньшим, поскольку установка нового оборудования происходит сравнительно медленно. В идеале осуществляется разработка многоуровневых IT планов в соответствии с поэтапным планом установки оборудования и связанным с этим ростом энергетической нагрузки. Подобного рода IT планы могут служить основой для поэтапных планов наращивания мощности энергоснабжения и холодопроизводительности.

Важнейшими факторами, влияющими на стоимость ЦОД, являются проектное значение плотности энергетической нагрузки и потребная степень надежности. Ввиду высокой стоимости ЦОД не имеет смысла единовременно создавать механическую и электрическую инфраструктуры, которые не использовалась бы в течение ряда лет. Разрабатываемые поэтапные планы оснащения ЦОД механическим и электрическим оборудованием в соответствии с реальными потребностями IT в части развития инфраструктуры охлаждения и энергопитания обеспечивают экономичность, поскольку стоимость данной инфраструктуры наращивается только по мере необходимости.

В больших ЦОД потребные площади для размещения механической и электрической инфраструктур являются значительными по отношению к полезной площади фальшполов. Так, например, при энергетической нагрузке 810 Вт/м 2 и полезной площади фальшпола 9300 м2 требуемая площадь для размещения обеспечивающей инфраструктуры эквивалентна полезной площади фальшпола. В конечном итоге максимально потребное в перспективе энергопотребление и состав планируемого к установке оборудования определяют необходимые физические размеры, полную холодопроизводительность и электрическую мощность обеспечивающей инфраструктуры. Если определено поэтапное наращивание указанной инфраструктуры, то число и типоразмеры чиллеров, насосов, вентиляционных агрегатов и другого оборудования может быть установлено и затем приняты необходимые площади вентиляционных камер и электрических щитовых.

В силу постоянства электропотребления ЦОД использование энергосберегающих технологий в данном отношении является крайне ограниченным. В то же время ведутся постоянные исследования, направленные на повышение энергетической эффективности используемых систем кондиционирования воздуха [4]. Как правило, используются энергетически эффективные системы с охлажденной водой, которые работают в строгом соответствии со складывающейся реальной обстановкой, что способствует повышению степени энергосбережения. Снижение эксплуатационных затрат, кроме того, обеспечивается за счет применения систем свободного охлаждения («Free cooling»), которые по возможности используют более холодный наружный воздух для снижения температуры воздуха в пространстве под фальшполом. Существует также возможность рекуперации тепла для частичного покрытия вентиляционной и других видов нагрузки по явному теплу.

Механическая и электрическая инфраструктуры должны быть сбалансированы с точки зрения энергопотребления и холодопроизводительности. Избыточная производительность по любому из указанных компонентов является убыточной и ведет к снижению экономичности осуществляемых капитальных затрат. Если начальная плотность оснащения ЦОД и соответствующая ей обеспечивающая инфраструктура определены, то дальнейшее их наращивание должно планироваться с использованием модульного принципа в типоразмерном ряду первоначально установленного оборудования, не прерывая его работу в ходе производимого дооснащения.


Охлаждение с использованием фальшполов

Большинство действующих больших ЦОД кондиционируется с помощью охлаждаемых водой фэн-койлов, обычно именуемых CRAH (Computer Room Air Handler). Как минимум, подобного рода агрегат включает в себя водоохлаждаемый теплообменник, центробежный или осевой вентилятор, а также секцию фильтров. В некоторых случаях добавляются теплообменник нагревательного типа и увлажнитель, что позволяет агрегату CRAH более точно управлять влажностью воздуха в помещениях ЦОД. Эти агрегаты обычно осуществляют подачу воздуха в пространство под фальшполом, создавая тем самым камеру повышенного статического давления. Кондиционированный воздух затем может распределяться с помощью различного рода устройств, таких как перфорированные плитки, жалюзийные решетки, или поступать непосредственно в стойки IT-серверов через отверстия в фальшполах, предусматриваемые под соответствующими стойками.

Организация воздухообмена по схеме «горячий» проход/«холодный» проход
Рисунок 2: Организация воздухообмена по схеме <горячий> проход/<холодный> проход

Информация о размещении приточных и вытяжных отверстий является существенной с точки зрения организации воздухообмена в помещениях ЦОД. Характеристика и стандартная форма представления данной информации регламентируются документом ASHRAE TC9.9 [1]. Для того чтобы минимизировать возможность «короткого замыкания» воздушных потоков, забор воздуха внутрь IT-стойки в большинстве случаев осуществляется из притока или из «холодного» прохода, а удаление воздуха производится в «горячий» проход. Такая организация воздухообмена, обычно называемая горячий проход/холодный проход, представлена схематически на рисунке 2 [1,5].

Количество воздуха, подаваемого через воздухораспределительное устройство, зависит от высоты камеры статического давления, расположения и живого сечения воздухораспределительного устройства, наличия других открытых сечений в фальшполу и от расположения различного рода препятствий под поверхностью фальшпола, таких как кабельные каналы, опоры, силовые линии и прочее. В совокупности данные факторы определяют уровень статического давления на входе в воздухораспределительное устройство. Указанные обстоятельства являются специфичными для каждого ЦОД, и в общем случае это приводит к неравномерности раздачи воздуха через различные воздухораспределительные устройства. Вполне возможной является ситуация, при которой имеет место более чем достаточная общая холодопроизводительность, соответствующая суммарной электрической IT-нагрузке. Однако вследствие конкретного расположения агрегатов CRAH, воздухораспределительных устройств и стоек IT, также как и различного рода препятствий становится невозможным обеспечить необходимым количеством кондиционированного воздуха некоторые из стоек IT. По этой причине часто используется метод числового моделирования CFD (Computational Fluid Dynamic) динамических течений в пространстве под фальшполом в целях прогнозирования расходов воздуха через воздухораспределительные устройства. Помимо прогнозирования ожидаемых расходов воздуха, CFD-моделирование может использоваться для определения необходимой высоты фальшпола, размещения силовых линий и кабельных каналов под фальшполом, а также для определения местоположения «горячих точек», которые могут иметь место в пределах ЦОД. Кроме того, имеется возможность, часто рекомендуемая к использованию, выполнять CFD-моделирование воздушных потоков и температурных полей непосредственно внутри компьютерных стоек с целью установления достаточности осуществляемого охлаждения оборудования IT.

С ростом энергопотребления в расчете на стойку, выходящего за пределы возможностей перфорированных плиток, многие владельцы и проектировщики используют вентилируемые стойки, что обеспечивает выполнение повышенных требований к обеспечиваемому расходу воздуха, связанных с увеличением энергетической плотности. В большинстве случаев данный вариант рассматривается в качестве предпочтительного по сравнению с увеличением ширины проходов и сокращением полезной площади, на которой размещается компьютерное оборудование. Подобные стойки имеют встроенные вентиляторы, которые обеспечивают поступление воздуха в стойку и его удаление со стороны задней стенки или сверху. Существуют варианты вентилируемых стоек, в которых поступление воздуха осуществляется из «холодного» прохода.

Вентилируемая стойка
Рисунок 3: Вентилируемая стойка

На рисунке 3 схематично изображена стойка по типу используемых в недавно созданном ЦОД, в которых удаление воздуха производится через фальшпотолок. Использование фальшпотолка, который может использоваться в комбинации с организацией воздухообмена по схеме «горячий» проход/«холодный» проход, обеспечивает непосредственное удаление нагретого воздуха, снижая до минимума вероятность его попадания на вход воздуха в компьютерную стойку за счет рециркуляции.

Хотя использование вентилируемых стоек может обеспечить равномерность распределения воздушных потоков, поступающих в IT оборудование, они в то же время потребляют воздух, который в противном случае поступал бы через перфорированные плитки или жалюзийные решетки. Следовательно, их производительность и расположение по поверхности фальшпола должны учитываться при проведении САВ‑анализа, с тем чтобы вентилируемые стойки не создавали дефицит количества воздуха, поступающего к расположенному по соседству оборудованию, не снабженному встроенными вентиляторами. Строго рекомендуется владельцам/операторам в тесном контакте с их инженерами проводить тщательное тестирование и сравнительный анализ типов предлагаемых на современном рынке вентилируемых стоек, с целью выбора наиболее подходящих образцов для конкретного применения.

Расположение агрегатов CRAH в технические коридорах
Рисунок 4. Расположение агрегатов CRAH в технические коридорах

В нашем случае недавно созданный ЦОД оснащен агрегатами CRAH, размещенными в технических коридорах по периметру ЦОД, как показано на рисунке 4. Предусмотрено 134 рабочих места вдоль периметра (по три агрегата между колоннами) для микроклиматической поддержки двух залов по 4650 м2 каждый при энергетической нагрузке 810 Вт/м2. На фотографии 1 представлен общий вид смонтированных агрегатов.

В дополнение к этому каждый зал имеет возможность осуществлять микроклиматическую поддержку при увеличенной энергетической нагрузке от 1400 Вт/м2 до 1885 Вт/м2 в зависимости от количества размещаемого оборудования и допустимой температуры воздуха, удаляемого из агрегатов CRAH. Каждый зал имеет размеры 30,5 на 152,5 метров. Стены технических коридоров являются сплошными от основания пола до верхнего потолочного перекрытия. Подача и удаление воздуха осуществляются с помощью коленообразных воздуховодов. В качестве камеры статического давления на стороне удаляемого воздуха использован подвесной потолок. С помощью САВ-моделирования установлено, что для обеспечения максимального расхода воздуха необходимая высота фальшпола составляет 914 мм.

Технический коридор с установленными агрегатами CRAH
Фотография 1. Технический коридор с установленными агрегатами CRAH

Подача и отвод холодной воды с запорными клапанами для агрегатов CRAH обеспечены на каждом рабочем месте таким образом, что агрегаты CRAH могут быть размещены на любом рабочем месте в зависимости от потребности со стороны обслуживаемого IT оборудования. Подобный подход обеспечивает возможность монтажа минимально необходимого количества агрегатов CRAH на начальной стадии и дальнейшее значительное увеличение их количества по мере дальнейшего развития ЦОД. В рассматриваемом ЦОД для микроклиматической поддержки IT стоек используются максимум 6 агрегатов CRAH на один пролет (рисунок 4), в то время как 4 агрегата на один пролет используются для микроклиматической поддержки хранилищ ленточных магнитных носителей. Кроме того, технические коридоры обеспечивают возможность монтажа и обслуживания агрегатов CRAH, не мешая выполнению основных технологических операций на площади фальшпола.

Выбранные в данном проекте агрегаты CRAH обеспечивают холодопроизводительность по явному теплу, равную 110,8 кВт и осуществляют подачу в пространство под фальшполом воздуха с температурой 23,9°С и относительной влажностью 45%. При средней энергетической нагрузке 810 Вт/м2 требуется максимум 34 агрегата (отдельные агрегаты предусмотрены для компенсации тепловых нагрузок, обусловленных теплопроводностью ограждающих конструкций, освещением, вентиляцией и работой увлажнителей воздуха). При наличии в каждом техническом коридоре 67 рабочих мест для установки агрегатов CRAH владельцы/операторы имеют достаточные возможности размещать агрегаты таким образом, чтобы наилучшим образом обеспечить потребности со стороны обслуживаемого компьютерного оборудования, а также имеют возможность наращивания количества агрегатов CRAH по мере возрастания энергетической нагрузки.

Компьютерное оборудование создает только явные тепловые нагрузки (холодопроизводительность по скрытому теплу не востребована). Большинство производителей агрегатов CRAH, однако, при указании типоразмера используют общую холодопроизводительность, которая включает холодопроизводительность по скрытому теплу и вклад, создаваемый работой вентилятора. Агрегаты CRAH должны производителями характеризоваться в соответствии со стандартом ANSI/AHRAE Standard 127-2001 «Method of Testing for Rating Computer and Data Processing Room Unitary Air Conditioners». При выборе агрегатов CRAH необходимо учитывать только холодопроизводительность по явному теплу, которая должна покрывать тепловые нагрузки, создаваемые компьютерным оборудованием.

Потолочный охлаждающий фэнкойл
Рисунок 5: Потолочный охлаждающий фэнкойл

В рассматриваемом ЦОД подводки холодной воды, не используемые агрегатами CRAH, могут служить в целях обеспечения других технологий охлаждения для снятия высоких энергетических нагрузок. Эти технологии включают, прежде всего, потолочные системы охлаждения и водоохлаждаемые стойки. Хотя в системах потолочного охлаждения могут использоваться обычные водоохлаждаемые фэнкойлы, в большинстве случаев на практике нашли применение системы с промежуточным холодильным агентом, что исключает необходимость располагать водяные магистрали под потолком. Эти системы включают в себя теплообменники типа вода-холодильный агент, которые отводят абсорбируемое холодильным агентом тепло с помощью системы холодной воды. Типичная схема работы такого охладителя представлена на рисунке 5.

Водоохлаждаемые стойки обычно содержат собственный теплообменник и вентиляторы, обеспечивающие циркуляцию воздуха для снятия тепла, выделяемого компьютерным оборудованием. При проектировании этих систем необходимо поддерживать температуру охлаждающей жидкости выше точки росы воздуха, циркулирующего внутри стойки, с тем, чтобы избежать поверхностной конденсации.

В будущем компьютерные технологии могут потребовать непосредственное подключение холодной воды, холодильного агента или другого пока неизвестного энергоносителя для целей охлаждения. Маловероятно, что эти энергоносители будут способны к прямой передаче тепла в центральный пункт генерации холода ЦОД. Следовательно, предусмотренные средства подключения в будущем новых охлаждающих систем создает с точки зрения проектирования широкие возможности внедрения перспективных технологических разработок.


Увлажнение и создание избыточного давления

Управление влажностью в ЦОД является одним из существенных элементов микроклиматической поддержки, создающей приемлемые условия для эксплуатации IT оборудования. Слишком низкий уровень влажности приводит к накоплению статических зарядов и способствует разрушению информационных носителей в лентопротяжных механизмах, а также появлению других неблагоприятных последствий. Агрегаты CRAH, которые осуществляют управление влажностью, используя встроенные нагреватели и увлажнители, могут работать в противофазе (некоторые агрегаты работают в режиме нагрева, в то время как другие работают в режиме охлаждения), если уставки регулирования не идентичны друг другу и дифференциал регулирования слишком узок.

Подобного рода сценарий также может иметь место даже при одинаковых уставках, если датчики не откалиброваны или различные участки ЦОД характеризуются существенно различающимися между собой электрическими нагрузками.

Для исключения возможности реализации указанных сценариев, приводящих к существенным энергетическим потерям, в рассматриваемом ЦОД не используются электрические нагреватели и увлажнители, устанавливаемые в агрегатах CRAH. Вместо этого используется центральный кондиционер AHU (Air Handling Unit), в задачу которого входит увлажнение воздуха и при необходимости его небольшой подогрев. AHU также служит для снабжения свежим воздухом и создания избыточного давления в основных технологических помещениях ЦОД. Создание избыточного давления сводит к минимуму инфильтрацию воздуха и, соответственно, его загрязнение, что может негативно влиять на работу компьютерного оборудования.

Кроме того, для сокращения влияния окружающей среды рассматриваемый ЦОД, с архитектурно-планировочной точки зрения, размещен во внутренней части здания (наружные стены в основных технологических помещениях ЦОД отсутствуют). Воздухонепроницаемая изоляция выполнена по всей поверхности внутренних стен, а также наружных стен по всему периметру здания. Также оборудованы воздушные шлюзы во всех коридорах, окружающих внутреннюю часть ЦОД.

В целях управления влажностью непрерывно контролируется относительная влажность и температура удаляемого AHU воздуха. Результаты измерений преобразуются в показатели абсолютной влажности (влагосодержание), измеряемой весом водяных паров на единицу веса сухого воздуха. На основании этого производится по потребности увлажнение воздуха, создающее приемлемый уровень абсолютной влажности внутри ЦОД.


Механическая инфраструктура

Рассматриваемый ЦОД первоначально планировался в расчете на три фазы его дальнейшего развития: Фаза 1 — 4650 м 2 площади при энергетической нагрузке 540 Вт/м2; Фаза 2 — 9300 м2 площади при энергетической нагрузке 540 Вт/м2 и Фаза 3 — 9300 м2 площади при энергетической нагрузке 810 Вт/м2. Несмотря на то, что основным компонентом энергетической нагрузки является электрическое питание IT оборудования, имеют место также другие составляющие, благодаря которым фактическая энергетическая нагрузка несколько превышает нагрузку, непосредственно связанную с работой IT оборудования. Тщательный анализ всех компонентов энергетической нагрузки, причем на всех фазах развития ЦОД, является необходимым для реализации качественного микроклиматического обеспечения на протяжении жизненного цикла ЦОД. Обычно инфраструктура проектируется таким образом, чтобы механическое и электрическое оборудование добавлялось по мере увеличения энергетической нагрузки. Система кондиционирования воздуха должна обслуживать на начальном этапе минимальное количество установленного IT оборудования. Это требует тщательного анализа нагрузок на начальном этапе с тем, чтобы имелась уверенность, что выбранные агрегаты будут работать должным образом при данных нагрузках.

Многие из дополнительных компонентов, входящих в суммарную энергетическую нагрузку ЦОД, являются типичными для офисов и общественных зданий общего назначения. В тоже время некоторые компоненты являются уникальными для ЦОД, или их значение существенно выше, чем обычно. Типичными для общественных зданий являются нагрузки, обусловленные теплопроводностью ограждающих конструкций, освещением и вентиляцией, соответствующей численности людей. Эти нагрузки в ЦОД значительно ниже, чем в других зданиях, поскольку особенности функционирования ЦОД требуют отсутствия окон, меньшую степень освещенности и небольшое количество свежего воздуха из-за малой численности обслуживающего персонала. Уникальные или существенно более высокие энергетические нагрузки связаны с использованием источников бесперебойного питания UPS (Interrupted Power Supplier), вентиляцией аккумуляторных и наличием многочисленных понижающих трансформаторов.

Помимо вентиляции, обусловленной присутствием обслуживающего персонала, существуют некоторые дополнительные требования к вентиляции, в частности, связанные с работой центрального пункта генерации холода. В их число входят необходимость создавать и поддерживать избыточное давление в основных технологических помещениях, помещениях UPS и других помещениях, где размещается электрическое оборудование. Кроме того, в большинстве правил проектирования требуется вентиляция аккумуляторных с интенсивностью 5 л/м 2 площади пола. В рассматриваемом ЦОД имеется 6 аккумуляторных, в каждой из которых расход свежего воздуха составляет 1060 л/с.

  4050 м2 при 540 Вт/м2 930 м2 при 540 Вт/м2 930 м2 при 810 Вт/м2
Нагрузки ЦОД 2643

68%
5569

74%
8411

78%
Электрические потери 396

9%
791

11%
1187

11%
Вентиляционные нагрузки 211

5%
255

3%
308

3%
Нагрузки, обусловленные

теплопроводностью ограждающих

конструкций и освещением
571

14%
721

10%
721

6,5%
Нагрузки административного

офиса
170

4%
170

2%
170

1,5%
Итого: 4192 кВт 7506 кВт 10797 кВт
Таблица 2: холодовые нагрузки

В таблицу 2 сведены потребности в кондиционированном воздухе на рассматриваемом объекте. Нагрузки ЦОД включают холодопроизводительность CRAH по скрытому теплу, а также вклад, создаваемый работой вентиляторов. Кроме того, сюда включены нагрузки, создаваемые работой центрального пункта генерации холода. В результате нагрузка ЦОД несколько превышает мощность UPS. В электрические потери, наряду с потерями в электрических магистралях, включены таковые, обусловленные работой трансформаторов и реальным значением к.п.д. электродвигателей. Нагрузки, обусловленные теплопроводностью ограждающих конструкций и освещением, определены для всего сооружения. Вентиляционная нагрузка определена отдельно.

Полностью оснащенный центральный пункт генерации холода
Фотография 2. Полностью оснащенный центральный пункт генерации холода

С учетом некоторого запаса потребная холодопроизводительность на первой фазе определена в 4219 кВт, которую в целях обеспечения надежности работы решено распределить по двум отделениям центрального пункта генерации холода. Определен также типоразмер чиллеров для их дальнейшей установки. Начальная максимальная нагрузка в летний период без учета работы IT оборудования определена значением, не превышающим 949 кВт. Начальная зимняя нагрузка значительно меньше, что создало бы проблемы эксплуатации в случае установки одного чиллера мощностью 4219 кВт. Кроме того, решено, что холодопроизводительность должна быть разделена между двумя отделениями поровну. Это обеспечивает в любое время подачу холодной воды по двум независимым каналам. Без учета работы IT оборудования оцениваемая максимальная нагрузка в летний период составляет 475 кВт на чиллер. В конечном итоге для обеспечения нормального функционирования комплекса во всех режимах принято решение об установке на начальном этапе двух чиллеров мощностью по 2110 кВт и последующей установке еще двух чиллеров по 4219 кВт каждый (см. фотографию 2).


Заключение

Планирование и проектирование системы кондиционирования воздуха ЦОД требует наличие детальной информации о типах компьютерного оборудования, подлежащего охлаждению, начальной и ожидаемой в дальнейшем энергетической нагрузке и любых специальных требованиях, касающихся повышенной локальной энергетической нагрузкой. Система охлаждения пространства под фальшполом должна учитывать, что серверные стойки, главные компьютеры и хранилища информационных носителей могут существенно отличаться между собой по потребности в холоде и должны рассматриваться индивидуально. Кроме того, зоны с высокой плотностью оборудования могут требовать подачи значительно большего количество воздуха по сравнению с другими зонами или использования альтернативных, совершенно новых технологий охлаждения, еще только находящихся в стадии разработки.

Проекты должны быть достаточно гибкими, чтобы удовлетворять потребностям новых технологий, меняющимся несколько раз на протяжении жизненного цикла создаваемого объекта. В некоторых случаях на начальном этапе и в первый год эксплуатации для ЦОД могут требоваться механические системы, работающие без нагрузки компьютерного оборудования или со значительно уменьшенной нагрузкой. В удачном проекте центрального или распределенного пункта генерации холода должна быть обеспечена возможность при необходимости нормальной работы оборудования при таких уменьшенных нагрузках.


Литература


  1. ASHRAE TC 9.9. 2004. Thermal Guidelines for Data Processing Environments.

  2. The Uptime Institute. 2000. «Heat Density Trends in Data Processing Computer Systems and Telecommunications Equipment.»

  3. ASHRAE TC 9.9. 2005. Data Equipment Power Trends and Cooling Applications.

  4. Lawrence Berkeley Laboratory, http:// hightech.lbl.gov/.

  5. Sullivan, R. 2002. «Alternating Cold and Hot Aisles Provide More Reliable Cooling for Server Farms.» The Uptime Institute.

  6. Belady, C. and Stahl, L. 2001. «Designing an alternative to conventional room cooling.» Telecommunications Energy Conference. INTELEC 2001.

 


Christopher Kurkjian, член ASHRAE

Jack Glass, член ASHRAE


Редакция выражает благодарность за помощь в адаптации статьи на русский язык к.т.н. Е. П. Вишневскому и к.т.н. М. М. Короткевичу