В рубрику "В фокусе" | К списку рубрик | К списку авторов | К списку публикаций
Андрей Чернов, инженер группы систем жизнеобеспечения инфраструктуры информационных технологий ОАО "Магнитогорский металлургический комбинат" (г. Магнитогорск)
Сегодня для компаний, имеющих современные центры обработки данных (ЦОД), на повестке дня стоит вопрос о том, как будет совершенствоваться организация их охлаждения. Эта задача особенно актуальна для отраслевых вычислительных центров, созданных на заре компьютеризации страны.
В ближайшем будущем повышение производительности ЦОД, по мнению специалистов ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers), приведет к увеличению удельной мощности тепловыделения серверов до 2 кВт на 1 кв. м, что ставит перед инженерными службами крупных предприятий серьезную задачу отвода тепла. Новые ЦОД в настоящее время изначально строятся с учетом этой проблемы, ведущие поставщики IT-платформ уже интегрируют решения по энергосбережению в свои продукты. Значительно сложнее решать эти задачи в существующих ЦОД, где в последнее время стала актуальной не только проблема совершенствования систем охлаждения, но и снижения энергозатрат на эти системы (в связи ростом цен на энергоносители).
Архитектура систем охлаждения делится на три типа: охлаждение на уровне стойки, на уровне ряда и на уровне зала. В первом случае блоки системы кондиционирования связаны непосредственно со стойкой, что изначально предполагает конкретную плотность размещения IT-оборудова-ния. Пути циркуляции воздуха в данной архитектуре четко определены и не зависят от особенностей помещения. Сегодня многие поставщики предлагают широкий спектр соответствующих, встраиваемых в стойки холодильных агрегатов: например, в решении компания Rittal охлажденный воздух поступает на лицевую часть стойки, а горячий – забирается от ее задней части.
В архитектуре систем охлаждения на уровне ряда блоки кондиционеров подают холодный воздух в пространство между рядами. Распространенной схемой является расположение оборудования по принципу "горячий/холодный" коридор, что делает циркуляцию воздуха предсказуемой и позволяет задействовать всю номинальную охлаждающую способность системы кондиционирования. Одной из последних новинок на рынке климатической техники для охлаждения IT-оборудования является система кондиционирования АРС InfraStruXure InRow SC, встраиваемая в ряд стоек с коммутационным и серверным оборудованием. Размещение кондиционеров в непосредственной близости от оборудования гораздо эффективнее, чем установка более мощного вентилятора в вытяжной системе. Решения по охлаждению на уровне ряда также разрабатывают компании Emerson Network Power, Unifla-ir, Lennox, Emicon и ECSO, выпускающие прецизионные системы кондиционирования с различными вариантами расположения охлаждающих модулей: межстоечные, монтируемые на стойке, подача потоком без воздуховодов, через фальшпол, с локальными воздуховодами и др.
Оба типа архитектуры позволяют организовать эффективное охлаждение и снизить потребление электроэнергии до 50%, поскольку исключают вероятность прохождения охлаждающего потока воздуха мимо оборудования.
С точки зрения конструктивных особенностей инфраструктуры наиболее простым методом охлаждения и в то же время наиболее проблемным является метод охлаждения на уровне зала. Этот подход предполагает наличие одной или нескольких параллельно работающих систем кондиционирования воздуха, которые не только обеспечивают охлаждение оборудования, но и выступают в качестве большого смесителя, который перемешивает воздух в зале, чтобы придать ему единую среднюю температуру и не допустить возникновения локальных зон перегрева. Однако серьезным недостатком такой архитектуры является неэффективное использование номинальной охлаждающей способности системы кондиционирования. Довольно часто возникает ситуация, когда значительная часть воздуха, выходящего из блоков системы кондиционирования, идет в обход IT-оборудования и сразу возвращается обратно.
Проблема эффективного охлаждения актуальна для действующих центров, построенных в 80–90-х гг. прошлого столетия. Такая проблема особенно типична для металлургической отрасли. Ярким примером являются ЦОД Магнитогорского металлургического комбината.
Сегодня на территории ОАО "Магнитогорский металлургический комбинат" имеется более 150 объектов, на которых размещено серверное и сетевое оборудование: вычислительные центры, серверные и кроссовые помещения, магистральные и локальные узлы передачи данных, аппаратные связи. В среднем расход электроэнергии на кондиционирование в ММК составляет 55–60% всей потребляемой электроэнергии объекта, что является не лучшим показателем для подобных объектов. На практике неплохой является ситуация, когда такое потребление не превышает 40%.
Нужно также отметить, что на многих промышленных предприятиях проблема планирования мощности систем кондиционирования осложняется необходимостью проектировать центр обработки данных с расчетом на несколько циклов смены технологий. При этом никому не известно, какое оборудование будет устанавливаться в нем в будущем.
Сегодня ведущие производители систем кондиционирования для ЦОД не предлагают технических решений для охлаждения оборудования на уровне зала в условиях нестандартного размещения. Поэтому при всем многообразии систем охлаждения и вариантов расположения оборудования в ЦОД нет закономерностей, позволяющих дать четкие рекомендации для конкретных условий. Сегодня управление неравномерностью охлаждения полностью зависит от интуиции инженеров и менеджеров ЦОД. В результате в небольших и средних ЦОД предприятий стойки располагают без какого-либо плана и учета средств ограничения циркуляции воздуха, вследствие чего процесс охлаждения IT-оборудования, основанный на смешивании воздуха, оказывается весьма расточителен.
Для оценки эффективности охлаждения IT-оборудо-вания предлагается использовать трехмерное моделирование распределения воздушных потоков с использованием программного комплекса FlowVision, позволяющего выполнять численное моделирование стационарных и нестационарных течений жидкости и газа. Введенная в FlowVision трехмерная модель воздушного потока помещения обрабатывается с учетом граничных условий, а на выходе формируется поле изотерм и поле скоростей воздуха.
Анализ поля изотерм воздушного потока на уровне 0,5 м от пола (рис. 1) одного из ЦОД ОАО "ММК" показывает, что большая часть охлажденного воздуха скапливается в углу помещения, где образуется локальная холодная зона. При таком распределении потоков резко снижается эффективность охлаждения, причем аналогичная картина наблюдалась и на уровне высоты коммутационных шкафов (рис. 2).
Появление локальных зон с низкой температурой воздуха свидетельствует о неравномерности распределения температурного поля. Из-за разности мощностей установленных систем кондиционирования и габаритных размеров оборудования среднее значение температуры воздуха в помещении ЦОД оказывается ниже, чем температура в области воздухозабора отдельно стоящих коммутационных шкафов. В условиях нестационарного режима работы оборудования особое значение имеет различие скоростей воздушного потока на разной высоте и условий теплообмена с поверхностями коммутационных шкафов.
Изменение скорости воздушных масс приводит к образованию вихревых зон вокруг стоек и повышению неравномерности полей скорости и температур в так называемой зоне разбора охлажденного воздуха. Для оценки неравномерности распределения температуры модель помещения ЦОД "накрывается" расчетной сеткой, разбивающей объем помещения на мелкие ячейки, в которых определяется значение температуры. Количественную оценку неравномерности распределения температурного поля в зоне разбора охлажденного воздуха можно определить с помощью коэффициента неравномерности, равного отношению общего количества рассматриваемых точек к количеству точек, уровень температуры которых не превышает значения, указанного в технических требованиях для ЦОД.
Как правило, в технических требованиях к помещениям ЦОД рекомендуется поддерживать температуру воздуха не выше 22 °С. На основании исследования нескольких помещений ЦОД ОАО "ММК" было определено количество температурных точек в си- стеме "кондиционер – охлаждаемое оборудование", температура которых не превышает этой величины. Исходя из полученных данных, был определен коэффициент неравномерности. В идеальном случае он должен быть равен единице, а для большинства обследованных объектов предприятия он составил величину от 1,28 до 1,4. Не сложно сделать вывод о качестве охлаждения IT-оборудования и использования энергоресурсов.
Кроме коэффициента неравномерности важным показателем, позволяющим оценить правильность размещения оборудования, является коэффициент энергоэффективности ЦОД, или коэффициент полезного действия. Энергоэффективность (КПД) любой системы – это доля полной входной энергии, преобразуемая в желаемый полезный результат. Для инженерной инфраструктуры ЦОД полным входом является общая подаваемая электроэнергия, а полезным выходом – мощность, потребляемая IT-оборудовани-ем. Таким образом, КПД ЦОД будет равен отношению мощности, доведенной до IT-нагрузки, к полной мощности, потребляемой ЦОД. Часть электроэнергии ЦОД расходуется на питание вспомогательных устройств, значительную долю мощности которых составляют системы кондиционирования. Поэтому энергоэффективность ЦОД в большей степени будет зависеть от доли потребления электроэнергии системами кондиционирования, удовлетворяющими необходимому теплоотводу.
КПД основных объектов ОАО "ММК" составляет 30–35%. Единственным путем, позволяющим улучшить условия охлаждения IT-обору-дования и повысить КПД ЦОД без дополнительных энергетических затрат, является сбалансированное размещение кондиционеров, оптимальная настройка их мощности и установка оборудования с учетом аэродинамики помещения в целом.
Показателем эффективности работы систем кондиционирования является коэффициент теплоотдачи ? от охлаждающего потока воздуха к поверхности электронного оборудования. Высокое значение этого коэффициента при минимальном расходе электроэнергии системой кондиционирования свидетельствует о высоком значении КПД ЦОД.
В идеальной структуре ЦОД, имеющего архитектуру охлаждения на уровне зала, где оборудование расположено симметрично, мощность кондиционеров и мощность IТ-оборудо-вания равны – процесс теплообмена "воздух – оборудование" происходит равномерно. При этом достигается максимальный коэффициент теплоотдачи. Каждое реальное помещение ЦОД отличается своими габаритами, предельным насыщением автоматизированной коммутационной аппаратурой, серверами и другим электронным оборудованием, расположенным в вертикальных шкафах, при произвольном распределении мощности теплоисточников и их многорядно-сек-ционной компоновке. На коэффициент теплоотдачи влияют: фактическая неравномерность параметров воздуха по высоте помещения, условия теплообмена воздушного потока с поверхностью IT-оборудования в условиях его нестационарной работы. Поэтому задачей энергоэффективного процесса охлаждения на уровне зала является оптимальное расположение блоков системы кондиционирования относительно самих коммутационных шкафов различной плотности компоновки. Для поиска оптимального варианта в ОАО "ММК" разрабатывается методика оптимального размещения оборудования. В данной методике учитываются объемы, занимаемые стойками, плотность размещения оборудования в стойке, геометрические параметры стойки, мощность оборудования, а также коэффициенты, связанные с расположением воздухозаборника стойки относительно воздухо-распределяющих решеток.
Применение данной методики позволяет оптимизировать размещение оборудования с учетом параметров имеющихся систем охлаждения на уровне зала. Во вновь вводимых в эксплуатацию ЦОД применяется архитектура охлаждения на уровне ряда или стойки. Однако поскольку в большей части существующих в настоящее время помещений ЦОД, которыми располагают промышленные и коммерческие предприятия, имеется система охлаждения на уровне зала, то вопрос качественного охлаждения весьма актуален.
Андрей Касьяненко, заместитель генерального директора телекоммуникационной компании "Караван"
На сегодняшний день задача тепло-отвода от серверного оборудования для центров обработки данных является одной из самых значимых. Она в одинаковой степени актуальна как для ЦОД предыдущего поколения, так и для вновь проектируемых, современных ЦОД. Если в дата-центрах предыдущего поколения вопрос стоит об охлаждении и корректном функционировании уже установленного оборудования, максимальном продлении жизненного цикла ЦОД, то для вновь проектируемых актуальной является задача повышения энергоэффективности и соблюдения необходимых параметров охлаждения серверного оборудования, а также управления параметрами охлаждения с учетом изменяющейся нагрузки в будущем. Производители климатического оборудования для центров обработки данных выводят на рынок различные решения как для новых проектируемых ЦОД, так и для модернизации существующих. Например, решения, предназначенные для модернизации устаревающих ЦОД, использующие локальные доводчики, решения, использующие переходы вода/фреон, доводчики охлажденного воздуха, могут значительно повысить эффективность охлаждения устаревающего ЦОД. Но при этом не приходится говорить об их экономической и энергетической эффективности по сравнению, например, с решениями для новых, проектируемых ЦОД, учитывающими современные стандарты. Перечисленные решения предназначены для сохранения работоспособности устаревающих ЦОД с минимальными простоями модернизируемых дата-центров. Еще одна методика, использующаяся для модернизации ЦОД, – компьютерное моделирование воздушных потоков. Оно позволяет найти проблемные зоны в ЦОД, но при этом не предлагает решений по их устранению. В подавляющем большинстве случаев такая модернизация оказывается невозможной в принципе, так как отсутствует возможность размещения дополнительных систем охлаждения и распределения воздушных потоков, либо подобная модернизация связана с длительной остановкой всего ЦОД, что может быть неприемлемо. Кроме того, в дата-центрах предыдущего поколения для устранения локальных зон перегрева необходимо осуществлять компьютерное моделирование воздушных потоков при каждом значимом изменении характера нагрузки и состава оборудования. Несколько иначе обстоят дела при проектировании строящегося центра обработки данных. Современные технологии охлаждения позволяют четко контролировать воздушные потоки в серверном зале, как на уровне стойки, так и на уровне ряда. Однако проектировщики систем охлаждения должны еще на этапе проектирования предусмотреть возможность наращивания мощностей систем охлаждения в будущем и при этом иметь возможность постоянно контролировать эффективность системы охлаждения в целом. Здесь на помощь приходят модульные решения вендоров, которые позволяют решить эту задачу. Применение этих методик в полном объеме ведет к значительному повышению стоимости проекта, что приводит к падению экономической эффективности проекта в целом. Поэтому даже сейчас, при наличии современных решений, проектирование и строительство систем охлаждения дата-центра остается набором компромиссных решений между экономическими показателями эффективности, проектируемым циклом жизни ЦОД и эффективностью системы охлаждения в целом. С учетом постоянно растущих требований к энерговооруженности современных ЦОД, главными факторами при выборе решений для систем охлаждения являются их эффективность, надежность и возможность модернизации без перерывов в функционировании всего ЦОД.
Александр Ласый, заместитель директора департамента интеллектуальных зданий компании КРОК
Для достижения энергоэффективного охлаждения ЦОД необходимо соблюсти два основных принципа. Во-первых, важен комплексный подход к решению задачи. В условиях постоянного увеличения мощностей вычислительного оборудования ни один из методов охлаждения не является самодостаточным. Именно поэтому технологическое подразделение предпочитает использовать и разграничение "горячих" и "холодных" коридоров, и использование внутрирядных решений, и установку шкафных кондиционеров. Естественно, такой комплексный подход стоит денег, но бесперебойность бизнеса, возможность иметь оперативную информацию для решений (ведь именно на это работают высокая производительность серверов и надежность инженерной инфраструктуры ЦОД) все же дороже. Во-вторых, имеет особое значение проектирование систем, исходя из индивидуальных характеристик помещения. Типовых решений в области охлаждения ЦОД быть не может. Например, оптимальное расположение шкафов в каждом конкретном случае будет различаться в зависимости от габаритов, функционального назначения шкафов, разграничения зон доступа, прокладки коммуникаций. В металлургической промышленности актуальна задача модернизации ЦОД в целом. Но с учетом особенностей помещений, построенных 20--30 лет назад, внедрение современных систем может быть сопряжено с большими издержками, чем создание серверной комнаты с нуля: устанавливаемое оборудование необходимо дополнительно снабжать индивидуально спроектированными инженерными решениями. По этой причине идеальным вариантом, в том числе и по капитальным затратам, является миграция данных на новую площадку.
Опубликовано: Журнал "Технологии и средства связи" #2, 2010
Посещений: 8046
Автор
| |||
В рубрику "В фокусе" | К списку рубрик | К списку авторов | К списку публикаций
