В рубрику "Решения корпоративного класса" | К списку рубрик | К списку авторов | К списку публикаций
Юрий Скобелев
Первый заместитель генерального директора ОАО "КОМКОР" (торговая марка "АКАДО Телеком")
Центр обработки данных ком-пании "КОМКОР" (торговая ямарка "АКАДО Телеком") за один из этажей современного здания постройки 2008 г. Помимо ЦОД в здании расположен телекоммуникационный центр, включающий опорный узел ядра мультисервисной сети "АКАДО Телеком", центр управления сетью, а также офисные помещения для сотрудников оператора. В отличие от многих других дата-центров, которые обустраивались в пустующих заводских цехах или офисных центрах, офисно-телекоммуникационный комплекс изначально проектировался с учетом расположения в нем центра данных. Это позволило заложить в проект современные решения инженерной инфраструктуры, соответствующие международным стандартам. По классификации TIA-942 уровень отказоустойчивости центра данных соответствует категории 3, а по ряду параметров - наивысшей, 4-й категории. Стабильная работа оборудования и безопасное хранение данных обеспечиваются, в первую очередь, продуманным проектированием систем электроснабжения и поддержки климатических условий.
Современный центр данных представляет собой сложный технологический комплекс, оснащенный различными инженерными системами для обеспечения гарантированного бесперебойного электроснабжения, оптимальных климатических условий, физической защиты оборудования и информации и т.д. Для того чтобы выход из строя одной системы не привел к остановке работы всего центра данных, обеспечивается резервирование критически важных элементов, включая создание дублирующих контуров для наиболее важных систем. Такое решение позволяет исключить существование единой точки отказа и добиться высокого уровня отказоустойчивости.
Согласно требованиям стандарта TIA-942 дата-центр категории 3 имеет несколько путей распределения электропитания и охлаждения, но только один путь является активным. Поскольку резервированные компоненты имеются не на одном пути распределения, эта система позволяет производить техническое обслуживание и ремонт параллельно с работой дата-центра. Возможности центра категории 3 позволяют осуществлять любую плановую деятельность по обслуживанию инфраструктуры объекта без нарушения нормального хода работы технических средств машинного зала. Объекты категории 3 зачастую проектируют с перспективой наращивания ресурсов до категории 4, когда бизнес оправдает стоимость дополнительной защиты.
Основная задача энергосистемы, создаваемой в ЦОД, - обеспечение непрерывности функционирования ЦОД при эксплуатации инженерных систем объекта. Достигается данная цель за счет организации резервированного бесперебойного электроснабжения технологического оборудования на объекте.
Оборудование ЦОД относится к электропотребителям 1-й категории по надежности электроснабжения с наличием групп электроприемников, относящихся к электропотребителям особой группы 1-й категории по надежности электроснабжения. Для питания потребителей 1-й категории надежности используется система гарантированного электроснабжения (СГЭ) на базе дизель-генераторной установки (ДГУ). Для электропотребителей особой группы 1-й категории надежности используется система бесперебойного электроснабжения (СБЭ). Система электроснабжения подключена к централизованной диспетчерской системе АСМУ ИИ, осуществляющей контроль параметров и состояния оборудования. При отключении внешнего питания автоматически запускается ДГУ, состоящая из двух дизель-генераторов. Время запуска ДГУ - 30 секунд с момента прекращения подачи энергии. Для своевременного пополнения запа-сов дизельного топлива подписан договор с транспортной компанией.
Электроснабжение центра данных организовано по двум независимым вводам от разных городских электроподстанций. В дальнейшем запланировано подключение еще 2 вводов. В технологических помещениях применена система заземления TN-S.
Для обеспечения надежного электроснабжения и осуществления автоматического переключения питающих вводов используются два АВР в составе ДГУ.
Для обеспечения надежного электроснабжения электропотребителей особой группы 1-й категории в случае аварии системы общего электропитания и до момента запуска ДГУ в работу используется система бесперебойного электроснабжения.
СБЭ технологического оборудования ЦОД построена по двухлучевой схеме, степень резервирования ИБП - N+1. В дальнейшем планируется создание дополнительного резерва ИБП с переходом на избыточную схему резервирования 2N.
Базовая схема (N+1) реализована в виде трех независимых систем ИБП, которые питают соответствующие группы технологической нагрузки.
Каждый луч подключен к системе из основных и одного резервного источников бесперебойного питания, работающих в параллели, что обеспечивает высокую отказоустойчивость системы СБЭ ЦОД. В системе предусмотрено, что на время технического обслуживания одиночного ИБП из параллельной сборки бесперебойная работа обеспечивается оставшимися в работе источниками питания.
Источники бесперебойного питания ЦОД установлены в отдельном помещении. В том же помещении находятся аккумуляторные батарейные кабинеты, обеспечивающие автономную работу в течение минимум 5 минут.
Применяемые ИБП имеют возможность включения режима ограничения потребляемой мощности ИБП за счет ограничения тока заряда батарей для аварийного режима электроснабже-ния, режима питания от ДГУ.
Электроснабжение потребителей ЦОД осуществляется от двух независимых секций распределительного щита бесперебойного питания, запитан-ных от источника по кабелям первого и второго луча соответственно. Во вводном устройстве установлены вводные переключатели нагрузки, автоматические выключатели, приборы контроля основных характеристик энергоснабжения и энергопотребления с выводом показаний по протоколу RS-485 на автоматизированную систему контроля и управления (счетчики активной электроэнергии, амперметры, вольтметры) и шина подключения ИБП с автоматическими выключателями.
Все применяемые автоматические выключатели (кроме щитов освещения) укомплектованы блок-контактами, сигнализирующими системе автоматики состояние выключателя (включен, выключен, авария). В состав щита, от которого осуществляется электроснабжение, входит аппаратура контроля основных характеристик энергоснабжения и энергопотребления. При проектировании системы заложено 20% резерва мощности на нужды развития.
В связи с особенностями здания, в котором размещен ЦОД (а именно: высокой удельной тепловой нагрузкой помещений; требуемой схемой резервирования), для устройства инженерной инфраструктуры технологических помещений было принято решение об использовании прецизионных шкафных кондиционеров. Применена классическая чиллерная система холодоснабжения шкафных кондиционеров. Тепловыделения от технологического оборудования в помещениях приняты с учетом коэффициентов одновременности и загрузки.
Холодоснабжение помещений обеспечивается тремя чиллерами с выносными воздушными конденсаторами. В работе одновременно находятся два чиллера, третий - в резерве. Используемые модели оборудования сочетают эффективность и надежность с наименьшим воздействием на окружающую среду. Низкий уровень шума обеспечен за счет использования винтовых компрессоров с плавной регулировкой холодопроизводительности и применения экономайзеров холодильного контура, специально созданных для использования в области кондиционирования воздуха.
В качестве теплоносителя используется вода. Расчетный перепад температур между прямой и обратной водой составляет 5 °С. Все три чиллера установлены в помещении холодильного центра. Конденсаторы системы размещены на фасаде здания. Холодопроизводительность чиллеров за счет регулирования работы компрессоров может меняться в зависимости от нагрузки на систему холодоснабжения от 25 до 100%. Для процедуры очистки трубопроводов от загрязнений предусмотрена обводная линия чиллеров.
Циркуляцию воды в системе обеспечивают три параллельно включенных насоса. Два из них постоянно находятся в работе, третий - в резерве. В системе трубопроводов возможны утечки воды и для восполнения этих потерь предусмотрен подпиточный насос. Для распределения воды по кондиционерам и сбора обратной воды в системе трубопроводов предусмотрены две водораспределительные гребенки. На питающих трубопроводах установлены регулировочные клапаны, обеспечивающие гидравлическую балансировку параллельных ветвей системы.
Газообразные примеси (Cl, H2) удаляются путем естественной деаэрации через установленные воздухоотводчики.
Применена двухконтурная система: водяной контур "чиллер - аккумулирующие баки - насосный блок" и фреоновый контур "насосный блок -доводчик". Внутренний контур -фреоновый, спроектирован с резервированием (каждый доводчик подключен к двум блокам). Используется экологически чистый фреон. Разводка фреонопроводов системы осуществляется под потолком с учетом всех технологических требований, предъявляемых к соответствующему оборудованию. Циркуляция фреонового хладагента осуществляется в системе медных труб - фреонопроводов.
Поддержка требуемой температуры в помещении ЦОД обеспечивается за счет работы двух групп оборудования.
В первую группу входят прецизионные шкафные кондиционеры, вклад которых от общей холодопроизводительности всего установленного оборудования составляет порядка 20%. Кондиционеры объединены в единую сеть, включающую резервный кондиционер. Холодоносителем этих кондиционеров служит вода, подаваемая от чиллера. Данные кондиционеры дополнительно укомплектованы электрическими пароувлажнителями, что позволяет поддерживать влажность воздуха в проектируемом помещении в требуемых пределах. Вода на пароувлажнители поступает из существующей системы холодного водоснабжения, а дренаж отводится в существующую систему канализации.
Для контроля влажности воздуха и его очистки от пыли подача воздуха кондиционерами происходит методом вытеснения - диплейсмент. Полный контроль климатических условий и надежность работы климатической системы являются залогом бесперебойного функционирования машинных залов, телекоммуникационных участков и других технологических объектов.
Внутренние блоки подают воздух с малой скоростью на уровень пола и забирают его снова из верхней части комнаты. Подаваемый воздух генерирует фронт холодного воздуха, который, продвигаясь, вытесняет теплый воздух. Источники тепла в свою очередь (благодаря естественной конвекции) создают восходящие к потолку потоки нагретого воздуха. Затем нагретый воздух снова забирается в кондиционер. Распространение воздуха, согласно концепции "диплейсмент", ограничивает перемешивание между подаваемой воздушной массой и существующим воздухом, вызывая температурное расслоение в помещении.
Вторая, основная, группа оборудования состоит из модулей охлаждения и блоков раздачи хладагента (БРХ). Охлажденная вода от чиллера сначала поступает в БРХ, расположенные равномерно по периферии помещения, и здесь передается в контуры фреонового хладагента. Последний принудительно доставляется к модулям охлаждения, установленным равномерно между охлаждаемыми стойками в тех же рядах, что и сами стойки. Такая опосредованная схема раздачи холода исключает прямое попадание воды на технологическое оборудование при разгерметизации контура воды.
Для предотвращения образования зон перегрева и обеспечения отвода тепла с каждой стойки установлены дополнительные кондиционеры-доводчики. В качестве локальных кондиционеров-доводчиков используются блоки, монтируемые между стойками с оборудованием, по 6 блоков в каждом ряду. Монтируемые между стойками кондиционеры-доводчики забирают горячий воздух из зоны "горячего" коридора, охлаждают его и подают в зону "холодного" коридора непосредственно перед стойками с оборудованием, распределяя холодный воздух равномерно по всей высоте стойки. Дополнительно в зоне "холодного" коридора установлены шкафные кондиционеры, которые осуществляют подачу охлажденного и увлажненного (или осушенного) воздуха в нижнюю зону. Данный принцип расстановки оборудования позволяет избежать образования зон перегрева в местах нахождения стоек с высоким тепловыделением.
Контур с хладоносителем отделен от централизованной системы подачи охлажденной воды здания. Насосные блоки обеспечивают циркуляцию хладоносителя в системе. Блоки постоянно поддерживают температуру теплопередающих поверхностей выше температуры точки росы, что предотвращает процесс конденсации влаги на теплообменных поверхностях. Блок использует показания установленных в помещении датчиков температуры и влажности воздуха. На основании получаемых данных он постоянно регулирует температуру хладоносителя, компенсируя таким образом текущие изменения условий.
Для надежного функционирования оборудования центра с заданными параметрами качества и обеспечения достаточного уровня отказоустойчивости создана автоматизированная комплексная система мониторинга инженерно-технологической инфраструктуры. Система имеет двухуровневую структуру: технологический уровень (сбор показаний от инженерных систем в контроллерах) и уровень SCADA-системы. Оба уровня соединяются единой средой информационного обмена.
Созданная в ЦОД инженерная инфраструктура предполагает как возможность наращивания системы по мощности, так и возможность поэтапного ввода оборудования.
Опубликовано: Журнал "Технологии и средства связи" #4, 2009
Посещений: 7723
Статьи по теме
Автор
| |||
В рубрику "Решения корпоративного класса" | К списку рубрик | К списку авторов | К списку публикаций
