В рубрику "Защита информации и каналов связи" | К списку рубрик | К списку авторов | К списку публикаций
Денис Калинин
Генеральный директор IBS DataFort
Услуги Data-центров сегодня -это один из самых востребованных сервисов. Налицо явный дефицит подобных центров в Москве, причем он обусловлен отсутствием сложившейся инфраструктуры, нехваткой необходимых электрических мощностей в городе. Следует отметить, что спрос значительно превышает предложение. Очевидно, что речь идет не только о перспективах аренды Data-центров, но и об их строительстве.
Можно предположить, что при таком спросе каждый второй девелопер готов возводить Data-центры, и если он до сих пор не сделал этого, значит, мешают ограничения. Дело в том, что разместить Data-центр в любом понравившемся месте нельзя. Прежде чем строить комплекс, следует определиться с общей инфраструктурой, поскольку без нее Data-центр существовать не сможет. Ему необходима электроэнергия, причем с основным и резервным вводами. Требуется расчет вероятности того, что они оба окажутся отключены. Необходимо обеспечить подъезд к центру, дизельное или какое-либо другое резервное электропитание, а значит, следует продумать возможность подвоза топлива или его подвода, либо, например, применить газотурбинный генератор. Есть множество вопросов, которые важно решить еще до начала строительства: найти площадку, определить место, обеспечить все условия. Остальное, как говорится, дело техники.
Во-первых, следует найти профессиональную компанию, которая построит вам Data-центр. Заниматься возведением центра самостоятельно не имеет смысла - слишком много здесь "тонких мест", проблем, которые по силам лишь профессионалам. Одной теории будет недостаточно, нужен опыт - опыт строительства, опыт эксплуатации. Здесь любой вопрос, вплоть до высоты потолка или глубины второго пола, имеет критическое значение, и ошибка чревата полной неработоспособностью центра в дальнейшем.
И подобных моментов множество:
Важно понять, насколько рентабельным вы хотите видеть ваш проект. Поскольку, вложив денег в два раза больше, чем обычно, заведя в два раза больше электричества и холода с запасом, можно решить любую проблему. Правда эффективность подобных вложений оставляет желать лучшего.
Как уже отмечалось, чрезвычайно важным обстоятельством является наличие инфраструктуры вокруг будущего центра. Что касается требований к самому помещению, то приоритетным здесь является безопасность. Это аксиома: потому что хранить придется информацию, данные компании или компаний, которые являются для них самым дорогим. Здесь действуют общие требования к безопасности: здание возводится в соответствии со СНИПом, по строительным нормам и правилам. Надо исключить риск обрушения кровли под тяжестью снега, предусмотреть влияние различных климатических факторов. Дополнительно идут расчеты энергетиков и специалистов, устанавливающих кондиционеры. Помещение должно быть герметичным, теплоизолированным, защищать от доступа прямых солнечных лучей.
Нам нередко приходится сталкиваться с типовыми проблемами и ошибками в проектировании Data-центров. В порядке рекомендации инвесторам: с самого начала им необходимо четко представлять себе, на какой возврат вложенных денег они рассчитывают. И в зависимости от этого формировать политику цен на услуги. Пожалуй, нет смысла гарантировать работоспособность, допустим, на уровне 99999. Известно, что каждая дополнительная девятка удваивает стоимость услуги, стоимость инфраструктуры. В данном случае подобные показатели нерентабельны.
Наш совет: найдите хорошего подрядчика, который обеспечит строительство, и сделайте хороший проект. Его можно заказать у кого угодно - как у нас, так и у других IT-компаний, умеющих это делать. Просто есть риск, что вы построите Data-центр, который потом можно будет использовать лишь наполовину. Скажем, вы создадите 500 стойко-мест, из которых реально будут использоваться только 250. А все потому, что та "тепловая машина", которая будет работать внутри - механизм очень тонкий. И вам может не хватить или чуть-чуть электричества, или чуть-чуть высоты пола, или перегородки где-нибудь. В результате эксплуатировать выстроенный Data-центр в полную силу не получится.
Тема эта весьма обширна. Начинается все с двух резервных вводов. Самое замечательное решение - когда они идут от разных энергосистем. Тогда мы устраняем возможность отключения обоих резервных вводов центральной распределительной станцией РАО ЕЭС. Затем, если нам удалось или не удалось этого добиться, идут все необходимые схемы резервирования, отсечки, чтобы выход из строя одного резервного ввода не повлек за собой отключение другого. Притом количество вводов может варьироваться. Существует схема с двумя резервными вводами и с несколькими, когда работает система n+1. Для каждого конкретного случая надо рассчитывать, какая именно эффективнее. Нет однозначного ответа: вот эта лучше, чем другая. Можно подвести пять вводов, а шестой держать резервным для одного из пяти, а можно - два и понимать, что они выдержат полную нагрузку, а что будет с теми пятью - неизвестно. Никогда нельзя сказать заранее, как строить энергосистему.
Далее, когда подвели электропитание, нужно обеспечить автоматическое переключение между вводами, и автоматический выбор правильного варианта. Здесь нужна умная, современная автоматика, которая определяет параметры ввода, его приоритеты, выбирает нужный электрический ввод и предоставляет электропитание дальше на систему батарей, систему бесперебойного питания. Специальные системы выравнивают электропитание, превращают его в постоянное, из постоянного - обратно в переменное, а посередине стоит система батарей, которые позволяют электропитанию переключаться между вводами, дают возможность серверам работать во время этого переключения. То, как построена подобная система, критично для Data-центра, потому что она является "единой точкой" , а таких быть не должно. Вот почему предусмотрено инженерное решение, которое позволяет резервировать эту как бы "единую точку" уже после ввода резерва. Здесь масса тонких вопросов, действовать следует очень аккуратно. Вплоть до подведения электропитания до конкретной стойки, вся система защиты, автоматов и прочего должна быть тщательно просчитана. Иначе возможна ситуация, подобная той, что случилась и в Соединенных Штатах, и у нас в России, когда все районы мегаполиса остались без электроэнергии.
Data-центр в смысле энергетики фактически такой же город, где каждая стойка - это отдельное здание. И важно сделать так, чтобы выход из строя одной стойки или короткое замыкание в ней не привели к отключению других. Задача не самая тривиальная, когда все работает на пределе электрической нагрузки.
Канал связи - это уже следующая задача при построении Data-центра. Здесь система резервирования также четко обязана функционировать, обеспечивая работоспособность канала связи. Подключения к точкам обмена трафиком и к каналам клиентов -все должно быть резервировано, должно проверяться, проходить профилактические работы. Важно также выдерживать сроки проведения профилактических работ. Везде должны быть предусмотрены системы резервирования, в проекте должны учитываться все случаи выхода из строя любой комбинации каналов, выполняться оценка вероятности события, стоимости устранения последствий и т.д. Это и есть система резервирования, которая составляет основную часть стоимости Data-центра.
Сейчас для каналов связи применяются в основном оптические кабели. Так же, как и в случае передачи сигнала на большие расстояния. Однако появилось множество различных вариантов, потому что есть уже и "медный" гигабитный Ethernet, и даже 10-гига-битный Ethernet. Радиосвязь не считается надежным вариантом. И если вы спросите любого связиста, то он скажет: если можно проложить провод -не стоит раздумывать.
Внешняя же связь организовывается на базе операторских каналов. Вы покупаете услугу оператора связи, который вам организует доставку данных из одной точки в другую, главное при этом, чтобы оператор выдерживал все заявленные параметры.
Эта составляющая Data-центра напрямую зависит от электричества. Кондиционирование - неотъемлемая часть работы центра. Что такое Data-центр? Это настоящая "тепловая машина". Серверы - ни что иное, как системы, которые переводят электричество в тепло. С точки зрения физики они больше никакой полезной функции не выполняют: ничего не двигают, не вращают (кроме вентиляторов внутри), но это маленькая часть основной задачи - нагреть процессор. Полученное тепло надо отводить. Весь Data-центр - 5 тыс. серверов, каждый из которых выделяет 1 кВт энергии, и с этими 5 мВт надо что-то делать. Решения по сбросу тепла существуют разнообразные, вплоть до водяного охлаждения серверов, процессоров и т.д. В России не слышали еще о применении подобных новинок, но они существуют. Созданы серверные платформы, допускающие водяное охлаждение, что значительно снижает стоимость систем охлаждения и соответственно стоимость Data-центра.
В каждый сервер предусмотрен ввод холодной воды, она охлаждает оборудование - замечательная система! Продаются специальные стойки, в которых есть разводка для воды. Это новые решения, нигде в России пока не реализованные. Наша компания стала, наверно, одной из первых, кто собирается такой вариант апробировать - реализовать как пилотную зону в нашем новом центре. К сожалению, коммерческий Data-центр построить на этой основе невозможно, потому что потребуется обязать всех клиентов использовать такие серверы. Можно использовать другие услуги: аренду серверов, аренду приложений.
В общем случае сервер продувает сквозь себя воздух, с его помощью охлаждаются внутренние поверхности, а нагретый воздух надо забрать и охладить. Для этого существуют промышленные варианты систем кондиционирования. Стандартно система работает так: забирает весь теплый воздух из Data-центра сверху и закачивает его под пол. В результате под полом скапливается подушка холодного воздуха. Она выводится непосредственно перед стойками либо в стойки с серверами, чтобы они его могли прокачать через себя. В общем, стандартная тепловая машина. И как для любой тепловой машины, все параметры ее работы должны быть точно просчитаны: количество отводимого тепла должно строго соответствовать количеству формирующегося. Часто забывают учесть, что тепло поступает не только от серверов, но и от внешнего нагрева здания, от попадания наружного воздуха внутрь здания. Конечно, систему можно построить с запасом, тогда не надо ни о чем думать, но это - удорожание проекта, которое приводит к его неэффективности.
Физическая охрана зданий
Эту часть проекта вы уже рассчитываете исходя из стоимости того, что у вас находится внутри, сколько стоят ваши данные. Сколько потеряет компания, если кто-нибудь придет и топором что-нибудь ударит? Некоторые компании час простоя оценивают в десятки миллионов долларов.
Защита данных, информационная безопасность - это более сложный случай стандартной системы безопасности, потому что данные, кроме физического доступа, могут быть испорчены, если к ним получен доступ по сети передачи данных. Есть риски доступа к этим данным по каналам передачи данных, которые выходят за пределы Data-центра. Подобные риски должны быть учтены, а для их снижения необходимо использовать соответствующие алгоритмы защиты данных и специальную аппаратуру.
Физическая безопасность крайне необходима, потому что украденный диск из сервера может остановить развитие одной компании и дать большое преимущество другой.
Существует так называемая охрана периметра: шлюзовой вход, пропускная система и круглосуточное видеонаблюдение. Любая компания, которая этим занимается, я надеюсь, представляет, как это сделать за соответствующую цену, причем не оборудования, а данных. Обычно стоимость оборудования, которое эти данные содержит, настолько минимальна по сравнению со стоимостью данных, что здесь надо все правильно оценивать. Для обеспечения физической безопасности нанимаются охранные фирмы, которые обеспечивают охрану объекта со всеми элементами (периметром, пропускной системой, заборами, регистрацией/вносом/выносом оборудования и т.д.), такими же, как и в банке. Все то же самое.
Резервирование данных
Для резервирования данных существует много разных подходов. Все зависит от структуры данных. Резервирование может быть организовано внутри одной системы, а может быть принципиально в другом месте (то, что называется резервными офисами) на случай пожара, выхода из строя энергетики целиком в районе. Вплоть до того, что данные будут располагаться в разных городах. Резервирование внутри системы обычно поддерживается приложениями - база данных оснащена бэкап-функцией. Помимо этого существуют услуги, которые предоставляет поставщик, например, бывает резервирование на ленточных накопителях. Основное, что должно быть в резервировании и информационной безопасности, - это четко разработанный план того, как компания действует в случае аварии или в случае пропажи данных и т.д. В плане расписываются все риски и все случаи: каким образом осуществляется резервное сохранение приложений и данных, где находятся резервные серверы, куда и каким образом они доставляются при выходе из строя основных устройств. Создание подобного плана - это всегда исследование, всегда аудит. Многое зависит от того, какие системы стоят, как они работают и взаимодействуют, какие у них критические точки, где необходимо поставить зеркалирование или RAID-массивы для сохранения данных, или вообще резервные системы. Делается очень сложная схема, которая рассчитывается и пишется в стандартном формате. Эта схема во всем мире является составной частью плана организации по обеспечению непрерывности бизнеса.
В соответствии с такими планами должно быть организовано не только резервирование данных, но также должны быть созданы и резервные офисы. Причем именно офисы в привычном понимании этого смысла, в которых есть санузел, вода, оборудованные рабочие места.
Здесь всегда надо оценить, сколько стоят ваши данные и как пострадает ваша компания, если они исчезнут. Отсюда возникают все вопросы по безопасности и по качеству Data-центра.
Системы пожарной безопасности
Как в офисах, так и в Data-центрах регламентируется всеми нормами и стандартами наличие автоматической системы пожаротушения. Недешевая вещь, потому что должна реагировать на событие автоматически. Понятно, что в данном случае нельзя применять водяные системы - они уничтожают оборудование заказчика. Что касается применения порошковых вариантов, то проблематично вернуть к жизни сервер после срабатывания подобной системы, ведь сервер засасывает весь этот порошок внутрь себя. Но данные, скорее всего, будут сохранены - и это уже хорошо. Так что порошковые системы автоматического пожаротушения не исключаются. Или газовые, которые, кстати, реализуются на основе газа "энерген", что позволяет человеку в течение 20 минут находиться в помещении (по требованиям норм безопасности).
Честно скажу - я ни разу не наблюдал газовую систему в действии, но по теории конкретно для Data-центра внутри наиболее подходит именно она, потому что внутреннее герметичное помещение быстро заполняется газом и подавляет очаги возгорания. Другое дело, что необходимо также позаботиться о системах пожаротушения не только внутри герметичной зоны, но и во всех помещениях, которые обычно размещаются вне этой зоны (энергетика, дизельные электростанции, вводы, резервные вводы, трансформаторы и т.д.). В этих помещениях как раз подходит порошковая система, потому что в основном все возгорания происходят именно там.
Системы мониторинга могут быть самые разные; это всего лишь инструмент, но они - важная часть Data-центра: сидят специально обученные люди, которые знают, что такое сервер и что такое инженерные системы. Поскольку Data-центр - это механизм, который надо обслуживать и следить за ним, то и люди должны принимать достаточно самостоятельные решения в критических ситуациях или осуществлять профилактические работы, которые положены по инструкции.
Системы мониторинга, которых достаточно много на рынке, все равно надо подбирать под конкретные конфигурации, обеспечивающие контроль за параметрами серверов. Это могут быть простые программы, которые опрашивают сервер, а он отвечает или не отвечает. Могут быть очень сложные вещи, которые устанавливаются на серверы как приложения, передающие информацию не только о работоспособности сервера как такового, но и о работе приложений внутри.
Дальше начинается самое интересное: вы получаете миллион параметров, и что с ними теперь делать? Конечно, можно, как это практиковалось раньше, посадить человека и обучить его: вот здесь миллион зеленых лампочек, и если какая-то загорится красным, то надо бежать к соответствующему справочнику или шкафу и искать, что эта конкретная красная лампочка обозначает такую-то причину сбоя. Но сейчас уже существуют более серьезные и сложные системы мониторинга, которые из этого миллиона параметров строят дерево, учитывающее совпадение неких параметров, и в конце концов выдают оператору информацию о том, какая конкретно система работает нестабильно или где она работает нестабильно.
Следующей идет система знаний: система мониторинга по дереву случаев отказа собрала статистику и выдала ее оператору, но параллельно сравнила ее с базой знаний, где сказано, что такая ситуация уже была, и она обычно объясняется такой-то причиной, которую надо проверить в первую очередь. Далее еще сложнее - интеллектуальные системы, адаптивные системы и т.п.
Но, к сожалению, человека еще ни одна система заменить не может. А человек может заснуть или пойти за кофе, что приводит к печальным последствиям. Поэтому качество подобных служб - отдельный вопрос: людей надо обучать, контролировать их, должно быть управление этой службой операторов.
Конечно, все начинается с того, что вы приходите, изучаете историю компании и ее опыт, получаете отзывы от клиентов компании, проверяете, насколько стары эти отзывы, изучаете сертификаты. Очень полезно найти клиентов компании и узнать, как у них обстоят дела, что произошло, какие проблемы. Такие действия - очень дорогое удовольствие, поэтому необходим аккуратный выбор. Если вы наберете в Интернете "Строительство Data-центров", у вас будет миллион предложений, но это ничего не значит. Это как строительство дорогого дома, при котором нужно учитывать множество параметров. Например, мне говорят: "Мы построили Data-центр на 6-м этаже нашего офиса". Дальше можно не слушать, потому что даже ответ на простой вопрос: "Как вы вывезете оборудование в случае пожара?" со всей очевидностью покажет, что речь идет об обычной серверной комнате.
Второй момент - оборудование. С одной стороны, его выбирает застройщик, который дает вам гарантию на работы, а с другой - очень важно, кто впоследствии будет осуществлять сервисное обслуживание. Есть компании, которые просто построят, а потом дадут гарантийные бумажки от тех, кто поставил оборудование, а есть компании, которые будут вас сопровождать и далее. Второе более правильно, потому что в противном случае вам придется самостоятельно добиваться от поставщиков оборудования устранения проблем. И тут уже вам надо знать этих поставщиков, знать, насколько они надежны.
Опубликовано: Журнал "Технологии и средства связи" #4, 2007
Посещений: 10294
Автор
| |||
В рубрику "Защита информации и каналов связи" | К списку рубрик | К списку авторов | К списку публикаций
