В рубрику "Решения корпоративного класса" | К списку рубрик | К списку авторов | К списку публикаций
Яков Равшанов
технический директор "Оверсан-Меркурий"
В данной статье мы проанализируем подходы к расчету ТСО корпоративных и коммерческих дата-центров, не делая принципиального различия между ними. Такой подход к расчету совокупной стоимости владения диктует практика дата-центров в России и в мире в целом. В соответствии с этой практикой стандарты качества центра обработки данных еще на стадии проектирования площадки определяются международным стандартом TIA-942, разработанным Uptime Institut. Именно этот стандарт в конечном счете определяет и реальную величину ТСО большинства современных дата-центров. Предприниматели и компании, инвестирующие в строительство ЦОД, стремятся к максимальной эффективности и надежности своей площадки, поэтому предпочитают ориентироваться на международный апробированный стандарт. Направленный на проектирование дата-центров в соответствии с определенной категорией надежности, этот стандарт состоит из конкретных рекомендаций по организации каждой из систем жизнедеятельности дата-центра и подразумевает вполне определенные траты на обеспечение непрерывной работы этих систем. Чем выше категория надежности, тем больше прямых затрат при проектировании и строительстве понесет застройщик. Инвестиции в строительство дата-центра будут определять и стоимость всех систем в обслуживании.
По последним данным Gartner, в бюджете на IТ только 28% приходится на инвестиции в инфраструктуру и приложения. Остальные 72% бюджета приходятся на обслуживание инфраструктуры. Эти просчеты легко экстраполируются на бюджет дата-центра: ТСО площадки во многом складывается именно из бюджета на обслуживание, то есть поддержание в работоспособном состоянии всех без исключения систем дата-центра. Безусловно, в интересах компаний сокращать эту статью расходов, иначе бюджеты, в которых менее 30% расходуется на внедрение инноваций и обеспечение конкурентного преимущества, обеспечат компаниям стабильное отставание.
Единой и оптимальной системы расчета ТСО дата-центра не существует. В России каждый рассчитывает эту величину исходя из собственных возможностей и знаний, а также реального опыта, который при расчете ТСО буквально бесценен. Без практического понимания, как именно функционируют все системы жизнедеятельности площадки, без понимания комплекса проблем, которые с этим связаны, выйти на реальную величину ТСО вряд ли возможно. Автор расчета попросту не сможет учесть всего комплекса непредвиденных обстоятельств, включая возможные аварии, скрытые расходы и источники экономии затрат, которые всегда присутствуют в ТСО. При этом очевидно, что строгое следование стандарту при проектировании ЦОД обеспечивает прозрачный расчет ТСО площадки. Любые нестандартные и экономичные решения потребуют дополнительных расчетов с использованием прогнозных коэффициентов, точную стоимость таких проектов невозможно просчитать из-за их неочевидной на 100% эффективности и возможных рисков.
Разработчики систем дата-центров знают, что международный стандарт предлагает для площадок высокой категории надежности проверенные, но далеко не всегда экономичные решения. К примеру, стоимость дата-центра 4-й категории надежности равна стоимости покупки небольшого острова. Очевидно, что такой объем инвестиций неоптимален даже для крупного бизнеса, не говоря о секторе SMB, поэтому в мире насчитывается всего два дата-центра категории TIER 4, один из них принадлежит IBM. Отказоустойчивость инфраструктурных решений площадок категории TIER 3 и TIER 4 обеспечивается за счет многократного резервирования всех систем жизнедеятельности площадки. Резервирование каждого узла инфраструктуры влечет за собой дополнительные траты на оборудование и в дальнейшем на ТСО. Всем, кто инвестирует средства в строительство коммерческих и корпоративных центров обработки данных необходимо это четко понимать, иначе компания может построить площадку, которая окажется нерентабельной или слишком дорогостоящей в обслуживании. Для того чтобы такой ситуации не возникло, ТСО следует просчитывать на этапе проектирования дата-центра, заранее просчитывая инвестиции в его инфраструктуру. Эти работы в компаниях, как правило, осуществляет специалист, который сосредотачивает в себе весь опыт компании и рынка по строительству центров обработки данных. С ростом числа дата-центров, спроектированных и построенных в соответствии со стандартом TIA, таких специалистов в России становится больше. Однако рост числа профессионалов, способных грамотно просчитывать ТСО, нельзя назвать динамичным – слишком масштабным комплексом знаний нужно обладать для реализации такого рода задач. В нашей стране такие специалисты автоматически попадают в категорию CEO, занимая одну из ведущих позиций в компании, предлагающей рынку услуги ЦОД.
Для грамотного расчета ТСО необходимо обладать конкретными знаниями не только обо всех системах жизнедеятельности площадки, но и свежей, актуальной информацией о самых эффективных программно-аппаратных решениях для центров обработки данных. Именно эта совокупность знаний даст специалисту возможность грамотно проектировать площадку, учитывая стандарт надежности и используя ресурсы для экономии затрат, выбирать наиболее оптимальные по цене и возможностям приложения и аппаратные платформы. В случае если специалист одновременно проектирует площадку и рассчитывает ТСО, у него есть реальные шансы принять ряд экономически эффективных решений, которые снизят ТСО уже на этапе проекта. Примером такого решения может служить разработка системы слива сезонного топлива ДГУ (дизель-генераторной установки). Многие российские проекты ЦОД, к сожалению, не предусматривают хранение сезонного топлива ДГУ, в результате ценное топливо попросту сжигается, вместо того чтобы храниться до следующего сезона. Для стандартного дата-центра годовой убыток от такой нерациональной утилизации топлива составляет до полумиллиона рублей без учета расходов на работы по утилизации. Очевидно, что в этом случае владелец ЦОД несет прямые убытки, достигающие за 5 лет нескольких миллионов рублей. Эти убытки увеличивают ТСО. Подобных прямых финансовых потерь можно было бы избежать еще на этапе проектирования площадки за счет внесения в проект топливного склада. Таких примеров множество. Для того чтобы выявить источники экономии на этапах проектирования и расчета ТСО, остановимся подробно на каждой из ключевых систем дата-центра, попутно комментируя, из чего складывается ТСО этой системы, каких ошибок при проектировании и расчете стоит избегать.
Система является одной из ключевых в дата-центре любого уровня стандарта и самой дорогостоящей системой жизнедеятельности ЦОД. В соответствии международным стандартом TIER 3, площадка обеспечивается двумя независимыми энерговводами, что в отличие от ЦОД уровней TIER 1 и TIER 2 обеспечивает площадке полное резервирование в подаче электроэнергии. На практике такое резервирование встречается редко в российских дата-центрах в связи с дороговизной решения.
Один из примеров подобного решения – схема N+1. Дата-центр может принять решение о внедрении данной схемы в связи с ориентацией сервисов площадки на крупный бизнес, наиболее требовательный к отказоустойчивости центра обработки данных. В иных случаях этими требованиями стандарта пренебрегают, экономя прямые расходы и затем ТСО.
Очевидно, что схема N+1 подразумевает увеличение ТСО на определенный коэффициент (не факт, что увеличение будет двойным). В ТСО включается как обслуживание системы и всех ее элементов, так и объем потребляемой энергии. В западных ДЦ более 70% ТСО приходится именно на потребляемую энергию, которая очень дорого обходится владельцам площадок. В России традиционно энергия стоит дешевле, однако и здесь расходы на электроэнергию составляют значительную долю ТСО. Очевидно, что экономии в этой статье бюджета на ТСО можно достичь за счет энергосберегающих технологий, в частности системы free cooling, активно использующей природные климатические условия и воздух вне площадки. За счет естественного охлаждения оборудования объем расходов на электропотребление в ЦОД значительно снижается, при этом возможность организации free cooling имеет смысл предусмотреть на этапе проектирования площадки. На Западе активно используют и иные энергосберегающие технологии, энергию ветра и воды в качестве альтернативных источников, однако в России, и в частности в столице, такие технологии по объективным причинам не развиваются. Практически в 100% случаев используется традиционная электроэнергия и отсутствует система free cooling, что обеспечивает владельцам дата-центров стабильно высокий уровень затрат на питание площадки и исключает возможность существенного сокращения данной статьи бюджета.
В целом ТСО такой системы включает в себя организацию круглосуточного обслуживания, затраты на энергию, регламентные работы, внеплановые ремонты и замену оборудования, а также мониторинг системы.
Важной частью комплекса энергообеспечения дата-центра является система ИБП – источников бесперебойного питания. В ТСО ЦОДа уровня TIER 3 эта статья – одна из самых затратных, так как все дорогостоящие ИБП площадки необходимо резервировать. При этом скрытой затратой в статье на ИБП являются сами батареи, которые со временем "слабеют", хуже держат заряд. В соответствии с планом регламентных работ по ИБ такие батареи вовремя выявляются и заменяются новыми, иначе в критической ситуации система ИБП даст сбой. Еще один скрытый источник расходов на ИБП – низкое качество электропитания, подведенного к дата-центру. Стабильные сбои в работе системы питания способствуют более частой смене элементов ИБП. В итоге эти скрытые расходы в ТСО значительно возрастают. Данная проблема очень актуальна для площадок в российских регионах, которые стабильно испытывают дефицит качественного энергопитания.
Организацию высоких показателей в работе ИБП и ДГУ можно достичь только за счет коррекции ТСО системы в сторону увеличения. Экономия на размерах систем бесперебойного питания и ДГУ может обернуться высокими рисками при возникновении форс-мажорных обстоятельств.
Существенной статьей в ТСО резервных систем питания являются также затраты на топливо. Мы рекомендуем в выборе оборудования для ДГУ ориентироваться на надежные апробированные решения – ведь вместе с повышением качества обслуживания растет и надежность системы.
ТСО такой системы включает в себя организацию регламентного обслуживания, затраты на энергию, внеплановые ремонты и замену оборудования, а также мониторинг системы.
Эта система является одной из ключевых в любом дата-центре, она поддерживает оптимальные климатические условия на площадке. Для дата-центра уровня TIER 3 система становится дорогостоящей не только из-за прямых затрат на оборудование и резервирование, но также за счет обслуживания. Сбой системы кондиционирования может привести к резкому повышению температуры буквально в считанные минуты, поэтому он критичен для высоконадежных ДЦ. Однако и в этой статье ТСО есть источники для экономии затрат. Новые стандарты допускают колебания в температуре входящего потока воздуха на стойку до 26 °C. Ранее международный стандарт предписывал более жесткие условия для входящего воздушного потока: до 21 °C. Новые исследования показали, что увеличение температуры входящего воздушного потока до 26 °C некритично для работы оборудования. Эта коррекция стандарта дает владельцам площадок ресурс для экономии энергии – существенную статью затрат в ТСО в случае с системой климатического контроля.
Среди других пассивных, но не менее эффективных мер по сокращению затрат на ТСО системы – грамотная организация "горячих" и "холодных" коридоров, обеспечивающая оптимальное распределение воздуха между стойками и серверами, правильное размещение различных категорий серверов ("горячие" стоит размещать ближе к кондиционерам, "холодные" серверы можно размещать в конце коридора), отвод тепла от стоек через "горячий потолок", размещение на стойках заглушек, которые подают воздух непосредственно к серверу и т.д. Многие из этих пассивных мер стоит предусматривать на этапе проектирования, чтобы обеспечить системе в целом оптимальную величину ТСО.
В ТСО системы обязательно следует включить стабильные затраты на качественный мониторинг системы, регламентные работы и обслуживание.
К проектированию системы, описанной в стандартах, тем не менее часто подходят с точки зрения финансовых возможностей компании-владельца, часто эта статья затрат просчитывается по остаточному принципу, что в корне противоречит самой системе обеспечения отказоустойчивости площадки. Сама по себе система ничего не потребляет и казалось бы, за исключением форс-мажоров стабильно бездействует. На самом деле это в корне не так. Если систему не обслуживать и не инвестировать в нее средства, включаемые в ТСО, то в случае пожара дата-центр может попросту сгореть вместе со всем клиентским оборудованием (эти риски реальны, о чем свидетельствует пожар в крупном украинском дата-центре Hosting.ua, который был полностью уничтожен огнем). Очевидно, что такой форс-мажор поставит под сомнение не только непрерывность бизнес-процессов заказчика, но и сам факт выживания компании-клиента на рынке, поэтому, не рискуя репутацией площадки, стоит изначально – при проектировании – просчитывать затраты на ТСО системы.
Прежде всего эта статья затрат включает в себя затраты на качественный мониторинг системы и регламентные работы. Несмотря на то что система полностью включается только в экстренной ситуации, ее необходимо регулярно тестировать. Реальное тестирование системы "в бою" (на практике) никто не осуществляет, так как подобное тестирование обходится владельцу площадки крайне дорого. Существует также второй вариант тестирования, при котором подключаются все системы, однако блокируется выброс газа (международный стандарт исключает использование порошка для тушения пожара на площадке, так как только газ позволяет исключить повреждение оборудования клиента в форс-мажорной ситуации). Российская практика показывает, что владельцы площадок, как правило, пренебрегают и этими мерами. Расходы на газ – также важная составляющая ТСО системы пожаротушения. Большинство площадок размещает у себя баллоны с достаточно дешевым ядовитым газом, который исключает выживание человека в условиях тушения пожара на площадке. Клиентское оборудование такой газ не повредит, однако пострадают сотрудники, которые окажутся на момент пожара в герметичных зонах ЦОД.
В современном дата-центре уровня TIER 3 эта система отслеживает параметры работы оборудования всех систем ЦОД в реальном времени: температуру и влажность воздуха, режимы работы климатических систем, уровень потребления энергии и многие другие важные параметры. Как и другие системы отказоустойчивой площадки, система мониторинга должна быть зарезервирована в соответствии со стандартом, следовательно, ее ТСО в значительной мере будет состоять из обслуживания и регламентных работ по обеим системам – основной и резервной.
Проектирование этой системы зачастую выходит за рамки стандарта с прямой ориентацией на реальные финансовые возможности инвестора. Поэтому на практике эта статья в ТСО российских дата-центров является источником экономии средств. Даже те площадки, которые заявлены их владельцами как TIER 3, далеко не всегда располагают современными системами физической безопасности: системами персональных бесконтактных карт для прохода на территорию, системами видеонаблюдения (когда камеры полностью опоясывают территорию дата-центра), кодовыми замками, шлюзовой системой прохода, всевозможными датчиками и инструментами мониторинга). Однако рассматривать систему физической безопасности как источник для экономии прямых затрат и далее ТСО не следует. Требовательные заказчики, для которых безопасность – необходимая составляющая сервисов ЦОД, обязательно оценят современную и эффективную систему безопасности площадки.
В ТСО этой системы входит обеспечение непрерывной работы ядра сети, а также создание правильной СКС – структурированной кабельной системы. Еще на этапе проекта и далее, с развитием СКС, каждый новый кабель и соединение должны быть зафиксированы в простом и понятном описании системы, иначе любая работа с клиентским оборудованием на площадке будет сильно усложнена, придется тратить огромные временные ресурсы на изменение и перекоммутацию существующих сетевых схем.
Поддержание документации СКС в рабочем состоянии относится к стабильно ресурсоемким задачам в ТСО. Эта работа персонала, как правило, включается в число регламентных работ по сети. Косвенной затратой в ТСО сетевой инфраструктуры в этом случае станет также организация инженерной службы, которая будет в рамках регламента обслуживать сеть.
Статья расходов включает в себя обслуживание всех систем дата-центра. Для непрерывного функционирования всех систем ЦОДа необходимо организовать службы круглосуточного мониторинга и обслуживания, охраны, управления сетью (NOC), инженеров эксплуатации дата-центра, call-центр. Затраты на персонал составляют значительную статью расходов в ТСО любой из систем центра обработки данных. Очевидно, что и затраты на персонал, и риски будут значительно ниже на автоматизированных площадках. Автоматизация систем на этапе проектирования позволяет существенно сократить ТСО и исключить вызванные человеческим фактором сбои в работе систем. Их обслуживание осуществляется при помощи различных систем мониторинга, видеонаблюдения, удаленного управления, комплекса регламентных и административных процедур.
В целом при проектировании и расчете ТСО стоит внимательно читать оригинальные тексты стандартов, которые содержат не только требования к площадкам определенной категории надежности, но и рекомендации по сокращению ТСО. Максимальная автоматизация систем, оптимальное проектирование, внедрение экономичных технологий, не требующих капитальных инвестиций в перепроектирование, грамотный расчет себестоимости своих сервисов с учетом всех скрытых расходов (коммунальных платежей, стоимости аренды помещений и т.п.) позволят рассчитать ТСО в реальных величинах и избежать ошибок, которые грозят ростом ТСО в будущем.
Важным преимуществом площадки в связи с задачей снижения ТСО является и открытость дата-центра новым технологиям. Сегодня ЦОД выходят на новый виток развития: капитальные инвестиции направляются в виртуализацию с целью максимальной утилизации программно-аппаратных ресурсов площадки. Благодаря эффекту консолидации ресурсов у компаний пропадает необходимость арендовать и строить огромные площадки под размещение больших серверных парков. Подобные проекты обеспечивают значительное сокращение затрат не только на ТСО площадки, но и на ТСО клиентской IT-инфраструктуры.
Опубликовано: Журнал "Технологии и средства связи" #4, 2010
Посещений: 18550
Автор
| |||
В рубрику "Решения корпоративного класса" | К списку рубрик | К списку авторов | К списку публикаций
