В мире цифровой экономики дата-центр (ЦОД) – это не просто помещение с серверами, а критически важная система, обеспечивающая бесперебойную деятельность бизнеса, государственных услуг, социальных сетей и финансовых систем. Но ЦОД имеет уязвимое место – кардинальная зависимость от непрерывного и качественного электропитания. Отключение электроснабжения приводит к негативным последствиям: потере важных данных, остановке транзакций, прекращению работы множества онлайн-сервисов. Предотвратить эту проблему позволяет организация резервного питания дата-центров.
Требования к электропитанию дата-центров
В Российской Федерации пока не разработан единый стандарт, регламентирующий мероприятия по обеспечению энергетической надежности ЦОДов, поэтому в этой сфере используются наработки других стран. В зарубежных нормативах выделяют 4 уровня надежности. Первый (самый низкий) уровень допускает до 28,8 часа простоев в год. Самый высокий – четвертый уровень – подразумевает полное резервирование всех систем электроснабжения дата-центра. Он допускает не более 26 минут таких простоев.
Основные положения в области электроснабжения ЦОД:
- наличие одного или нескольких помещений для ввода кабелей;
- два и более MDA для целей резервирования;
- пункт распределения горизонтальной подсистемы общей кабельной системы;
- помещения, в которых располагается компьютерное оборудование.
В каждом дата-центре должна быть обеспечена возможность работы основного оборудования при отказе основного источника электропитания или выходе его параметров за нормативные пределы.
Перечень угроз для внешнего питания дата-центра
Список причин, способных вывести ЦОД из строя при отсутствии многоуровневой системы резервирования, достаточно обширный:
- Аварии на подстанциях. Они могут быть вызваны выходом из строя трансформаторов, короткими замыканиями в распределительных сетях.
- Природные катаклизмы: грозы, ураганы, наводнения, обледенение проводов.
- Плановые работы энергокомпаний: профилактические отключения, ремонт, модернизация, замена оборудования.
- Человеческий фактор. Возможны ошибки персонала из-за низкой квалификации или усталости, случайное повреждение кабелей при проведении ремонтных и строительных работ.
- Перегрузка сети. Пиковое потребление электроэнергии возможно в жаркое время года или зимние морозы.
Как организовать резервное электропитание ЦОД
Существует несколько видов оборудования, используемого для обеспечения энергетической защиты дата-центров.
Источники бесперебойного питания (ИБП)
Эти устройства накапливают энергию в аккумуляторных батареях и подают электропитание на нагрузку при исчезновении или ухудшении качества внешнего электроснабжения.
Как работает ИБП в дата-центре: в штатном режиме электричество проходит через ИБП, одновременно подзаряжая батареи. При пропадании внешнего питания инвертор за миллисекунды переключает нагрузку на АКБ, чем обеспечивает мгновенный переход на резервный источник.
Время автономной работы типичного ЦОД-ориентированного ИБП составляет от 5 до 30 минут. Этого обычно бывает достаточно, чтобы дождаться появления централизованного электричества или запуска дизель-генераторов. В зависимости от требований конкретного дата-центра применяют различные схемы резервирования:
- N+1 – один дополнительный модуль на группу;
- 2N – полное дублирование всей системы;
- 2N+1 – дублирование с дополнительным резервом.
Масштаб ИБП-систем в крупных дата-центрах достигает десятков мегаватт установленной мощности.
Помимо статических, существуют динамические ИБП, в которых нет АКБ, но есть 3 элемента:
- маховик – выполняет функцию накопителя энергии, вращается на точно выровненной оси;
- синхронная электрическая машина;
- дизель-двигатель.
В штатном режиме электрическая машина работает в качестве электромотора, который поддерживает вращение маховика и накапливает электроэнергию на случай перебоев в электропитании. При исчезновении централизованного электроснабжения маховик передает накопленную энергию электрической машине. Система управления транслирует сигнал на запуск дизельного двигателя, который начинает работать уже через 50 мс. Через несколько секунд дизель-мотор выходит на штатный режим. Рабочий период ДИБП составляет порядка 25 лет, а статических ИБП – 10-15 лет.
Дизель-генератор
Автономный источник электропитания преобразует химическую энергию топлива в электрическую. ДГУ состоит из дизельного двигателя и электрогенератора, объединенных на общей раме.
Время запуска современных ДГУ составляет 10-15 секунд от момента подачи команды до выхода на номинальную мощность. Для устранения этого временного разрыва служат ИБП, которые обеспечивают питание серверов до полного запуска генераторов.
В ЦОД хранится запас дизельного топлива, который обычно обеспечивает до трех суток непрерывной работы. На особо важных объектах имеется дизтопливо в количестве, позволяющем оборудованию эффективно работать более трех суток. Дополнительно заключаются договоры с поставщиками на экстренную доставку топлива.
Для крупных дата-центров приобретают несколько ДГУ, работающих параллельно. Принцип N+1 обеспечивает работоспособность системы даже при выходе из строя одного генератора.
Дизель-генераторы требуют регулярной диагностики, еженедельных тестовых запусков, замены масла и фильтров. Отсутствие обслуживания в соответствии с нормативными требованиями приводит к отказу ДГУ в критический момент.
Автоматика ввода резерва (АВР)
Что такое устройства АВР и для чего они нужны? Автоматика ввода резерва обеспечивают автоматическое переключение нагрузки между источниками питания без участия оператора.
Этапы работы АВР:
- Устройство непрерывно контролирует параметры основного ввода.
- При выходе показателей за нормативные пределы АВР отключает основной ввод.
- АВР подает команду на переключение к резервному источнику – второму вводу от сети или ДГУ.
В дата-центрах применяются АВР разных типов:
- односторонние – переключают питание только в одном направлении;
- двухсторонние – осуществляют переключение между двумя равноправными вводами;
- с секционированием – служат для сложных схем распределения.
Системы мониторинга и управления
Программно-аппаратные комплексы собирают со всех узлов энергосистемы информацию о следующих параметрах: напряжение, ток, частота, температура, уровень топлива в баках, состояние АКБ, статус ДГУ. Данные поступают в диспетчерский центр или на пульт дежурного инженера. Если значение какой-либо характеристики выходит за пределы нормы, система немедленно формирует звуковой сигнал, отправляет SMS, электронное письмо или push-уведомление.
Системы мониторинга и управления позволяют оптимизировать работу энергетического оборудования. С их помощью автоматически запускают тесты генераторов в часы минимальной нагрузки, следят за равномерностью распределения нагрузки между вводами, выявляют потенциально перегруженные цепи. Их основная задача – предотвращение сбоя в работе до его возникновения.
Типовая схема работы резервного питания
Рассмотрим пошагово, как работает дата-центр с резервным питанием в разных режимах.
Штатный режим
Дата-центр получает электроэнергию от городской сети по двум независимым вводам от разных подстанций. Электричество проходит через трансформаторы, распределительные щиты, ИБП и поступает к серверам. Генераторы находятся в режиме готовности, АКБ полностью заряжены.
Авария в сети
АВР фиксирует пропадание напряжения в течение миллисекунд. Оборудование отключается от основного источника питания. Если доступен второй ввод от сети – происходит мгновенное переключение на него. Если оба ввода обесточены – начинается работа от ИБП.
Одновременно с переходом на АКБ поступает команда на запуск дизель-генераторов, которые выходят на номинальный режим за 10-15 секунд. В это время ИБП обеспечивают бесперебойное питание всей критической нагрузки. После стабилизации параметров электропитания, поступающего от ДГУ, АВР переключает нагрузку с ИБП на дизель-генераторы.
При длительной аварии дата-центр может работать от ДГУ неограниченно долго при условии своевременной дозаправки топлива. Персонал контролирует состояние генераторов, при необходимости осуществляется переключение между машинами для проведения обслуживания.
После восстановления централизованного электроснабжения система фиксирует стабильность параметров сети в течение заданного времени (обычно 5-15 минут). Затем АВР переводит нагрузку обратно на внешний ввод. Дизель-генераторы переходят в режим охлаждения и останавливаются. Аккумуляторные батареи начинают заряжаться.
Как рассчитать мощность резервной системы ЦОДа
На этапе проектирования дата-центра проводится детальный энергоаудит, при проведении которого определяют:
- Суммарную мощность, которую потребляет IT-оборудование.
- Мощность, потребляемую системами охлаждения. Обычно это 30-50% от IT-нагрузки.
- Нагрузку освещения, систем безопасности, инженерных систем.
- Пиковые значения мощности при одновременном включении оборудования.
При проектировании резервного питания применяется принцип избыточности N+1. Он заключается в том, что к минимально необходимому количеству единиц оборудования (N) добавляется как минимум одна резервная (+1). Такой подход гарантирует работоспособность системы при выходе из строя одного компонента. На критически важных объектах предусматривают полное дублирование всех компонентов, когда каждый дополнительный элемент может самостоятельно нести полную нагрузку.
При расчете мощности дизель-генератора придерживаются следующего правила: нагрузка на ДГУ не должна превышать 80% от номинала. Этот запас позволяет:
- скомпенсировать пусковые токи при включении оборудования;
- проводить работы при повышенных температурах окружающей среды;
- обеспечить запас на случай внезапного роста нагрузки;
- продлить срок службы энергооборудования.
Заключение
Сложная многоуровневая система резервного питания состоит из ИБП, АКБ, АВР, ДГУ. Ее стоимость составляет примерно 30-40% бюджета создания ЦОД. Экономия на резервировании электропитания дата-центров приводит к многомиллионным убыткам от простоев, потере доверия клиентов, снижению конкурентоспособности.