Электроснабжение модульного ЦОД должно выдерживать отключение одной линии и обслуживание оборудования. Разбираем требуемую мощность линий A/B, размещение ИБП и батарей, выбор стоечных PDU и точки учета.
Два сервера могут быть подключены к двум линиям одинаково, но после отключения одной линии вести себя по-разному: один продолжит работать с полной нагрузкой, другой снизит мощность или остановится. От этого зависят мощность каждой линии, схема ИБП и объем вычислительных ресурсов, который останется доступным после отказа.
Проект электроснабжения обычно начинается с однолинейной схемы. Для вычислительного модуля ее нужно довести до входов питания серверов и связать с требуемым поведением при потере питания: какие задачи продолжаются, какие допускают ограничение мощности, а какие можно остановить после сохранения состояния. Если определить это до запроса цен, однолинейную схему, A/B и разные варианты ИБП можно сравнивать по одинаковым условиям.
У NVIDIA DGX H100/H200 установлено шесть блоков питания с резервированием 4+2; для нормальной работы должны оставаться запитанными не менее четырех. Если по три блока подключить к линиям A и B, после потери одной линии останутся только три, поэтому система может снизить производительность или остановиться. В руководстве по проектированию ЦОД для DGX SuperPOD традиционная схема A/B рассматривается как достаточная для управляющих стоек, но не для стоек DGX с высокими требованиями к доступности и задачами без восстановления из контрольной точки. Для таких стоек рекомендованы как минимум три независимых ввода: по два блока питания сервера на ввод, чтобы при отказе или обслуживании одного ввода четыре блока оставались под напряжением.
Группировка блоков питания определяет количество вводов и мощность каждого из них. Поэтому вычислительное, дисковое и сетевое оборудование стоит с самого начала включить в единую ведомость нагрузок. Для каждой позиции указывают входное напряжение, тип разъема, число и схему резервирования блоков питания, распределение по вводам и поведение при потере одного ввода: полная работа, ограничение мощности или остановка.
Оборудованию с одним входом, которое должно получать питание от двух линий, нужен стоечный автоматический переключатель. Его время переключения должно быть меньше допустимого перерыва питания оборудования. Устройства с двумя входами подключают к стоечным PDU линий A и B по схеме производителя. Два кабеля, включенные в один PDU, создают видимость резервирования, но остаются одной линией.
Состав непрерывно питаемых нагрузок задается бизнес-сценарием: можно ли восстановить обучение из контрольной точки, может ли инференс перейти на другие узлы, сколько времени должны работать хранилище и сеть управления. Бизнес- и ИТ-команды определяют эти условия, а проектировщик по ним очерчивает границы гарантированного питания.
Одна линия требует отключения на время обслуживания, а отказ любого ее участка прерывает питание. Такая схема подходит для нагрузок, которые можно остановить или передать другим узлам. В схеме A/B обе цепи прослеживают от стойки до вышестоящего источника, шин и защитных аппаратов. Если они сходятся на одном ИБП или общей секции шин, отказ общей точки отключит обе линии; ее нужно явно показать на однолинейной схеме.
Мощность рассчитывают для состояния после потери одной линии. Допустим, ИТ-нагрузке требуется 100 kW, в штатном режиме она делится между двумя вводами, а после отказа один ввод должен принять всю нагрузку. Обычно A и B несут примерно по 50 kW; при отключении A линия B принимает 100 kW. По 70 kW на линию достаточно в штатном режиме, но недостаточно при работе только от B.
Расчет продолжают по всей оставшейся цепи: выход ИБП, распределительная линия, шинопровод или кабель, стоечный PDU, розетка и вход блока питания сервера. Возможности цепи определяет ее самое слабое звено. В запас включают снижение номинала из-за условий среды, будущее расширение и колебания нагрузки. В приведенном примере суммарная табличная мощность двух линий равна 140 kW, но при требовании полной работы после отказа такая схема обслуживает не более 70 kW ИТ-нагрузки.
Если после потери ввода допускается снижение нагрузки, в ведомости задают целевую мощность, допустимое время реакции и способ управления. Между отказом и завершением разгрузки проходит время; до этого оставшаяся линия и ее защита несут полную нагрузку.
Если оборудование, как в примере с DGX, допускает три ввода по два блока питания, требуемая мощность каждого ввода уменьшается. Для тех же 100 kW три линии в штатном режиме несут примерно по 33 kW, а после потери одной две оставшиеся — по 50 kW. Достаточно трех линий по 50 kW, всего 150 kW. При двух взаимно резервирующих линиях каждая должна быть рассчитана на 100 kW, всего 200 kW. Трехлинейная схема снижает мощность одного тракта, но добавляет третий тракт и кабельные подключения.
ИБП в одной линии перекрывает отказ вышестоящего питания на время работы батареи, но после ИБП все равно остается единственный распределительный тракт. Если линия A идет через ИБП, а B питается напрямую от сети, при отключении сети вся нагрузка ложится на A. Для этого момента проверяют мощность линии A, способность серверов работать от одного ввода и время автономии батареи A.
Отдельный ИБП в каждой линии дает резервное питание обоим трактам. При обслуживании нужно проверить фактическое подключение байпаса, разъединителей и батарей: откуда питается байпас, какие участки теряют защиту и какую нагрузку выдерживает оставшийся тракт. На сервисном байпасе нагрузка продолжает получать питание непосредственно от сети, но батарея обойденного ИБП ее больше не защищает.
Обозначение N+1 в предложении часто означает один дополнительный силовой модуль внутри модульного ИБП: при отказе модуля выход сохраняется. Резервирование выходной шины, байпаса и нижестоящих линий проверяется отдельно. За одинаковой записью N+1 могут скрываться разные резервируемые элементы и разная доступная мощность во время отказа или обслуживания.
ИБП и батареи можно разместить в вычислительном модуле, вынести в отдельный силовой E-House или подключить модуль к существующей системе ИБП площадки, оставив внутри только распределение. Первый вариант занимает часть места под стойки и добавляет тепловыделение. Отдельный силовой модуль освобождает пространство для ИТ-стоек; линии A и B приходят из него отдельными кабелями или шинопроводами, а межмодульные интерфейсы и трассы согласуются на чертежах. Размещение батарей также влияет на вентиляцию, сервисные проходы и пожарные отсеки.
Пока серверы работают от ИБП, они продолжают выделять тепло. Поэтому в перечень резервируемых нагрузок жидкостного вычислительного модуля вместе с ИТ включают циркуляционные насосы CDU, контроллеры, критичное сетевое оборудование и необходимое воздушное охлаждение. Нуждается ли наружный источник холода в резервном питании, зависит от допустимого роста температуры, запаса холода и времени управляемой остановки. Если к ИБП подключен только контроллер, при аварии он продолжит выдавать сигнал, хотя циркуляционный насос уже остановился.
Время автономии имеет смысл только вместе с условиями нагрузки. Для записи «10 минут» нужно указать мощность в kW, состав оборудования, температуру батареи, новую или конечную емкость срока службы и конечное напряжение разряда. Поставщик выдает разрядные данные для этих условий. Если батарея перекрывает запуск генератора, в расчет входят запуск, переключение и прием нагрузки.
Количество розеток — лишь один параметр стоечного PDU. Одно- или трехфазный ввод, номинальный ток, защита групп розеток, номиналы розеток и кабелей должны соответствовать подключению серверов. В запросе стоечные PDU указывают отдельно от вышестоящих распределительных щитов.
Рассмотрим упрощенный пример. Входная мощность ИТ-оборудования в одной стойке — 60 kW. При сбалансированной трехфазной нагрузке 400 V и коэффициенте мощности 0,95 линейный ток I = P ÷ (√3 × U × коэффициент мощности) составляет около 91 A. В штатном режиме A и B делят нагрузку, примерно по 46 A. Если после потери одной линии нужно сохранить полные 60 kW, через оставшуюся пройдет около 91 A. Два PDU с вводом по 63 A работают в штатном режиме, но после отключения одного оставшийся выйдет за номинал.
При выборе также учитывают наиболее нагруженную фазу, ток каждой группы розеток, способ прокладки кабелей и снижение номинала оборудования. Запас по общей мощности не исключает перегрузку отдельной фазы или группы. Допустимую долю номинала при длительной нагрузке определяют по применимым требованиям проекта и условиям аппарата, а не по одному универсальному коэффициенту.
Нагрузка GPU меняется вместе с вычислительной задачей и может резко возрастать на короткое время. Данные для выбора должны включать амплитуду и длительность изменений, а также пусковой процесс, чтобы проверить динамическую реакцию ИБП и селективность защиты. Месячное потребление или минутная средняя мощность такие режимы не показывает.
Счетчик на вводе модуля показывает общее потребление. Измерения на входе и выходе ИБП позволяют видеть потери преобразования и фактическую загрузку ИБП. Учет в стоечных PDU помогает распределять мощность, находить перекос фаз и оценивать возможность расширения. Охлаждение выделяют в отдельные линии, чтобы разделить потребление ИТ и вспомогательного оборудования.
Для ИТ-оборудования с двумя вводами показания A и B суммируют на одинаковой границе измерения и за один период. Вышестоящий счетчик уже включает потребление нижестоящих, поэтому складывать оба уровня нельзя. Если данные используются для расчетов за электроэнергию, отдельно задают класс точности, поверку и порядок расчетов.
Перечень точек мониторинга обычно включает ток каждой фазы, мощность, энергию, коэффициент мощности, положение аппаратов, режим ИБП — сеть, батарея или байпас — и состояние батареи. При потере линии оператор должен на одном экране увидеть событие и рост нагрузки другой линии, чтобы решить, требуется ли разгрузка. Период опроса, метки времени и восстановление данных после сбоя связи выбирают под задачи сигнализации и анализа аварий.
Программа приемки охватывает нормальную нагрузку, потерю A, потерю B, работу от батарей ИБП, сервисный байпас и восстановление питания. Для каждого режима задают начальную нагрузку, место отключения, ожидаемую реакцию, допустимый перерыв или уровень разгрузки, а также регистрируемые напряжение, ток, сигналы и состояние приложений.
Фраза «отключить линию A» недостаточна без места отключения. При потере входа ИБП он переходит на батарею, и сервер продолжает получать питание по этой линии — проверяется батарея. При отключении выхода ИБП или стоечной линии сервер действительно теряет один ввод — тогда проверяется способность второго тракта принять всю нагрузку.
Распределительные тракты, мощность, управление и учет можно проверить на заводе с имитаторами нагрузки. Снижение частоты серверов, восстановление сети и непрерывность приложений проверяют на площадке с реальным ИТ-оборудованием. Согласование защит подтверждают расчетом и соответствующими испытаниями.
Эти требования определяют расположение шкафов, трассы шин и кабелей, место батарей, отвод тепла и сервисные проходы. В рамках проекта ETENZ может изготовить корпус E-House и интегрировать электрические системы, тепловое управление и мониторинг, выполнить заводскую подготовку интерфейсов, сборку или поставку готового модуля, включая проекты OEM/ODM.
В запросе на предложение доведите однолинейную схему до входов питания серверов, укажите группировку блоков и поведение после потери ввода, включите охлаждение в перечень резервируемых нагрузок, распишите приемку по режимам и приложите параметры доступного питания площадки. Тогда поставщики смогут показать тракт, мощность и границы резервирования на одной схеме, а предложения будут сопоставимы. Данные о питании DGX H100/H200 приведены в разделах Power Specifications руководства NVIDIA DGX H100/H200 User Guide и Electrical Specifications документа DGX SuperPOD: Data Center Design Featuring NVIDIA DGX H100 Systems.
Спасибо, что делитесь материалами ETENZ
Три предложения на один и тот же модуль нередко описывают разный объём поставки. Чем раньше закреплены интерфейсы жидкостного охлаждения — границы поставки, расчётные режимы, расход и давление, жидкость и действия при потере охлаждения, — тем проще сравнивать цены и планировать подключение на площадке.
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
Блочно-модульному корпусу на заказ мало одной категории коррозионной агрессивности. ETENZ превращает условия воздействия, основания, состав покрытия, контроль и требования к ремонту в пакет, который можно оценить, изготовить и проверить.
Три предложения на один и тот же модуль нередко описывают разный объём поставки. Чем раньше закреплены интерфейсы жидкостного охлаждения — границы поставки, расчётные режимы, расход и давление, жидкость и действия при потере охлаждения, — тем проще сравнивать цены и планировать подключение на площадке.
Новости ETENZ
Три предложения на один и тот же модуль нередко описывают разный объём поставки. Чем раньше закреплены интерфейсы жидкостного охлаждения — границы поставки, расчётные режимы, расход и давление, жидкость и действия при потере охлаждения, — тем проще сравнивать цены и планировать подключение на площадке.
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
Блочно-модульному корпусу на заказ мало одной категории коррозионной агрессивности. ETENZ превращает условия воздействия, основания, состав покрытия, контроль и требования к ремонту в пакет, который можно оценить, изготовить и проверить.
