Надёжность модульного ЦОД закладывается до отгрузки: можно ли отключить общую шину для обслуживания, хватает ли места у межмодульных соединений и какие проверки выполняют на заводе и площадке. Рассматриваем эти вопросы в контексте Tier, TIA-942 и ISO/IEC 22237.
При модульном строительстве ЦОД для ИИ электротехнические модули E-House, вычислительные модули и оборудование охлаждения изготавливают на заводах, а затем соединяют на площадке. Заводской монтаж и прокладка кабелей сокращают объём работ на объекте. Одновременно на более ранний этап переходят решения, от которых зависит надёжность: как серверы продолжат работу при отключении одной линии питания для обслуживания и куда будет отводиться тепло от стоек после изоляции ветви охлаждения. К моменту отгрузки модулей большая часть этих решений уже воплощена в конструкции.
В распределительных E-House, которые ETENZ выпускает для зарубежных модульных вычислительных центров, кабельные вводы, заземление, лотки, герметизированные проходки и интерфейсы климатических систем подготавливают на заводе. Модули производят и отправляют партиями; после прибытия их можно сразу устанавливать и подключать. Если передать изготовителю сценарии обслуживания ещё при проектировании, точки изоляции и доступ к ним будут предусмотрены в заводской конструкции. Это уменьшает объём переделок кабельных и трубопроводных соединений на площадке.
Два источника бесперебойного питания (ИБП) могут резервировать друг друга: мощности резерва и сервисного байпаса достаточно, и после вывода одного ИБП второй продолжает питать нагрузку. Но если оба выхода подключены к общей секции шин, отключение этой секции для обслуживания обесточит всё, что находится ниже по схеме. В охлаждении встречается такая же ситуация: рабочий и резервный насосы есть, а фильтр один. Для его разборки и очистки приходится останавливать весь контур. Обычно питание разделяют на независимые тракты A и B и подключают каждый вход оборудования с двумя вводами к своему тракту. Фильтры устанавливают двумя параллельными ветвями с отдельной запорной арматурой либо используют сдвоенный переключаемый фильтр, допускающий обслуживание без остановки потока.
В классификации Uptime Institute это требование входит в определение уровня. Tier III предусматривает возможность планового вывода для обслуживания каждого компонента, обеспечивающего мощность, и каждого тракта распределения электропитания и охлаждения без нарушения работы ИТ-оборудования. Tier IV дополнительно требует отказоустойчивости: отказ отдельного устройства или потеря одного тракта также не должны прерывать работу. Плановое отключение и внезапный отказ — разные сценарии; последовательность переключений, действия защит и условия восстановления проверяют отдельно.
Для заводского модуля проверка должна охватывать всю цепь до нагрузки. Питание проходит от вышестоящего источника через распределение внутри E-House и стоечный PDU до входов блоков питания сервера. Первичный контур охлаждения идёт от наружного оборудования отвода тепла через насосы, фильтры и клапаны к CDU; вторичный — от CDU к холодным пластинам. Поочерёдно рассматривают вывод каждого звена: выдержит ли оставшийся тракт нагрузку и можно ли безопасно выполнить необходимые переключения и операции с арматурой, пока другие участки остаются под напряжением или давлением. Требования серверов к оставшимся вводам питания разобраны в предыдущей статье «Электроснабжение модульного ЦОД: линии A/B, ИБП и PDU».
Сертификация Tier у Uptime состоит из трёх последовательных этапов. Tier Certification of Design Documents проверяет проектную документацию. Tier Certification of Constructed Facility включает демонстрацию работы реальных систем на площадке и подтверждает, что построенный объект соответствует проектному уровню. Tier Certification of Operational Sustainability оценивает эксплуатационное управление. Каждый следующий этап требует прохождения предыдущего. Запись «Tier III» в материалах поставщика может обозначать проектную цель или сертификат конкретного объекта на определённом этапе. При закупке следует уточнить статус и объект, на который он распространяется.
Название TIA-942 относится к телекоммуникационной инфраструктуре ЦОД, однако стандарт охватывает также электропитание, охлаждение, строительную часть, противопожарную защиту, безопасность и физическую охрану. Действующая редакция ANSI/TIA-942-C вышла в мае 2024 года. Уровни обозначаются Rated-1–Rated-4; Rated-3 означает возможность обслуживания без остановки ИКТ-сервисов, включая плановую замену и обслуживание компонентов мощности и элементов распределительных трактов. У Rated-3 и Tier III близкие цели, но разные требования и процедуры сертификации. В 2014 году организации договорились заменить термин Tier в TIA-942 на Rated. Указание системы, редакции и уровня в техническом соглашении даёт однозначную основу для приёмки.
ISO/IEC 22237-1:2021 классифицирует инфраструктуру ЦОД по доступности, защите и энергоэффективности. Часть 3 этой серии посвящена электроснабжению, часть 4 — управлению условиями среды, включая температуру, движение жидкостей и относительную влажность. Для проекта по этой системе требования к классификации электроснабжения и климатических систем фиксируют в документации соответствующих систем. На её основе определяют вводы и выводы, подключения охлаждения и точки мониторинга.
Для заводских модулей предусмотрена отдельная оценка проектного решения. В программе TIER-Ready изготовитель совместно с Uptime рассматривает проект конкретной модульной конфигурации. После доставки и подключения к местным источникам электропитания и охлаждения объект всё равно проходит сертификацию Tier; статус Ready сокращает затраты времени и средств на этот процесс. TIA-942 Ready предназначен для заводских модульных ЦОД, действует один год и требует ежегодной повторной оценки. Статус Ready относится к проекту модуля, а уровень объекта подтверждается сертификацией после подключения на площадке. Выбор системы и последовательность этапов стоит включить в график поставки с начала проектирования: сертификация проектной документации проверяет именно чертежи, по которым затем будут изготавливать модули.
Когда электротехническое и ИТ-оборудование размещают в отдельных модулях, соединения пересекают границы транспортных единиц. На чертеже межмодульных интерфейсов указывают, с какой стороны E-House выходят тракты A и B, входят ли кабели в вычислительный модуль снизу или через боковую стену, как соединяется магистраль заземления и на какой стороне стоят запорные клапаны ветвей охлаждения. Эти координаты определяют заводские проёмы в основании, точки крепления лотков, герметизацию проходок и места фиксации оборудования.
На компоновочном чертеже оборудование легко занимает пространство, которое потребуется для ремонта. Выкатной выключатель использует проход перед шкафом, разборка шинного соединения требует свободного места сверху, рукоятке клапана нужен запас для поворота. Для замены целого агрегата предусматривают маршрут от двери модуля до наружной рабочей зоны. Ширина E-House ETENZ для питания ИИ-инфраструктуры составляет 3 495 mm: полностью открытые двери всего ряда шкафов не занимают проход для осмотра. Светильники и извещатели смещены относительно нижней стороны шинопровода, поэтому для обслуживания шинных соединений не требуется сначала демонтировать освещение.
Даже при двух силовых трактах управление и вспомогательное питание иногда остаются общими: один контроллер управляет обоими насосами, а один источник оперативного питания обслуживает приводы выключателей двух трактов. Если показать их на одной функциональной схеме с силовыми цепями, станет понятно, продолжат ли насосы работу после отключения контроллера, как местное оборудование отреагирует на потерю связи и дойдёт ли сигнал тревоги до диспетчерской системы объекта. Результаты отражают в схемах клеммных соединений, перечне сигналов и описании блокировок. Заводская проводка и пусконаладка на площадке опираются на один комплект документов.
Заводские приёмочные испытания (FAT) проверяют то, что уже изготовлено и смонтировано к моменту отгрузки. До отправки контролируют размеры модуля, положение оборудования, кабельные вводы и непрерывность цепей заземления; вспомогательное распределение испытывают под напряжением. Сигналы мониторинга, аварийную сигнализацию и блокировки последовательно имитируют по согласованным условиям. Если основное оборудование уже интегрировано, план FAT может включать функциональные или нагрузочные испытания с фиксацией нагрузки, условий электропитания, длительности и результатов.
При поставке оболочки с подготовленными интерфейсами FAT охватывает оболочку и эти интерфейсы. Основное оборудование, установленное позднее на площадке, проверяют при объектовой приёмке. Каждый пункт поставки сопоставляют с пунктом испытаний; протоколы, передаваемые с модулем, и сценарии, которые предстоит проверить на объекте, перечисляют раздельно.
Всю цепь можно испытать только на площадке. После подключения вышестоящего источника питания, наружной системы охлаждения и диспетчерского мониторинга выполняют комплексные испытания систем (IST), обычно до установки ИТ-оборудования. Нагрузочные стенды имитируют электрическую нагрузку и тепловыделение ИТ; для жидкостного охлаждения соответствующий нагрузочный стенд можно подключить ко вторичному контуру. Последовательно выводят тракт питания, изолируют ветвь охлаждения и прерывают связь. Регистрируют питание на стороне нагрузки, изменения расхода, давления и температуры охлаждающей жидкости, действия местного управления и удалённой сигнализации. Восстановление оценивают отдельно: как после возврата оборудования распределяется нагрузка и восстанавливается готовность резерва.
Проектные чертежи, протоколы FAT и протоколы объектовых испытаний используют одинаковые обозначения оборудования и цепей. Это позволяет связать неудовлетворительный результат на площадке с соответствующей заводской записью. Сертификационные этапы встроены в эту последовательность: проектную документацию проверяют до изготовления, работу построенного объекта демонстрируют на площадке. Tier оценивает Uptime, TIA-942 — орган по сертификации, лицензированный TIA.
Поэтапное расширение меняет нагрузку существующих трактов. В первой очереди каждый из двух трактов несёт половину нагрузки, а при отключении одного второй принимает её целиком. Если модули второй очереди подключить к тем же трактам, оставшийся после отключения тракт должен будет обеспечить обе очереди. Первоначального резерва может не хватить. Само подключение — тоже сценарий обслуживания: новые модули присоединяют к действующим шинам или трубопроводам через точки, допускающие работы без остановки объекта. Резервные ячейки и патрубки с запорной арматурой удобнее предусмотреть ещё при изготовлении первой очереди.
Серийная поставка опирается на единую производственную платформу и обновлённую под оборудование каждой партии документацию интерфейсов. E-House ETENZ для питания ИИ-инфраструктуры включает четыре функциональных модуля: среднего напряжения, низкого напряжения, твердотельного трансформатора и батарей. Основания шкафных рядов, трассы шин и лотков, вспомогательное распределение и интерфейсы противопожарных и охранных систем подготавливают на заводе. Перечни оборудования, расположение вводов и выводов, таблицы сигналов и программа испытаний соответствуют каждой партии.
Производители оборудования и системные интеграторы, готовящие проект ЦОД для ИИ, могут начать сотрудничество с ETENZ с однолинейной схемы электроснабжения, схемы охлаждения, перечня оборудования и сценариев обслуживания. По этим материалам ETENZ проектирует и изготавливает оболочку, подготавливает интерфейсы и интегрирует подсистемы в согласованном объёме. Чертежи и протоколы испытаний поставляются с модулем; последующие партии развиваются на основе того же комплекта документации.
Спасибо, что делитесь материалами ETENZ
Напишите нам в WhatsApp или отправьте запрос — в рабочие дни отвечаем в течение 24 часов.
Электроснабжение модульного ЦОД должно выдерживать отключение одной линии и обслуживание оборудования. Разбираем требуемую мощность линий A/B, размещение ИБП и батарей, выбор стоечных PDU и точки учета.
Три предложения на один и тот же модуль нередко описывают разный объём поставки. Чем раньше закреплены интерфейсы жидкостного охлаждения — границы поставки, расчётные режимы, расход и давление, жидкость и действия при потере охлаждения, — тем проще сравнивать цены и планировать подключение на площадке.
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
Электроснабжение модульного ЦОД должно выдерживать отключение одной линии и обслуживание оборудования. Разбираем требуемую мощность линий A/B, размещение ИБП и батарей, выбор стоечных PDU и точки учета.
Новости ETENZ
Электроснабжение модульного ЦОД должно выдерживать отключение одной линии и обслуживание оборудования. Разбираем требуемую мощность линий A/B, размещение ИБП и батарей, выбор стоечных PDU и точки учета.
Три предложения на один и тот же модуль нередко описывают разный объём поставки. Чем раньше закреплены интерфейсы жидкостного охлаждения — границы поставки, расчётные режимы, расход и давление, жидкость и действия при потере охлаждения, — тем проще сравнивать цены и планировать подключение на площадке.
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
