Три предложения на один и тот же модуль нередко описывают разный объём поставки. Чем раньше закреплены интерфейсы жидкостного охлаждения — границы поставки, расчётные режимы, расход и давление, жидкость и действия при потере охлаждения, — тем проще сравнивать цены и планировать подключение на площадке.
За одним и тем же названием «вычислительный модуль с жидкостным охлаждением» могут стоять три совершенно разных комплекта поставки: в одном предложении она заканчивается на наружных патрубках подачи и возврата, во втором добавлены CDU и коллекторы стоек, в третьем учтено и наружное оборудование отвода тепла. Сравнивать такие предложения нельзя, и дело не в цене, а в объёме. Пока интерфейсы не закреплены на чертежах, в расчётных режимах и в распределении ответственности, цены лежат в разных системах координат, а подключение на площадке не встаёт в график.
Отправная точка здесь — ИИ-серверы с однофазным жидкостным охлаждением через охлаждающие пластины, а разговор идёт о шести группах интерфейсов, которые стоит закрепить ещё на этапе запроса цены. Часть приведённых ниже критериев взята из китайских стандартов: национального GB/T 48023-2026 и отраслевого T/CECS 1722-2024. Там, где они упоминаются, указаны источник, область применения и рекомендательный характер. Два уточнения к ним. Во-первых, GB/T — документ рекомендательный, а не обязательный, и GB/T 48023-2026 вступает в силу 1 февраля 2027 года; слово «должен» внутри такого документа означает его собственное требование, а не норму закона. Во-вторых, за пределами Китая эти документы не действуют автоматически: обязательны нормы, применимые по месту реализации проекта, и требования изготовителей оборудования. Поэтому в запросе цены прямо указывают, какие стандарты и редакции принимает проект, на что они распространяются и по каким критериям идёт приёмка. Из международных материалов ближе всего к теме руководство Open Compute Project «Data Center Liquid Distribution Guidance & Reference Designs» — это проектные рекомендации, а не требования, на соответствие которым можно ссылаться.
Тепловую нагрузку расписывают для одной и той же конфигурации: полная потребляемая мощность сервера, сколько тепла снимают охлаждающие пластины и сколько остаётся воздуху внутри модуля. Даже когда на жидкость переведены ускорители, блоки питания и сетевое оборудование продолжают греть воздух, и от величины этой доли зависит, нужны ли в модуле межрядные кондиционеры или вентиляторная стена. Есть и часть нагрузки, которой нет в паспорте сервера: нагрев жидкости в циркуляционных насосах, трубопроводах и баках. Китайский национальный стандарт GB/T 48023-2026 включает её в расчётную холодильную нагрузку. Какой бы стандарт ни принимал проект, в запросе цены стоит прямо спросить, учтён ли этот нагрев в заявленной холодопроизводительности и при каком режиме она заявлена.
Для первого круга хватает четырёх позиций: рассматриваемые модели серверов, количество и габариты стоек, планируемая комплектация, этапы расширения. Габариты стоек нельзя брать по привычке от воздушного охлаждения — стойки под жидкость обычно шире и глубже, и при шаге, взятом от воздушных рядов, количество мест в модуле выходит завышенным. Если платформа ещё не выбрана, сопоставление двух-трёх кандидатов даёт более пригодную компоновку, чем одна усреднённая «мощность на стойку», назначенная заранее. Из документации изготовителя сразу забирают допустимую температуру жидкости на входе, требуемый расход, потери давления, допустимое рабочее давление, разрешённые жидкости и типы соединителей: это исходные данные для всех последующих разделов.
Геометрия — раздел, где чаще всего ссылаются на чужие числа. Высота пространства под фальшполом, ширина проходов и допустимая нагрузка на перекрытие приходят из разных документов с разным статусом, поэтому формулировка «соответствует нормам» без названия документа ничего не подтверждает. В китайском стандарте GB/T 48023-2026, например, требование к высоте подпольного пространства идёт с условием: оно относится к случаю, когда трубопроводы жидкостного охлаждения проложены под полом вместе с магистралями питания, связи и сети; при разделении трасс условие не применяется. В запросе цены полезнее закрепить не чужие миллиметры, а сами условия: как разведены трассы жидкости и электрики, проходят ли магистрали над стойками или под ними, какая ширина проходов и зона обслуживания остаются после монтажа стоек, коллекторов и шлангов, какая нагрузка на пол принята — и по какому документу, нормам места реализации или требованиям изготовителя, принимается каждое из этих значений.
Жидкостно-жидкостный CDU разделяет два контура теплообменником. Сторона источника холода (FWS) отводит тепло к наружному оборудованию или к имеющемуся источнику холодоснабжения; сторона ИТ (TCS) соединяет стойки с охлаждающими пластинами серверов. У каждой стороны своя циркуляция, жидкости не смешиваются — передаётся только тепло. Сложность не в схеме, а в названиях: «первичный» и «вторичный» контур в материалах разных изготовителей означают противоположные стороны, и одно перепутанное слово переставляет местами весь набор условий. Поэтому на чертежах прямо подписывают названия контуров и направление потока, а на первом листе комплекта дают таблицу соответствия терминов. Полезный внешний ориентир по построению контуров, интерфейсов, обслуживания и сценариев потери охлаждения — руководство Open Compute Project «Data Center Liquid Distribution Guidance & Reference Designs»; это рекомендации по проектированию, а не требования.
В ведомости поставки у каждой позиции четыре ответственных: кто поставляет, кто монтирует, кто заполняет, кто проводит пусконаладку. Сами позиции: наружное оборудование отвода тепла, насосная группа FWS, CDU, магистрали внутри модуля, коллекторы стоек, шланги и быстроразъёмные соединения, охлаждающая жидкость, точки контроля. Два пункта из этого списка меняют компоновку модуля. Первый — запорная арматура на магистралях и ответвлениях и фильтрация с обеих сторон. Второй — возможность обслуживать и менять фильтрующие элементы и устройства выпуска воздуха и слива, не останавливая систему; так это сформулировано в китайском национальном стандарте GB/T 48023-2026. Речь идёт именно о работе системы, а не о разборке под давлением: обслуживаемый участок сначала отсекают и сбрасывают давление. Практически это означает резервную линию фильтрации, способную пропустить требуемый расход, — обычно сдвоенный фильтр с переключением. Если же на одиночном фильтре стоят только отсечные краны, их закрытие обрывает подачу по этой линии. В запросе цены отдельным пунктом указывают, требуется ли замена фильтров без остановки системы, а в модуле заранее резервируют место под узел арматуры и подход к нему.
Границу поставки лучше привязать к пронумерованному фланцу, быстроразъёмному соединению или клемме и указать для неё поставщика ответной части, параметры соединения, материал уплотнения и место установки. Способ соединения обычно назначают по диаметру, поэтому в запросе цены перечисляют, какие соединения допускаются для каждого диапазона диаметров — сварные, фланцевые, обжимные, резьбовые — и кто их принимает; резьбовые в нормативных документах, как правило, ограничены малыми диаметрами. Модуль заводской готовности приезжает на площадку целиком, так что крупные магистрали выгоднее сварить на заводе, а не собирать по месту. Координаты наружных патрубков, транспортные заглушки и порядок подключения должны совпадать с общим сборочным чертежом — тогда фраза «до границы модуля» одинаково читается обеими сторонами.
CDU и наружное оборудование сравнивают в одной таблице режимов: тепловая нагрузка, температуры подачи и возврата с обеих сторон, расход, рабочая жидкость, расчётные условия окружающей среды. В запросе цены одновременно указывают допустимую температуру жидкости на входе в сервер, расчётные температуры подачи и возврата на обеих сторонах CDU и температурный напор на конце теплообменника, а от поставщика требуют данные о производительности при целевой нагрузке, выбранной жидкости и расчётном расходе. Защиту от конденсации привязывают к точке росы в той среде, где стоит оборудование, а не к общему правилу. Рекомендательные диапазоны температур есть и в китайских документах, но у разных документов они расходятся, так что переносить их в чужой проект бессмысленно. То же касается шильдика: указанная на нём тепловая мощность верна только для конкретного режима, и при другой температуре подачи или другом температурном напоре её подтверждают заново.
С сухим охладителем (драйкулером) проверку ведут по цепочке от сервера наружу: какую температуру жидкости на входе допускает сервер, какой температурный напор забирает теплообменник CDU, какую температуру подачи из-за этого должна обеспечить сторона FWS и способен ли охладитель удержать её при расчётной летней температуре наружного воздуха по сухому термометру. Физическая граница простая: температура жидкости после сухого охладителя всегда выше температуры наружного воздуха, и чем жарче площадка, тем выше получаемая температура — в жарком климате «голый» драйкулер до допустимой температуры на входе в сервер может просто не дотянуть. Ориентировочные прикидки годятся только для выбора направления; в предложение попадают цифры из подбора конкретного оборудования при целевой нагрузке, жидкости и расходе. Критерий тоже стоит записать явно: нужна ли адиабатическая ступень, градирня или иное дополнительное охлаждение, определяют по тому, хватает ли способности отвести тепло в расчётном режиме, а не по тому, считается ли площадка жаркой.
Во входных данных подбора чаще всего не хватает двух вещей. Первая — климатические данные: в запросе цены указывают, по какому набору данных и за какой период берутся экстремальные температуры по сухому и влажному термометру, какая расчётная обеспеченность принята и добавляется ли повышение температуры от теплового острова вокруг самой площадки. Вторая — условия внутри модуля: точку росы сопоставляют с температурой поверхности холодных трубопроводных элементов, и уже отсюда берутся теплоизоляция, контроль конденсации и алгоритмы регулирования. Оборудование воздушного охлаждения получает собственный расчётный режим подбора — только так у тепла, которое не сняли охлаждающие пластины, появляется ответственный.
Если CDU идёт с собственными циркуляционными насосами, располагаемый перепад давления на его внешних подключениях должен при расчётном расходе перекрывать потери по самому неблагоприятному пути: магистрали, арматура, фильтры, коллекторы, шланги, быстроразъёмные соединения и сам сервер. Когда изготовитель приводит полный напор насоса, из него вычитают внутренние потери CDU — внешней сети достаётся остаток. Отдельно задают диапазон регулирования: в запросе цены пишут, в каких пределах от номинала должен автоматически регулироваться расход стороны ИТ и какое отклонение температуры подачи допускается в установившемся режиме, а подтвердить это просят по конкретной модели. Вопрос не праздный при поэтапном заполнении модуля: когда смонтирована половина стоек, рабочая точка легко уходит за нижнюю границу диапазона.
«Суммарного расхода достаточно» и «достаточно каждому серверу» — два разных утверждения. Равномерность раздачи при этом измерима. Китайский национальный стандарт GB/T 48023-2026 (рекомендательный, вступает в силу 1 февраля 2027 года) задаёт для оборудования в своей области применения три показателя: разница между наибольшим и наименьшим расходом по патрубкам коллектора — не более 10 % от среднего значения по патрубкам; разброс расхода между ветвями стороны ИТ — тоже не более 10 %; отклонение гидравлического сопротивления однотипных охлаждающих пластин — в пределах ±10 %. Это требования названного документа, а не норма закона и не автоматическое условие для проекта в другой стране: в запрос их включают как согласованный критерий приёмки. И главное — равномерность не равна достаточности: все ветви могут быть ровно, без разброса, занижены одновременно. Поэтому подтверждать просят обе вещи: равномерность по трём показателям и фактический расход, который получает каждая стойка и каждый сервер в расчётном режиме. Обе формулируются так, что письменное подтверждение можно получить уже на этапе запроса цены.
Прочность проверяют по элементам, а не по системе целиком. Базой служит заявленное изготовителем максимальное допустимое рабочее давление каждого элемента, а допустимое давление всего контура определяет самый слабый из них — это может оказаться быстроразъёмное соединение, коллектор, шланг, арматура или теплообменник, поэтому список воспринимающих давление элементов выписывают и сверяют по моделям. Методику подтверждения согласуют явно: для каждого класса элементов — объект испытания, среда, испытательное давление относительно заявленного рабочего, время выдержки, допустимое падение давления и кто подписывает протокол. Готовые процедуры из отраслевых документов бывают привязаны к отдельным узлам, и переносить их на модуль целиком как «общий метод приёмки» нельзя. Стоит помнить и о разнице величин: испытательное давление подтверждает максимальное допустимое рабочее, но обратным пересчётом через коэффициент нельзя получить давление, при котором элемент разрешено эксплуатировать постоянно. Места измерения фиксируют в запросе цены и разделяют избыточное, абсолютное и дифференциальное давление.
Охлаждающая жидкость, охлаждающие пластины, теплообменник, трубопроводы, уплотнения и быстроразъёмные соединения работают как один набор материалов, и ключевая переменная в нём — металл охлаждающей пластины. Китайский отраслевой стандарт T/CECS 1722-2024 (документ отраслевой ассоциации, рекомендательный) разделяет окна pH по материалу пластин: для медных — от 8,0 до 10,0, для алюминиевых — от 7,5 до 9,5, так что перекрываются они узкой полосой от 8,0 до 9,5. Ингибиторы коррозии он рекомендует тоже разные: для алюминиевых систем — соли органических кислот, для медных — азольные соединения. Совместное применение алюминия и меди в одном контуре охлаждающей жидкости тот же документ не рекомендует из-за риска коррозии алюминия. Это рекомендации названного стандарта и только для систем в его области применения: за пределами Китая они не обязательны и действуют лишь тогда, когда проект прямо принимает их в запросе цены. Но вывод из них никуда не девается: металл пластин — условие на интерфейс, а не деталь. В запросе цены задают металл пластин, тип и рабочую концентрацию жидкости, окна pH и электропроводности, пакет ингибиторов, требования к фильтрации, точки отбора проб и периодичность контроля, а от поставщика требуют письменное подтверждение совместимости с выбранной жидкостью для всех смачиваемых материалов по этому списку. Строчка «используется деионизированная вода» такого подтверждения не заменяет.
Вокруг материалов трубопроводов ходит больше запретов, чем написано в самих документах. В том же китайском национальном стандарте GB/T 48023-2026 нержавеющие стали — рекомендация, а не единственный разрешённый вариант; обязательным там сформулировано другое: все контактирующие с жидкостью материалы должны быть с ней совместимы. Один явный запрет в документе всё-таки есть — уплотнять соединения ФУМ-лентой и резьбовым герметиком нельзя. За пределами Китая это не норма закона, но удачный пункт для технического задания и заводской приёмки: такое требование проверяется по каждому соединению и попадает в цеховую инструкцию, в отличие от общих слов о качестве монтажа.
Интерфейс поддержания давления описывают тремя пунктами: объём расширительного устройства, давление предварительной зарядки и точка подключения — по объёму жидкости соответствующего контура, диапазону её температур и давлениям в узлах; где и чьими силами выполняются подпитка и выпуск воздуха; на что настроена защита от превышения давления. Контур разбит теплообменниками и запорной арматурой на участки, и каждый рассматривают отдельно, включая объёмы жидкости, которые окажутся запертыми после закрытия арматуры. В объём предложения включают заводскую промывку, консервацию на время перевозки, промывку на площадке, первичное заполнение, повторный отбор проб и ответственность за расходные материалы. Здесь же согласуют процедуры: чем и сколько времени промывают систему, по какому критерию промывку принимают, меняются ли фильтрующие элементы перед заливкой рабочей жидкости. Проверку герметичности расписывают так же адресно — объект испытания (например, охлаждающая пластина с коллекторами либо участок контура), среда, давление, выдержка и допустимое падение давления. Процедура, написанная для отдельного узла, методом приёмки всего модуля не становится.
Потеря охлаждения со стороны FWS, остановка насоса CDU, недостаточный расход в ветви, утечка, обрыв связи — каждое событие получает строку в таблице алгоритмов: точка обнаружения, кому уходит сигнал, что переключается или отсекается, в какой момент система управления ИТ получает команду на снижение нагрузки или штатное завершение работы. Китайский национальный стандарт GB/T 48023-2026 перечисляет обнаружение утечки, сигнализацию и определение места утечки, в том числе для трубопроводов стороны источника холода, заходящих в машинный зал, — но автоматического отсечения в этом перечне нет. Отсутствие пункта в документе не означает ни того, что функция не нужна, ни того, что она всегда опция: перекрывать или нет, чьими средствами и при каком условии — решают по требованиям проекта, требованиям самого оборудования и распределению ответственности, после чего записывают и в таблицу алгоритмов, и в объём поставки. Считать по умолчанию, что это уже включено, не стоит.
Фразу «подключается к системе мониторинга» превращают в перечень сигналов и прав управления: какие параметры доступны только для чтения, какие команды разрешено записывать и кто их выдаёт, в каком состоянии остаётся оборудование при обрыве связи и как оно запускается после восстановления. Один из контролируемых параметров прямо касается конструкции модуля — температура точки росы. Значит, внутри нужны датчики температуры и влажности в представительных местах, и выбор этих мест определяет, будет ли защита от конденсации срабатывать впустую; на чертежах модуля это показывают явно. Сюда же относится сбор протечек: поддоны под трубопроводами и под CDU и их отвод в трап — обычный пункт проверки после монтажа, а сами поддоны и отвод воды лежат в границах модуля, поэтому распределение работ по ним фиксируют в договоре.
Разговор о том, сколько система продержится после отказа, начинается с исходных данных: сценарий отказа, оставшаяся циркуляционная способность, объём жидкости, реально участвующий в теплообмене, допустимый рост температуры и ход снижения нагрузки. После остановки циркуляционных насосов объём удалённого бака перестаёт быть запасом холода для серверов — жидкость, которая не движется, тепло не уносит. По питанию несколько китайских документов сходятся на том, что CDU питают от источника бесперебойного питания; в запросе цены этот пункт формулируют шире: какое именно оборудование — CDU, контроллеры, арматура, обязательный минимум воздушного охлаждения — остаётся на резервном питании, на какое время и как это согласовано с последовательностью снижения нагрузки и остановки серверов.
Когда шесть групп интерфейсов пройдены, из них складываются три документа: принципиальная схема с номерами оборудования и соединений, перечень интерфейсов с рабочими условиями и распределением ответственности, таблица алгоритмов и приёмки — от обнаружения события до восстановления. Большая часть критериев из предыдущих разделов ложится в третий документ: отклонение равномерности расхода, допуск температуры подачи, падение давления при проверке герметичности узла, точки определения места утечки — всё это измеряется и записывается уже на заводской приёмке. На площадке проверяют то, что до подключения проверить нельзя: поведение системы с фактическим источником холода, реальными серверами и системой мониторинга.
На основе определённой конфигурации серверов ETENZ выполняет изготовление конструкции модуля заводской готовности и компоновку оборудования, а также интеграцию электрической части, терморегулирования, противопожарной защиты и систем безопасности. В зависимости от распределения работ по проекту возможны поставка корпуса, заводская подготовка интерфейсов или поставка оснащённого модуля, а также сотрудничество по схеме OEM/ODM. Заранее согласованные положение патрубков, опоры, пространство для обслуживания, сбор и отвод протечек, точки управления и приёмочная документация заметно сокращают переделку трубопроводов и повторную наладку на площадке.
Чтобы начать запрос цены, достаточно собрать рассматриваемые модели серверов, перечень стоек, данные об условиях площадки и доступном источнике холода, а также распределение: кто какое оборудование предоставляет. Дальше модели и условия на интерфейсах уточняются шаг за шагом, а компоновка, подбор и цена опираются на один и тот же набор исходных данных. Приведённые в тексте критерии взяты из китайских стандартов GB/T 48023-2026 «Технические требования к системам жидкостного охлаждения на охлаждающих пластинах для центров обработки данных» (национальный, рекомендательный, вступает в силу 1 февраля 2027 года) и T/CECS 1722-2024 (отраслевой, рекомендательный). Они обязательны только там, где проект сам их принимает, а их формулировки — требования этих документов, а не законодательства. Для проекта в другой стране решают нормы места реализации и требования изготовителей оборудования; из международных материалов по построению контуров полезно руководство Open Compute Project «Data Center Liquid Distribution Guidance & Reference Designs» — именно как проектные рекомендации.
Спасибо, что делитесь материалами ETENZ
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
Блочно-модульному корпусу на заказ мало одной категории коррозионной агрессивности. ETENZ превращает условия воздействия, основания, состав покрытия, контроль и требования к ремонту в пакет, который можно оценить, изготовить и проверить.
ETENZ запускает корпус для СНЭ в серийное производство для сетеформирующего проекта в Чжунвэе: партия включает 143 единицы класса 20 футов с заводской подготовкой конструкции, пожарных и электрических интерфейсов.
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
Новости ETENZ
Электропитание, охлаждение и компоновка планируются вместе: инфраструктура ЦОД для ИИ проектируется от конфигурации серверов. От мощности на стойку до отвода тепла при жидкостном охлаждении, компоновки блок-модуля и заводской сборки — какие исходные данные стоит зафиксировать в начале проекта.
Блочно-модульному корпусу на заказ мало одной категории коррозионной агрессивности. ETENZ превращает условия воздействия, основания, состав покрытия, контроль и требования к ремонту в пакет, который можно оценить, изготовить и проверить.
ETENZ запускает корпус для СНЭ в серийное производство для сетеформирующего проекта в Чжунвэе: партия включает 143 единицы класса 20 футов с заводской подготовкой конструкции, пожарных и электрических интерфейсов.
