AIデータセンターの電源構成 A/B系統・UPS・ラックPDUの決め方

2系統の電源入力を備えたサーバーどうしでも、片方の系統が失われたときの振る舞いは大きく異なります。全負荷のまま運転を続けるものもあれば、性能を落とすもの、停止してしまうものもあります。この振る舞いが、各配電経路の定格、UPSの構成、そして故障中にどれだけの計算能力が残るかを決めます。

電源設計は、ふつう単線結線図から始まります。AIサーバーを収容するモジュールでは、その単線結線図をサーバーの電源入力口まで延ばし、系統が失われた後に求める動作と一致させる必要があります。具体的には、運転を継続するワークロード、処理量を減らしてよいワークロード、状態を保存したうえで停止してよいワークロードを定めます。見積依頼の前にこのルールを決めておけば、単一系統、A/B系統、UPSの各構成の得失がはるかに比べやすくなります。

出発点はサーバーの電源入力

NVIDIA DGX H100/H200を例にとります。6台の電源ユニット（PSU）は4+2の冗長構成で、通常運転には少なくとも4台に給電されている必要があります。3台をA系統、3台をB系統に接続すると、どちらかの系統が失われた時点で給電が残るのは3台だけです。するとシステムは、性能を落として運転するか、停止することがあります。そのため、NVIDIAのDGX SuperPOD向けデータセンター設計ガイドは、従来のA/B給電を管理用ラックにのみ適したものとしています。可用性が重要で、ワークロードをチェックポイントから復旧できない場合には、ラック当たり少なくとも3系統の独立した給電とし、サーバーの6台のPSUを各系統に2台ずつ接続するよう推奨しています。こうしておけば、どれか1系統が失われても、保守のために切り離しても、4台のPSUへの給電が残ります。

PSUを各給電系統へどう振り分けるかによって、系統の数と、系統ごとに必要な容量の両方が決まります。最初の負荷表には、計算、ストレージ、ネットワークの各機器を載せてください。機器ごとに、入力電圧、プラグの形式、PSUの台数と冗長構成、予定している系統への振り分け、そして1系統が失われた後に通常どおり動くのか、性能を落とすのか、止まるのかを記録します。

電源コードが1本の機器に2つの電源から給電しなければならない場合は、ラック用の自動切替スイッチが必要です。その切替時間は、機器が電源の瞬断に耐えられる時間より短くなければなりません。電源コードが2本の機器は、メーカーの指示に従って、A系統とB系統の別々のラックPDUに接続します。2本とも同じPDUに差し込むと冗長に見えますが、給電経路は1つのままです。

どの負荷を止めてはならないかは、事業上の要件で決まります。確認すべきなのは、学習ジョブをチェックポイントから復旧できるか、推論を別のノードへ移せるか、ストレージと管理用ネットワークをどれだけの時間使える状態に保つ必要があるか、という点です。事業部門とIT部門がこれらに答えてはじめて、電気設計の側でUPSから給電を継続する負荷を定められます。

故障時に求める運転状態に基づくA/B系統の容量設定

配電経路が1つだけの構成では、保守のたびにその経路を止める必要があり、経路のどこで故障が起きても負荷が止まります。止まってもよい負荷や、別のノードが処理を引き継げるワークロードに向いた構成です。A/B系統では、両方の経路をラックから上流へたどり、電源、配電母線、保護装置まで確認します。両系統が最終的に同じUPSや同じ母線区分に依存している場合、その共通部分の故障によって両系統が同時に停止するおそれがあるため、単線結線図にはっきり示しておく必要があります。

容量は、1つの経路が失われた後の状態で決まります。IT負荷が100kWで、電源ユニットが通常は負荷を分担し、故障後はどちらの経路でも全負荷を担えるとします。通常運転では、A系統とB系統がそれぞれ約50kWを負担します。A系統が故障すると、B系統が100kWを担わなければなりません。各70kWの2系統は、通常運転では余裕があるように見えても、B系統だけが残った状態では足りません。

この計算を、残る経路のすべての要素に当てはめます。UPSの出力、分電盤の回路、バスダクトまたはケーブル、ラックPDU、コンセントを経て、サーバーの電源入力口までです。経路全体で使える容量は、最も定格の低い要素で決まります。周囲温度によるディレーティング、将来の増設、負荷の変動に対する余裕も見込む必要があります。上の例では、どちらの経路も合意した全負荷を単独で担わなければならない場合、銘板容量の合計が140kWある2系統でも、支えられるIT負荷は70kWにとどまります。

系統の故障後に負荷を下げることを案件として認める場合は、削減後の負荷、そこまで下げるのに許される時間、制御の方法を負荷表に記載します。故障が起きてから負荷の削減が完了するまでの間は、残った経路とその保護装置に全負荷がかかったままです。

DGXの例のように各系統にPSUを2台ずつ接続して3系統を使える機器なら、1経路当たりの容量は小さくて済みます。同じ100kWの負荷であれば、通常運転では3系統がそれぞれ約33kWを負担します。1系統が失われると残る2系統がそれぞれ50kWを負担するため、各経路は50kWで設計でき、3系統の合計は150kWになります。2系統が互いに予備となる構成では、各経路に100kW、合計200kWが必要です。3系統にすると1経路当たりの容量は減りますが、3本目の配電経路と、もう一組の接続が加わります。

UPSで給電を継続する系統と設置場所の選定

単一系統にUPSを設ければ、蓄電池が負荷を支えられる間は上流の停電をしのげますが、下流の配電経路は1つのままです。A系統にUPSを入れ、B系統は商用電源から直接給電する構成では、商用電源が停電すると全負荷がA系統に移ります。その瞬間に備えて、A系統の定格、片系統給電時にサーバーが使える電力、蓄電池の停電補償時間をすべて確認しておく必要があります。

A系統とB系統のそれぞれに別のUPSを設ければ、両系統とも蓄電池からの給電を継続できます。それでも保守のしやすさは、実際のバイパス、開閉器、蓄電池の接続のしかたに左右されます。具体的には、バイパス電源をどこから取るのか、保守中にどの負荷が蓄電池による停電補償の対象外となるのか、残る経路がどれだけの負荷を担えるのか、という点です。UPSを保守バイパスに切り替えると、負荷は商用電源で給電され続けますが、そのUPSの蓄電池による停電補償は受けられなくなります。

多くの見積もりでは、N+1はモジュール型UPSにUPSモジュールを1台余分に搭載することを指します。モジュールが1台故障しても出力は下がりませんが、出力母線、バイパス、下流の回路の冗長性については何も示していません。そのため、同じN+1と書かれた2つのシステムでも、保守中や故障時に残る容量は大きく異なることがあります。見積もりには、どの構成要素が冗長化されているのかを正確に示してもらうべきです。

UPSと蓄電池の配置・構成には、サーバー収容モジュール内に設置する方式、別置きの電源用コンテナ型電気室（E-⁠House）に設置する方式、モジュール内は配電設備のみとし、敷地内の既設UPS設備を利用する方式があります。サーバー収容モジュール内に置くとラックのスペースを使い、UPSと蓄電池の損失が内部の熱負荷に加わります。別置きの電源用E-Houseにすれば、ITラックのためのスペースが広がります。その場合は、A系統とB系統を別々のケーブルまたはバスダクトで引き込み、取合いを双方の図面で一致させます。蓄電池の位置は、換気、保守のための出入り、防火区画にも影響します。

サーバーは、UPSから給電されている間も発熱し続けます。そのため液冷のサーバー収容モジュールでは、UPSから給電を継続する負荷の一覧に、IT負荷と並べてCDUの循環ポンプ、制御装置、重要なネットワーク機器、必要な空冷機器を含めます。屋外の排熱設備まで無停電化するかどうかは、許容される温度上昇、利用できる蓄熱、所定の手順に沿った停止に必要な時間によって決まります。制御装置だけを無停電化すると、循環ポンプがすでに止まった後で、制御装置が警報を出し続けるだけになりかねません。

停電補償時間は、負荷条件とセットでなければ意味を持ちません。同じ「停電補償時間10分」という表示でも、負荷のkW値、対象とする機器、蓄電池の温度、容量を新品時と寿命末期のどちらで評価するのか、放電終止電圧によって、結果は大きく変わります。メーカーには、指定した構成と条件での放電データを提出してもらってください。発電機が始動するまでを蓄電池でつなぐ場合は、発電機の始動、切替、負荷投入にかかる時間も含めます。

片系統停止時の負荷電流に基づくラックPDUの選定

コンセントの数は、ラックPDUの選定のごく一部にすぎません。入力の相数・結線方式と定格電流、コンセント群ごとの保護、コンセントと電源コードの定格を、すべてサーバーの接続計画と一致させる必要があります。見積依頼書では、ラックPDUを上流の分電盤とは別の項目として記載してください。

片系統が停止したときの状態がなぜ重要なのかを、単純化した例で示します。三相平衡負荷で、電圧400V、力率0.95、交流入力電力60kWのラックの場合、線電流は I = P /（√3 × U × 力率）で求められ、約91Aになります。A/B系統で均等に分担すれば、通常時は各系統に約46Aが流れます。一方の系統が失われた後にもう一方が60kWの全負荷を担う必要があるなら、残った系統には約91Aが流れます。各系統に入力定格63AのPDUを使うと、通常運転では足りますが、この片系統停止時には定格を超えます。

最終的な選定では、最も負荷の大きい相、コンセント群ごとの回路、ケーブルの布設条件、機器のディレーティングも考慮します。合計のkWには余裕があっても、ある相やコンセント群が先に限度に達することがあります。連続負荷に定格のどこまでを使ってよいかは、案件に適用される要件と部品の条件によって異なります。

GPUの消費電力は学習ワークロードに応じて変動し、短時間で急激に変わることがあります。UPSの負荷急変時の応答と保護協調を確認できるよう、その変化の大きさと継続時間を、起動時の電力プロファイルとあわせて提示してください。月ごとの電力量データや1分間の平均電力では、こうした短い過渡変動は見えません。

給電経路に沿った計測点の配置

モジュールの受電点に計器を置けば、モジュール全体の消費電力がわかります。UPSの入力側と出力側の計器からは、変換損失とUPS出力にかかっている負荷がわかります。ラックPDUでの計測は、容量の割り振り、相バランスの確認、機器増設の判断に役立ちます。冷却設備は別回路とし、IT機器と補機の消費電力を別々の数値として見えるようにします。

電源コードが2本のIT機器の電力量は、同じ時間区間・同じ計測境界でのA系統とB系統の値を足して求めます。上流の計器にはすでに下流の消費分が含まれているため、上下2段の値を足すと、同じ電力量を二重に数えることになります。計測値を課金に使う場合は、計器の精度、校正、精算方法を別に取り決めてください。

監視のポイントリストには通常、相ごとの電流・電力・電力量・力率、開閉器の状態、UPSの運転モード（商用・蓄電池・バイパス）、蓄電池の残量が入ります。1つの系統が停止したとき、運用者は負荷を削減するかどうかを判断する前に、その事象と、残った経路の負荷の上昇を同じ画面で確認できなければなりません。サンプリング周期、事象のタイムスタンプ、通信途絶中の欠測データを復旧後に補完する方法は、警報と事後解析に必要な条件から決めます。

切替・保守・復電時の動作試験

受入試験の計画は、運転シナリオを軸に組み立てます。通常負荷、A系統の喪失、B系統の喪失、UPSの蓄電池運転、保守バイパス、復電です。試験ごとに、開始時の負荷、開放する箇所、期待する応答、停電または負荷削減の許容範囲、記録する電圧・電流・警報・ワークロードの状態を明記します。

「A系統を開放する」という言い方では、正確さが足りません。UPSの入力側を開放すると、UPSは蓄電池運転に切り替わり、サーバーはその系統から給電を受け続けます。これは蓄電池の試験です。UPSの出力側やラックの分岐回路を開放すると、サーバーへの給電が1系統なくなり、もう一方の経路が全負荷を担えるかどうかの試験になります。

配電経路、容量、制御、計測は、模擬負荷を使って工場で試験できます。サーバーの性能低下、ネットワークの再接続、ワークロードの中断は、実機をつないだ現地でしか確認できません。保護協調は、設計段階の検証と関連する試験で確認します。

工場製作モジュールへの設計要件の反映

モジュールの内部では、ここまでの要件が盤の配置、バスダクトとケーブルの経路、蓄電池の位置、排熱、保守スペースを決めます。ETENZは、コンテナ型電気室（E-⁠House）の筐体を製作し、案件ごとの責任分担に応じて、電気、熱管理、監視の各設備を組み込みます。納入形態は、取合い部を工場で加工した状態での納入、工場組立て後の納入、モジュール一式での納入から選べ、OEM/ODMでの協業にも対応します。

見積依頼では、単線結線図をサーバーの電源入力口まで延ばしてください。機器ごとのPSUの各給電系統への振り分けと、1系統が失われたときの応答を示します。UPSから給電を継続する負荷の一覧には冷却設備も含め、受入試験のシナリオを定め、利用できる現地の電源条件を添付します。そうすれば応札する各社が、給電経路、容量、UPSから給電を継続する機器の範囲を同じ図面の上で示せるようになり、見積もりどうしを格段に比較しやすくなります。本稿のDGX H100/H200の電源に関する記述は、『NVIDIA DGX H100/H200 User Guide』の電源仕様と、『DGX SuperPOD: Data Center Design Featuring NVIDIA DGX H100 Systems』の電気仕様の章に基づいています。