モジュール型データセンターの信頼性とTier：設計からE-House納入まで

モジュール方式で建設するAIデータセンターでは、受変電用のコンテナ型電気室（E-⁠House）、サーバーを収めるITモジュール、冷却設備をそれぞれ工場で製作し、現地で組み合わせます。据付と配線を工場に移すことで現地の工事量が減り、信頼性に関わる判断も前倒しになります。電源系統の1つを止めて保守する間、サーバーへの給電をどう維持するか。冷却系統の一部を切り離したとき、ラックの熱をどこへ運ぶか。その答えの大半は、モジュールが工場を出る前に決まっています。

ETENZは、海外のモジュール型計算施設向けに配電用のE-Houseを製作しています。ケーブル引込口、接地、ケーブルラック、壁貫通部のシール処理、空調設備との取合いは工場で仕上げ、モジュールはロット単位で製作・出荷します。現地に到着すれば、そのまま据付と接続に進めます。どの機器をどの順に止めて保守するかという保守シナリオを設計段階で製作側に渡しておけば、切り離し点や作業スペースを設計に反映したうえで工場で製作できるため、現地でのケーブルや配管の手直しが減ります。

保守で止まるのは、冗長化した機器の下流

UPSを2台設け、冗長容量と保守バイパスを十分に確保すれば、1台を停止しても残る1台で負荷に給電できます。しかし、2台の出力が同じ母線につながっていると、その母線を保守のために切り離した時点で、下流の機器への給電は止まります。冷却側も同じで、ポンプを運転用と予備の2台にしても、フィルターが1組しかなければ、清掃のたびに系統全体が止まります。一般的な対策は、電源をA系統とB系統に分け、2系統入力の機器を両方の系統に接続することです。冷却側では、それぞれ遮断弁で切り離せるフィルターを2組並列に設けるか、運転中に切り替えられる複式フィルターを使えば、通水を続けたまま一方を保守できます。

Uptime Instituteは、この違いをTierの定義に組み込んでいます。Tier III（同時保守可能）では、設備容量を担うすべての機器と、電源・冷却のすべての供給経路を、IT機器の運転に影響を与えずに計画的に停止して保守できることが求められます。Tier IV（耐障害性）ではさらに、機器1台の故障や経路1本の途絶が起きても運転に影響しないことが求められます。計画的な切り離しと突発的な故障は別の運転状態であり、切替手順、保護動作、復旧条件はそれぞれ分けて試験する必要があります。

工場で製作するモジュールでは、電源と冷却の供給経路を末端の負荷までたどって確認する必要があります。電源は上位電源からE-House内の配電設備とラックPDUを経て、サーバーの電源入力に至ります。冷却の一次側は屋外の放熱設備からポンプ、フィルター、バルブを経てCDU（冷却液分配ユニット）へ、二次側はCDUからコールドプレートへと続きます。この経路上の要素を1つずつ停止したと仮定し、残る経路で負荷をまかなえるか、隣接する系統が充電・加圧されたままでも開閉器やバルブを安全に操作できるかを確かめます。残った電源入力でサーバーがどう動作するかも重要です。この点は、前回の記事「AIデータセンターの電源構成 A/B系統・UPS・ラックPDUの決め方」で詳しく解説しています。

Tier、TIA-⁠942、ISO/IEC ⁠22237がそれぞれ扱う範囲

UptimeのTier認証は、段階を追って3つに分かれています。設計図書の認証（Tier Certification of Design Documents）では図面を審査します。完成施設の認証（Tier Certification of Constructed Facility）では、現地でのシステム実証によって、完成した施設が設計どおりのTierを満たしているかを確認します。運用持続性の認証（Tier Certification of Operational Sustainability）は、運用・保守の管理体制を評価するものです。各段階は、前の段階の認証を受けていることが前提です。サプライヤーの資料にある「Tier III」は、設計上の目標を指していることもあれば、特定の案件が特定の段階で受けた認証を指していることもあります。調達の際は、どちらの意味か、どの案件が対象かを確認する必要があります。

TIA-⁠942は「データセンター向け通信インフラ規格」という名称ですが、対象は通信にとどまりません。2024年5月に発行された現行版のANSI/TIA-⁠942-Cは、通信、電源、冷却、建築、防火、安全、物理セキュリティを扱っています。レベルはRated-⁠1からRated-⁠4までで、Rated-⁠3は同時保守性を求めます。配電経路上の部品を含め、設備容量を担うすべての機器を、ICTサービスを中断せずに計画的に取り外し、交換、保守できなければなりません。Rated-⁠3とTier IIIは目的こそ近いものの、要件も認証手続きも別々です。2014年には両団体の合意により、TIA-⁠942では「Tier」に代えて「Rated」という呼称を使うことになりました。技術仕様書に体系、版、レベルを明記しておけば、受入試験の根拠が明確になります。

ISO/IEC ⁠22237-⁠1:2021は、データセンター施設を可用性、セキュリティ、エネルギー効率の3つの観点で分類しています。同シリーズの第3部は配電を、第4部は温度、流体の流れ、相対湿度などの環境制御を扱います。この枠組みで設計する案件では、配電と環境制御の分類をそれぞれのシステム文書に記載し、ケーブルの引込み・引出し位置、冷却配管の接続口、監視ポイントをその文書から決めていきます。

工場で製作するモジュールには、設計そのものを評価する制度もあります。UptimeのTIER-Readyでは、メーカーとUptimeが、特定の工場製作ソリューションの設計を審査します。ただし、モジュールが現地に届き、現地の電源と冷却源に接続された後も、施設としてのTier認証は必要です。Readyの評価は、その手続きにかかる時間と費用を減らす役割を果たします。TIA-⁠942 Readyは工場製作のモジュール型データセンターを対象とし、有効期間は1年で、毎年見直されます。モジュールがReadyであるとは、そのモジュールの設計が評価されたという意味です。施設のレベルは、現地での接続を終えた後の認証で決まります。設計図書の認証では、製作に使う図面を事前に審査します。そのため、どの制度を使い、各段階の審査をいつ受けるかを設計の初期に決めておけば、認証を納入計画に無理なく組み込めます。

モジュール間取合い図に描き込む保守スペース

電気設備とIT機器を別々のモジュールに分けると、1つの部屋で完結していた接続が、輸送単位の境界をまたぐことになります。A系統・B系統のケーブルをE-Houseのどの面から引き出すか、ITモジュールには底面と側壁のどちらから引き込むか、モジュール間の接地をどうつなぐか、冷却系統の遮断弁を取合いのどちら側に設けるか。これらの位置をモジュール間の取合い図に明記し、その内容に基づいて、ベースフレームの開口加工、ケーブルラック支持金具の取付け、壁貫通部のシール処理、機器固定点の加工を工場で行います。

保守作業に必要なスペースは、配置図を機器で埋めていくうちに失われがちです。遮断器を引き出すには盤の前面に通路が要り、バスダクトの接続部を保守するには機器上部の空間が、バルブのハンドルを回すには回転の余裕が要ります。機器を丸ごと交換する場合は、モジュールの扉から屋外の作業エリアまでの搬出経路も必要です。ETENZのAIデータセンター用受変電コンテナ（E-⁠House）は幅3495mmで、列盤の扉をすべて開いても点検通路をふさぎません。照明器具と感知器はバスダクトの真下を避けて配置しているため、バスダクトの接続部を保守する前に照明を取り外す必要もありません。

主回路を2系統に分けても、制御電源や補助電源が1系統のまま残っていることがあります。1台の制御装置で2台のポンプを動かしている場合や、1つの制御電源で両系統のスイッチギヤの操作機構に給電している場合です。こうした依存関係を電源経路と同じ機能図に描けば、保守時と故障時の検討に制御の動きも含められます。制御装置が止まったときにポンプが運転を続けるか、通信が途絶えたときに現地の機器がどう動くか、警報が引き続き施設の監視システムに届くか、といった点です。検討の結果は端子表、I/Oリスト、インターロック説明書に反映し、工場での配線と現地での試運転が同じ資料を基準にできるようにします。

工場立会検査と現地試験の境目

工場立会検査（FAT）で試験するのは、出荷時点でモジュールに組み込まれているものです。出荷前に筐体の寸法、機器の取付位置、ケーブル引込口、接地の導通を確認し、補助配電に通電したうえで、監視信号、警報、インターロックを合意した条件で1点ずつ模擬します。主要機器まで組み込んだE-Houseであれば、試験計画に基づいて機能試験や負荷試験を行うこともできます。その記録には、試験負荷、電源条件、試験時間、判定結果を明記します。

「筐体のみ（取合い部加工済み）」で納入する場合、FATの対象は筐体と取合い部です。納入後に据え付ける主要機器は、現地の受入試験で確認します。納入品リストの項目ごとに対応する試験項目を設け、モジュールとともに出荷する記録と、現地で検証する運転状態とを分けて記載します。

電源から負荷までの経路全体を試験できるのは、現地だけです。上位電源、屋外の冷却設備、施設の監視システムを接続した後、通常はIT機器をラックに搭載する前に、統合システム試験（IST）を行います。IT機器の電力と発熱は負荷装置（ロードバンク）で模擬し、液冷の場合は冷却の二次側に液冷用の負荷装置を接続できます。試験では電源経路の停止、冷却系統の切り離し、通信の遮断を順に行い、負荷側の給電状態、冷却の流量・圧力・温度の変化、現地制御と遠方警報の応答を記録します。復旧は別に判定し、機器の運転を再開したときに、各系統の負荷分担が元に戻るか、待機側の機器が所定の待機状態に戻るかを確認します。

設計図面、FAT記録、現地試験記録で同じ機器番号・回路番号を使っておけば、現地で不合格になった試験項目を、出荷時の記録までそのままたどれます。認証もこれらの段階に合わせて組み込みます。設計図書の認証では製作前に図面を審査し、完成施設の認証では現地でシステム実証を行います。Tier認証はUptimeが、TIA-⁠942の認証はTIAが認可した認証機関が評価します。

第2期モジュールを既設系統に接続するとき

段階的な増設は、既設の経路にかかる負荷を変えます。たとえば第1期で、2系統が負荷を半分ずつ受け持ち、どちらかが停止すればもう一方が全負荷を引き受けるとします。第2期のモジュールを同じ2系統に接続すると、片系統が停止したときには、残った系統が第1期と第2期の負荷を同時に担わなければなりません。第1期で見込んだ余裕容量では足りなくなるおそれがあります。新しいモジュールをつなぐ工事そのものも、保守シナリオの1つです。既設の母線や冷却配管には、運転を止めずに使える接続口が必要です。スイッチギヤの予備回路やバルブ付きの接続口は、第1期の製作時に設けておくのがいちばん簡単です。

ロット単位の納入は、共通の製造プラットフォームを土台に、ロットごとの機器に合わせて取合い資料を更新しながら進めます。ETENZのAIデータセンター用受変電コンテナ（E-⁠House）は、高圧盤、低圧盤、SST（半導体変圧器）、蓄電池の4つの機能モジュールで構成され、盤の据付架台、バスダクトとケーブルラックの経路、補助配電、防災・セキュリティの取合いを工場で仕上げます。機器リスト、ケーブルの引込み・引出し位置、I/Oリスト、試験項目は、納入ロットごとに、そのロットの仕様に合わせて更新しています。

AIデータセンターの案件を準備している機器メーカーやシステムインテグレーターは、電源の単線結線図、冷却系統図、機器リスト、保守シナリオを出発点に、ETENZとの検討を始められます。ETENZはこれらの資料に基づいて、筐体の設計・製作、取合い部の加工、合意した範囲での付帯設備の組込みを行います。図面と試験記録はモジュールとともに納め、次のロットも同じ資料を引き継いで製作します。