Zuverlässigkeit modularer Rechenzentren: vom Entwurf zur E-House-Lieferung

Bei einem modularen KI-Rechenzentrum werden die E-Houses für die Stromversorgung, die IT-Module und die Kühltechnik getrennt im Werk gefertigt und am Standort zusammengeführt. Montage und Verkabelung im Werk verringern den Aufwand vor Ort und verlagern auch viele Entscheidungen zur Zuverlässigkeit in die Fertigungsplanung. Wie die Server bei Wartung eines Versorgungspfads weiter mit Strom versorgt werden und wohin die Wärme bei abgesperrtem Kühlzweig abgeführt wird, steht meist schon fest, bevor das Modul das Werk verlässt.

ETENZ fertigt E-Houses zur Stromverteilung für modulare Rechenzentren im Ausland. Kabeleinführungen, Erdung, Kabeltrassen, abgedichtete Durchführungen und Schnittstellen zur Klimatisierung entstehen bereits im Werk. Die Module werden in Serien gefertigt und versandt und können am Standort direkt montiert und angeschlossen werden. Liegen dem Hersteller die Wartungsszenarien schon in der Entwurfsphase vor, lassen sich Trennstellen und Wartungsflächen gleich einplanen. Das erspart Änderungen an Kabeln und Rohrleitungen vor Ort.

Wartungsbedingte Ausfälle liegen oft hinter den redundanten Geräten

Zwei USV-Anlagen können mit ausreichender Reserveleistung und Wartungsbypass so ausgelegt sein, dass eine Anlage die Last übernimmt, während die andere außer Betrieb ist. Speisen beide jedoch auf dieselbe Sammelschiene, fällt die nachgelagerte Versorgung bei deren Freischaltung zur Wartung trotzdem aus. Auf der Kühlseite besteht das gleiche Problem, wenn Betriebs- und Reservepumpe nur einen gemeinsamen Filter haben: Zur Reinigung muss der gesamte Kreislauf stillgesetzt werden. Häufig wird die Stromverteilung deshalb in unabhängige A- und B-Pfade aufgeteilt; Geräte mit zwei Versorgungseingängen werden an beide angeschlossen. Zwei parallele Filter mit eigenen Absperrventilen oder ein im Betrieb umschaltbarer Doppelfilter ermöglichen auf der Kühlseite eine Wartung bei weiterlaufender Versorgung.

Uptime Institute verankert diese Unterscheidung in seinen Tier-Definitionen. Tier III verlangt, dass jede Kapazitätskomponente sowie jeder Stromverteilungs- und Kühlversorgungspfad planmäßig zur Wartung außer Betrieb genommen werden kann, ohne den IT-Betrieb zu beeinträchtigen. Tier IV ergänzt die Fehlertoleranz: Auch der Ausfall eines einzelnen Geräts oder eines Pfads darf den Betrieb nicht beeinträchtigen. Geplantes Freischalten und ein plötzlich auftretender Fehler sind unterschiedliche Betriebsfälle. Schaltfolge, Schutzreaktion und Bedingungen für die Wiederinbetriebnahme sind getrennt zu prüfen.

Bei vorgefertigten Modulen muss diese Prüfung bis zum Verbraucher reichen. Der Strompfad führt von der übergeordneten Einspeisung über die Verteilung im E-House und die Rack-PDU bis zu den Versorgungseingängen des Servers. Der primäre Kühlkreis führt von der Wärmeabfuhr im Außenbereich über Pumpen, Filter und Ventile zur CDU; der sekundäre Kreis führt von der CDU zu den Kühlplatten. Für jedes Glied wird geprüft, ob der verbleibende Pfad nach dessen Abschaltung die Last tragen kann und ob Schalter und Ventile bei weiterhin anstehender Spannung oder Druck sicher bedienbar sind. Auch die Anforderungen des Servers an den verbleibenden Versorgungseingang spielen eine Rolle. Der vorherige Beitrag „Stromversorgung für KI-Rechenzentren: A/B-Pfade, USV und Rack-PDU“ behandelt diesen Punkt ausführlich.

Was Tier, TIA-942 und ISO/IEC 22237 jeweils regeln

Die Tier-Zertifizierung von Uptime erfolgt in drei aufeinander aufbauenden Schritten. Die Zertifizierung der Entwurfsunterlagen prüft die Zeichnungen. Bei der Zertifizierung der errichteten Anlage wird anhand von Systemdemonstrationen vor Ort nachgewiesen, dass die ausgeführte Anlage den geplanten Tier erfüllt. Die Zertifizierung der Operational Sustainability bewertet das Betriebs- und Instandhaltungsmanagement. Jeder Schritt setzt den vorherigen voraus. „Tier III“ in Lieferantenunterlagen kann daher ein Planungsziel bezeichnen oder eine Zertifizierung, die ein bestimmtes Projekt in einer bestimmten Phase erhalten hat. Im Einkauf ist zu klären, welche Aussage gemeint ist und auf welches Projekt sie sich bezieht.

TIA-942 trägt zwar die Telekommunikationsinfrastruktur von Rechenzentren im Namen, reicht aber darüber hinaus. Die aktuelle ANSI/TIA-942-C erschien im Mai 2024 und umfasst Telekommunikation, Stromversorgung, Kühlung, Bauwerk, Brandschutz, Betriebssicherheit und physische Sicherheit. Die Stufen heißen Rated-1 bis Rated-4. Rated-3 fordert Wartbarkeit bei laufendem Betrieb: Jede Kapazitätskomponente, einschließlich der Komponenten in den Stromverteilungspfaden, muss planmäßig ausgebaut, ersetzt oder gewartet werden können, ohne die IKT-Dienste zu unterbrechen. Rated-3 und Tier III verfolgen ähnliche Ziele, haben jedoch eigene Anforderungen und Zertifizierungsverfahren. 2014 vereinbarten die beiden Organisationen, dass TIA-942 künftig „Rated“ statt „Tier“ verwendet. Werden System, Ausgabe und Stufe in der technischen Vereinbarung festgehalten, steht die Grundlage für die Abnahme eindeutig fest.

ISO/IEC 22237-1:2021 klassifiziert Rechenzentrumsinfrastrukturen nach Verfügbarkeit, Sicherheit und Energieeffizienz. Teil 3 der Reihe behandelt die Stromverteilung, Teil 4 die Umgebungsregelung mit Anforderungen unter anderem an Temperatur, Fluidbewegung und relative Luftfeuchte. Bei Projekten nach diesem Regelwerk werden die geforderten Klassen für Stromversorgung und Umgebungsregelung in den jeweiligen Systemunterlagen festgehalten. Daraus ergeben sich die Ein- und Ausgänge der Stromversorgung, die Kühlanschlüsse und die Überwachungspunkte.

Für vorgefertigte Module gibt es zusätzlich Bewertungen auf Ebene des Produktentwurfs. Im TIER-Ready-Programm von Uptime prüfen Hersteller und Uptime gemeinsam den Entwurf einer bestimmten vorgefertigten Lösung. Nach Lieferung und Anschluss an die örtliche Stromversorgung und Kühlung benötigt der Standort weiterhin eine Tier-Zertifizierung; der Ready-Status verkürzt diesen Weg und verringert dessen Kosten. TIA-942 Ready richtet sich an vorgefertigte modulare Rechenzentren, gilt ein Jahr und wird jährlich überprüft. Der Ready-Status eines Moduls bezieht sich auf dessen Entwurf. Die Einstufung des Standorts ergibt sich erst aus der Zertifizierung nach dem Anschluss vor Ort. Das Zertifizierungssystem und seine Prüfphasen sollten deshalb zu Beginn der Planung in den Lieferablauf aufgenommen werden. Die Zertifizierung der Entwurfsunterlagen prüft schließlich genau die Zeichnungen, nach denen anschließend gefertigt wird.

Wartungsflächen gehören in die Schnittstellenzeichnungen

Werden Elektro- und IT-Ausrüstung in getrennten Modulen untergebracht, verlaufen Verbindungen über die Grenzen der Transporteinheiten hinweg. Die Schnittstellenzeichnung legt die Austrittsseite der A- und B-Leitungen am E-House, die Kabeleinführung durch Boden oder Seitenwand des IT-Moduls, die Erdungsverbindung zwischen den Modulen und die Position der Kühlabsperrventile auf der jeweiligen Schnittstellenseite fest. Daraus ergeben sich die im Werk herzustellenden Grundrahmenöffnungen, Kabeltrassenhalterungen, abgedichteten Wanddurchführungen und Gerätebefestigungen.

Im Aufstellungsplan verdrängen Geräte leicht die Flächen, die später für Wartungsarbeiten gebraucht werden. Zum Herausziehen eines Leistungsschalters wird Platz im Gang vor der Schaltanlage benötigt, für Arbeiten an Stromschienenverbindungen Freiraum oberhalb der Geräte. Ventilhebel brauchen einen freien Schwenkbereich. Der Austausch eines kompletten Geräts erfordert außerdem einen Transportweg durch die Modultür bis zur Arbeitsfläche im Freien. Das E-House von ETENZ für die Stromversorgung von KI-Rechenmodulen ist 3.495 mm breit; selbst bei vollständig geöffneten Türen der gesamten Schrankreihe bleibt der Kontrollgang frei. Leuchten und Melder sitzen nicht unmittelbar unter dem Stromschienenkanal, sodass für Arbeiten an einer Verbindung keine Leuchte vorab demontiert werden muss.

Auch bei zwei getrennten Leistungspfaden können Steuerung und Hilfsversorgung gemeinsam bleiben: Eine Steuerung bedient beide Pumpen, oder eine Steuerspannungsversorgung speist die Schaltantriebe beider Pfade. Werden diese Abhängigkeiten mit den Leistungspfaden in einem Funktionsplan dargestellt, lässt sich prüfen, ob die Pumpen bei abgeschalteter Steuerung weiterlaufen, wie die örtlichen Geräte auf einen Kommunikationsausfall reagieren und ob Alarme noch die Standortüberwachung erreichen. Die Ergebnisse gehen in Klemmenpläne, I/O-Listen und Verriegelungsbeschreibungen ein. Damit verwenden Werksverdrahtung und Inbetriebnahme vor Ort dieselben Unterlagen.

Wie Werksabnahme und Systemtests vor Ort ineinandergreifen

Die Werksabnahme (Factory Acceptance Test, FAT) prüft den bei Auslieferung bereits eingebauten Umfang. Vor dem Versand werden Gehäuseabmessungen, Gerätepositionen, Kabeleinführungen und Erdungsdurchgängigkeit geprüft. Die Hilfsverteilung wird unter Spannung getestet; Überwachungssignale, Alarme und Verriegelungen werden einzeln unter vereinbarten Bedingungen simuliert. Bei einem integrierten E-House mit eingebauten Hauptgeräten sind gemäß Prüfplan auch Funktions- oder Lasttests möglich. Die Protokolle halten Prüflast, Versorgungsbedingungen, Dauer und Abnahmeergebnis fest.

Werden das Gehäuse und vorbereitete Schnittstellen geliefert, umfasst der FAT genau diese Teile. Die Prüfung der erst am Standort eingebauten Hauptgeräte erfolgt anschließend bei der Abnahme vor Ort. Liefer- und Prüfliste werden Position für Position aufeinander abgestimmt. Die mitgelieferten Prüfprotokolle und die noch am Standort zu prüfenden Betriebsfälle werden getrennt aufgeführt.

Die vollständige Versorgungskette lässt sich erst am Standort prüfen. Nach Anschluss der übergeordneten Einspeisung, der Kühlung im Außenbereich und der Standortüberwachung erfolgt der integrierte Systemtest (IST) normalerweise, bevor die IT-Geräte in die Racks eingebaut werden. Lastbänke simulieren die elektrische Last und Wärmeabgabe der IT; für den Flüssigkühlteil kann eine flüssigkeitsgekühlte Lastbank im sekundären Kreis angeschlossen werden. Nacheinander werden Strompfade außer Betrieb genommen, Kühlzweige abgesperrt und Kommunikationsverbindungen unterbrochen. Erfasst werden die Stromversorgung am Verbraucher, Durchfluss-, Druck- und Temperaturänderungen sowie die Reaktionen der örtlichen Steuerung und der Fernalarmierung. Die Rückkehr zum Normalbetrieb wird separat bewertet. Dabei werden die Lastverteilung nach Wiederzuschaltung und die Wiederherstellung der Reservefunktion geprüft.

Einheitliche Geräte- und Stromkreiskennzeichen in Entwurfszeichnungen, FAT-Protokollen und Prüfprotokollen vom Standort machen einen fehlgeschlagenen Vor-Ort-Test bis zum zugehörigen Werkseintrag rückverfolgbar. Die Zertifizierung wird in diese Phasen eingeplant. Vor der Fertigung werden die Entwurfsunterlagen geprüft; an der errichteten Anlage finden Systemdemonstrationen statt. Tier-Zertifizierungen bewertet Uptime, TIA-942-Zertifizierungen bewerten von TIA zugelassene Zertifizierungsstellen.

Was sich mit der zweiten Ausbaustufe ändert

Ein stufenweiser Ausbau verändert die Belastung vorhandener Pfade. In der ersten Ausbaustufe können zwei Pfade jeweils die halbe Last tragen; fällt einer für Wartungsarbeiten weg, übernimmt der andere die gesamte Last. Werden die neuen Module der zweiten Stufe an dieselben Pfade angeschlossen, muss der verbleibende Pfad nun beide Ausbaustufen gleichzeitig versorgen. Die ursprünglich vorgesehene Reserve reicht dafür möglicherweise nicht aus. Auch das Anschließen selbst ist ein Wartungsfall: Bestehende Sammelschienen und Kühlleitungen brauchen Anschlussstellen, die bei weiterlaufendem Betrieb nutzbar sind. Reserveabgänge und mit Ventilen versehene Anschlussstellen lassen sich am einfachsten bereits bei der Fertigung der ersten Stufe vorsehen.

Serienlieferungen beruhen auf einer gemeinsamen Fertigungsplattform und auf Schnittstellenunterlagen, die für die Ausrüstung jeder Charge aktualisiert werden. Das E-House von ETENZ für die KI-Stromversorgung besteht aus vier Funktionsmodulen: Mittelspannung, Niederspannung, Halbleitertransformator (SST) und Batterie. Schrankunterkonstruktionen, Stromschienen- und Kabeltrassenführungen, Hilfsverteilung sowie Schnittstellen für Brandschutz und Sicherheitstechnik entstehen im Werk. Gerätelisten, Ein- und Ausgangspositionen, I/O-Listen und Prüfpunkte sind der jeweiligen Liefercharge zugeordnet.

Gerätehersteller und Systemintegratoren können die Zusammenarbeit mit ETENZ für ein KI-Rechenzentrumsprojekt auf Grundlage des einpoligen Stromlaufplans, des Kühlschemas, der Geräteliste und der Wartungsszenarien beginnen. ETENZ übernimmt anhand dieser Unterlagen Gehäusekonstruktion und Fertigung, die Vorbereitung der Schnittstellen und die vereinbarte Integration von Teilsystemen. Zeichnungen und Prüfprotokolle werden mit den Modulen geliefert; spätere Chargen bauen auf demselben Dokumentensatz auf.