Stromversorgung für KI-Rechenzentren muss den Ausfall eines Pfades und Wartungsarbeiten verkraften. Ausgangspunkt sind die Netzteile der Server; daraus folgen die Leistung der A/B-Pfade, die USV-Überbrückung, die Rack-PDU und die Messpunkte.
Zwei Server können an zwei Strompfaden hängen und sich beim Ausfall eines Pfades trotzdem ganz unterschiedlich verhalten. Der eine läuft unter Volllast weiter, der nächste drosselt, ein anderer schaltet ab. Davon hängen die Leistung jedes Verteilpfades, die USV-Auslegung und die nach einem Fehler noch verfügbare Rechenleistung ab.
Die Stromversorgung beginnt meist mit dem Einlinienschema. Bei einem KI-Rechenmodul sollte es bis zu den Netzanschlüssen der Server reichen und das gewünschte Verhalten nach einem Pfadausfall abbilden: Welche Aufgaben laufen weiter, welche dürfen gedrosselt werden und welche können nach dem Sichern ihres Zustands stoppen? Steht das vor der Anfrage fest, lassen sich Einzelversorgung, A/B-Versorgung und verschiedene USV-Konzepte sinnvoll vergleichen.
Ein Beispiel ist der NVIDIA DGX H100/H200. Seine sechs Netzteile arbeiten in einer 4+2-Redundanz; für den normalen Betrieb müssen mindestens vier versorgt sein. Werden je drei Netzteile an Pfad A und B angeschlossen, bleiben nach dem Ausfall eines Pfades nur drei übrig. Das System kann dann mit reduzierter Leistung weiterlaufen oder abschalten. Der NVIDIA-Leitfaden für die Rechenzentrumsplanung eines DGX SuperPOD sieht eine klassische A/B-Versorgung deshalb nur für Management-Racks vor. Bei hohen Verfügbarkeitsanforderungen und Aufgaben, die sich nicht aus einem Checkpoint fortsetzen lassen, empfiehlt er mindestens drei unabhängige Einspeisungen je Rack. Je zwei der sechs Servernetzteile liegen an einem Pfad, sodass bei Ausfall oder Wartung eines Pfades vier Netzteile versorgt bleiben.
Die Aufteilung der Netzteile bestimmt die Zahl der Pfade und deren erforderliche Leistung. Rechen-, Speicher- und Netzwerkgeräte gehören deshalb von Anfang an in dieselbe Lastenliste. Für jedes Gerät sollten Eingangsspannung, Steckertyp, Zahl und Redundanz der Netzteile, die geplante Aufteilung sowie das Verhalten bei Verlust eines Pfades festgehalten werden: normaler Betrieb, Drosselung oder Abschaltung.
Ein Gerät mit nur einem Netzanschluss benötigt für die Versorgung aus zwei Quellen einen Rack-Transferschalter. Dessen Umschaltzeit muss kürzer sein als die vom Gerät tolerierte Unterbrechung. Geräte mit zwei Netzteilen werden nach Herstellervorgabe getrennt an die Rack-PDU der Pfade A und B angeschlossen. Stecken beide Leitungen in derselben PDU, sieht das zwar redundant aus, bleibt aber ein einzelner Strompfad.
Welche Lasten durchgehend versorgt sein müssen, ergibt sich aus dem Betrieb: Lassen sich Trainingsjobs aus Checkpoints fortsetzen? Kann Inferenz auf andere Knoten wechseln? Wie lange müssen Speicher und Management-Netzwerk verfügbar bleiben? Sobald Fachbereich und IT diese Fragen geklärt haben, kann die Elektroplanung den Umfang der gesicherten Versorgung festlegen.
Ein einzelner Verteilpfad muss für Wartungsarbeiten abgeschaltet werden; außerdem unterbricht jeder Fehler entlang dieses Pfades die Versorgung. Das passt zu abschaltbaren Lasten oder Anwendungen, die andere Knoten übernehmen können. Bei einer A/B-Versorgung werden beide Wege vom Rack bis zu den jeweiligen Einspeisungen, Sammelschienen und Schutzgeräten zurückverfolgt. Enden beide Pfade an derselben USV oder demselben Sammelschienenabschnitt, kann dieser gemeinsame Punkt beide Pfade gleichzeitig abschalten und muss im Einlinienschema klar erkennbar sein.
Bemessen wird nach dem Zustand, der nach Ausfall eines Pfades verbleibt. Benötigt eine IT-Last 100 kW und können ihre Netzteile die Last im Normalbetrieb teilen sowie nach einem Ausfall vollständig auf den anderen Pfad verlagern, tragen A und B zunächst jeweils rund 50 kW. Fällt A aus, muss B 100 kW übernehmen. Zwei Pfade mit je 70 kW reichen im Normalbetrieb bequem aus, im Fehlerfall mit nur noch Pfad B jedoch nicht.
Diese Rechnung läuft über jedes Element des verbleibenden Pfades: USV-Ausgang, Verteilerabgang, Stromschiene oder Kabel, Rack-PDU und Steckdose bis zum Servernetzteil. Das schwächste Glied begrenzt die nutzbare Leistung des gesamten Pfades. Zusätzlich sind Derating durch Umgebungsbedingungen, spätere Erweiterungen und Lastschwankungen zu berücksichtigen. Im Beispiel können zwei Pfade mit zusammen 140 kW Nennleistung nur 70 kW IT-Last vollständig redundant versorgen.
Ist nach einem Pfadausfall eine Lastreduzierung zulässig, gehören Zielwert, Reaktionszeit und Regelverfahren in die Lastenliste. Zwischen Ausfall und abgeschlossener Drosselung müssen der verbleibende Pfad und seine Schutzgeräte weiterhin die volle Last tragen.
Kann ein Gerät wie im DGX-Beispiel über drei Pfade mit jeweils zwei Netzteilen versorgt werden, sinkt die nötige Leistung je Pfad. Bei denselben 100 kW tragen die drei Pfade im Normalbetrieb jeweils rund 33 kW. Nach Ausfall eines Pfades übernehmen die beiden übrigen je 50 kW. Jeder Pfad kann damit für 50 kW ausgelegt werden; insgesamt sind es 150 kW. Bei zwei gegenseitig redundanten Pfaden wären je 100 kW und damit insgesamt 200 kW nötig. Die Dreipfadanordnung spart Leistung je Pfad, erfordert aber einen dritten Verteilweg samt Anschlüssen.
Eine USV in einem einzelnen Pfad überbrückt einen vorgelagerten Netzausfall, solange die Batterie die Last versorgen kann. Hinter der USV bleibt jedoch nur ein Verteilpfad. Liegt Pfad A an einer USV und Pfad B direkt am Netz, fällt bei einem Netzausfall die gesamte Last auf A. Für diesen Moment sind die Leistung von Pfad A, die verbleibende Serverleistung bei nur einem Pfad und die Batterielaufzeit zu prüfen.
Mit je einer USV in den Pfaden A und B verfügen beide Wege über eine gesicherte Versorgung. Für Wartungsfälle kommt es auf die tatsächliche Verschaltung von Bypass, Trennschaltern und Batterien an: Woher wird der Bypass gespeist, welche Teile verlieren während der Wartung ihren Schutz und wie viel Last trägt der verbleibende Pfad? Im Wartungsbypass bleibt die Last direkt aus dem Netz versorgt, die Batterie dieser USV schützt sie dann aber nicht mehr.
In vielen Angeboten bedeutet N+1 ein zusätzliches Leistungsmodul innerhalb einer modularen USV. Fällt ein Modul aus, bleibt die Ausgangsleistung erhalten. Ob Ausgangssammelschiene, Bypass und nachgelagerte Abgänge ebenfalls redundant sind, ist eine andere Frage. Zwei als N+1 bezeichnete Systeme können bei Wartung oder Fehler deshalb sehr unterschiedliche Restleistungen bieten. Im Angebot sollte genau benannt sein, welches Bauteil redundant ausgeführt ist.
USV und Batterien können im Rechenmodul, in einem separaten Power E-House oder in einer vorhandenen USV-Anlage des Standorts untergebracht werden; im Modul bleibt dann nur die Verteilung. Im Rechenmodul beanspruchen USV, Batterien und Schaltanlagen Stellfläche, und ihre Verlustwärme geht in die interne Kühllast ein. Ein separates Power E-House lässt mehr Platz für IT-Racks. Die Pfade A und B werden über getrennte Kabel oder Stromschienen herangeführt und die Schnittstellen in den Zeichnungen beider Module aufeinander abgestimmt. Der Batterieaufstellort beeinflusst außerdem Lüftung, Wartungswege und Brandabschnitte.
Server erzeugen auch im USV-Betrieb weiter Wärme. Bei einem flüssigkeitsgekühlten Rechenmodul gehören deshalb CDU-Umwälzpumpen, Steuerungen, kritische Netzwerkgeräte und die notwendige Luftkühlung zusammen mit der IT in die Liste der gesicherten Lasten. Ob auch die außen aufgestellte Wärmerückweisung gesichert werden muss, hängt vom zulässigen Temperaturanstieg, dem verfügbaren thermischen Speicher und der Zeit für ein geordnetes Abschalten ab. Wird nur die Steuerung versorgt, kann sie bei Netzausfall noch Alarm melden, während die Umwälzpumpe bereits steht.
Eine Batterielaufzeit ist nur zusammen mit den Lastbedingungen aussagekräftig. Hinter der Angabe „10 Minuten Überbrückung“ können je nach kW-Last, versorgten Geräten, Batterietemperatur, Neu- oder End-of-Life-Kapazität und Entladeschlussspannung sehr unterschiedliche Auslegungen stehen. Der Lieferant sollte für die festgelegte Konfiguration entsprechende Entladedaten vorlegen. Überbrückt die Batterie bis zum Generatorbetrieb, sind Start, Umschaltung und Lastübernahme des Generators einzurechnen.
Die Zahl der Steckplätze ist nur ein Kriterium bei der Auswahl einer Rack-PDU. Phasenanordnung und Bemessungsstrom des Eingangs, die Absicherung der Steckdosengruppen sowie die Nennwerte von Steckdosen und Anschlussleitungen müssen zur Serververkabelung passen. Rack-PDU und übergeordnete Verteilung sollten in der Anfrage getrennt aufgeführt werden.
Ein vereinfachtes Beispiel zeigt den Unterschied zwischen Normal- und Fehlerfall. Bei 60 kW AC-Eingangsleistung, symmetrischen drei Phasen mit 400 V und einem Leistungsfaktor von 0,95 beträgt der Leiterstrom I = P / (√3 × U × Leistungsfaktor), also rund 91 A. Im gleichmäßig aufgeteilten A/B-Betrieb führt jeder Pfad rund 46 A. Soll nach Ausfall eines Pfades der verbleibende Pfad weiterhin die vollen 60 kW tragen, fließen dort rund 91 A. Eine PDU mit 63 A Eingangsstrom je Pfad reicht im Normalbetrieb, überschreitet im Fehlerfall aber ihren Nennstrom.
Bei der endgültigen Auswahl sind außerdem die am stärksten belastete Phase, der Strom jeder Steckdosengruppe, die Verlegebedingungen der Kabel und das Derating der Geräte zu berücksichtigen. Obwohl die Gesamtleistung noch Reserve zeigt, kann eine Phase oder Steckdosengruppe bereits an ihrer Grenze liegen. Welcher Anteil des Nennstroms für Dauerlast genutzt werden darf, richtet sich nach den für das Projekt geltenden Anforderungen und den Bedingungen der eingesetzten Komponenten.
Die Leistungsaufnahme von GPUs folgt der Trainingslast und kann sich innerhalb kurzer Zeit stark ändern. Größe und Dauer dieser Lastsprünge sowie der Einschaltverlauf gehören in die Auslegungsunterlagen, damit dynamisches Verhalten der USV und Schutzkoordination geprüft werden können. Monatsenergie und Minutenmittelwerte zeigen solche kurzen Transienten nicht.
Ein Zähler an der Moduleinspeisung erfasst den Gesamtverbrauch. Messungen am Ein- und Ausgang der USV zeigen die Umwandlungsverluste sowie die Ausgangslast der USV. Die Messwerte der Rack-PDU helfen bei der Kapazitätsplanung, bei der Erkennung von Phasenunsymmetrien und bei der Entscheidung, ob weitere Geräte angeschlossen werden können. Kühltechnik erhält eigene Stromkreise, damit IT- und Hilfsenergie getrennt sichtbar bleiben.
Bei IT-Geräten mit zwei Netzanschlüssen ergibt die Summe aus A- und B-Messung den Energieverbrauch, wenn Messgrenze und Zeitraum identisch sind. Ein übergeordneter Zähler enthält den Verbrauch der untergeordneten Ebene bereits; beide Ebenen zu addieren würde doppelt zählen. Werden Messwerte für die Abrechnung genutzt, sind Genauigkeit, Kalibrierung und Abrechnungsverfahren gesondert zu vereinbaren.
Eine Messstellenliste enthält üblicherweise Strom, Leistung, Energie und Leistungsfaktor je Phase, Schaltzustände, den USV-Betriebszustand Netz, Batterie oder Bypass sowie die verbleibende Batteriekapazität. Fällt ein Pfad aus, sollten Betreiber im selben Bild das Ereignis und den Lastanstieg auf dem verbleibenden Pfad sehen, um über eine Drosselung entscheiden zu können. Abtastintervall, Ereigniszeitstempel und das Nachtragen von Daten nach einem Kommunikationsausfall richten sich nach Alarmierung und späterer Ereignisanalyse.
Der Abnahmeplan sollte die Betriebsfälle einzeln aufführen: Normalbetrieb unter Last, Ausfall von A, Ausfall von B, Batteriebetrieb der USV, Wartungsbypass und Wiederkehr der Versorgung. Für jede Prüfung werden Ausgangslast, Abschaltstelle, erwartete Reaktion, zulässige Unterbrechung oder Drosselung sowie die aufzuzeichnenden Spannungen, Ströme, Alarme und Betriebszustände festgelegt.
„Pfad A abschalten“ ist ohne genaue Stelle nicht eindeutig. Wird der USV-Eingang geöffnet, wechselt die USV auf Batterie und der Server erhält weiterhin Energie über diesen Pfad; geprüft wird die Batterie. Wird dagegen der USV-Ausgang oder der Rack-Abgang geöffnet, verliert der Server tatsächlich einen Pfad. Erst dann zeigt sich, ob der andere die gesamte Last tragen kann.
Verteilwege, Kapazität, Steuerung und Messung lassen sich im Werk mit Ersatzlasten prüfen. Ob Server drosseln, Netzwerke sich neu verbinden oder Anwendungen unterbrochen werden, zeigt sich erst am Standort mit angeschlossenen Originalgeräten. Die Selektivität und das Zusammenspiel der Schutzorgane werden durch Auslegungsnachweise und die passenden Prüfungen bestätigt.
Im Modul bestimmen diese Anforderungen die Anordnung der Schränke, die Führung von Stromschienen und Kabeln, den Batterieaufstellort, die Wärmeabfuhr und die Wartungsabstände. ETENZ fertigt das E-House-Gehäuse und integriert je nach Projektaufteilung Elektro-, Wärmemanagement- und Monitoringsysteme. Möglich sind vorgefertigte Schnittstellen, Werksmontage oder die Lieferung als vollständiges Modul sowie OEM-/ODM-Kooperationen.
Für die Anfrage sollte das Einlinienschema bis zu den Netzanschlüssen der Server reichen. Die Lastenliste zeigt, wie die Netzteile jedes Geräts aufgeteilt sind und wie das Gerät auf den Verlust eines Pfades reagiert. Kühltechnik gehört in die Liste der gesicherten Lasten; Abnahmeszenarien und vorhandene Netzbedingungen werden ebenfalls beigefügt. So können Anbieter Strompfade, Leistung und Überbrückungsumfang in derselben Zeichnung darstellen und Angebote lassen sich direkt vergleichen. Die Angaben zur Stromversorgung des DGX H100/H200 stammen aus den Leistungsspezifikationen im NVIDIA DGX H100/H200 User Guide und aus dem Kapitel zu den elektrischen Spezifikationen in DGX SuperPOD: Data Center Design Featuring NVIDIA DGX H100 Systems.
Danke, dass Sie ETENZ-Inhalte teilen
Schnittstellen für Flüssigkühlung gehören vor die Anfrage: Wer Lieferumfang der CDU, Betriebspunkt, Volumenstrom und Druck, Kühlmedium, Druckhaltung und das Verhalten bei Kühlungsausfall schriftlich festlegt, bekommt vergleichbare Angebote und einen planbaren Anschluss am Standort.
Stromversorgung, Kühlung und Aufstellung in der Infrastruktur für KI-Rechenzentren lassen sich nur gemeinsam auslegen – ausgehend von derselben Serverkonfiguration. Von der Rackleistung über die Wärmeabfuhr bei Flüssigkühlung bis zu Modul-Layout und Vorfertigung im Werk: welche Eingangsdaten am Projektanfang feststehen sollten.
Ein kundenspezifisches vorgefertigtes Gehäuse braucht mehr als eine Korrosivitätskategorie. ETENZ macht aus Exposition, Werkstoffen, Beschichtung, Prüfung und Ausbesserung einen kalkulierbaren und prüfbaren Lieferumfang.
Schnittstellen für Flüssigkühlung gehören vor die Anfrage: Wer Lieferumfang der CDU, Betriebspunkt, Volumenstrom und Druck, Kühlmedium, Druckhaltung und das Verhalten bei Kühlungsausfall schriftlich festlegt, bekommt vergleichbare Angebote und einen planbaren Anschluss am Standort.
ETENZ Nachrichtenzentrum
Schnittstellen für Flüssigkühlung gehören vor die Anfrage: Wer Lieferumfang der CDU, Betriebspunkt, Volumenstrom und Druck, Kühlmedium, Druckhaltung und das Verhalten bei Kühlungsausfall schriftlich festlegt, bekommt vergleichbare Angebote und einen planbaren Anschluss am Standort.
Stromversorgung, Kühlung und Aufstellung in der Infrastruktur für KI-Rechenzentren lassen sich nur gemeinsam auslegen – ausgehend von derselben Serverkonfiguration. Von der Rackleistung über die Wärmeabfuhr bei Flüssigkühlung bis zu Modul-Layout und Vorfertigung im Werk: welche Eingangsdaten am Projektanfang feststehen sollten.
Ein kundenspezifisches vorgefertigtes Gehäuse braucht mehr als eine Korrosivitätskategorie. ETENZ macht aus Exposition, Werkstoffen, Beschichtung, Prüfung und Ausbesserung einen kalkulierbaren und prüfbaren Lieferumfang.
