تغذية مركز بيانات الذكاء الاصطناعي: مسارا A/B وUPS وPDU

قد يتصرف خادمان موصولان بمسارين كهربائيين بصورة مختلفة تماماً عند فصل أحدهما. فقد يستمر أحدهما بكامل الحمل، بينما يخفض الآخر قدرته أو يتوقف. لذلك يحدد طراز الخادم سعة كل مسار، وترتيب UPS، وقدرة الحوسبة التي تبقى متاحة بعد فقدان أحد المسارين.

يبدأ تصميم التغذية عادةً من المخطط الأحادي. وفي وحدة الحوسبة يجب أن يمتد المخطط حتى مداخل الطاقة في الخوادم، وأن يطابق حالة التشغيل المطلوبة بعد الانقطاع: أي الأحمال تستمر، وأيها يمكن خفضه، وأي المهام يمكن إيقافها بعد حفظ حالتها. عندما تُحسم هذه النقاط قبل طلب العروض، تصبح مقارنة المسار الواحد ومساري A/B وخيارات UPS المختلفة مقارنةً سليمة.

ابدأ بطريقة توصيل مصادر طاقة الخادم

لنأخذ NVIDIA DGX H100/H200 مثالاً. يحتوي النظام على ست وحدات PSU بترتيب احتياطي 4+2، ويحتاج إلى بقاء أربع وحدات على الأقل تحت التغذية ليعمل بصورة طبيعية. وعند توصيل ثلاث وحدات إلى A وثلاث إلى B، لا يبقى بعد فقدان أحد المسارين سوى ثلاث وحدات؛ وقد يعمل النظام بأداء منخفض أو يتوقف. لذلك يذكر دليل تصميم مراكز بيانات DGX SuperPOD أن ترتيب A/B التقليدي مناسب لرفوف الإدارة، بينما يوصي بثلاثة مصادر مستقلة على الأقل لكل رف عندما تكون الإتاحة حرجة ولا يمكن استعادة المهام من نقطة حفظ. يوصل كل مصدر بوحدتي PSU من أصل ست، وبذلك تبقى أربع وحدات تحت التغذية عند فقدان أي مصدر أو صيانته.

طريقة توزيع وحدات PSU تحدد عدد مسارات التغذية والسعة المطلوبة لكل مسار. لذلك ينبغي أن تجمع قائمة الأحمال الأولى معدات الحوسبة والتخزين والشبكة، وأن تسجل لكل جهاز جهد الدخل، ونوع القابس، وعدد وحدات PSU وترتيبها الاحتياطي، وطريقة توزيعها المخططة، وما إذا كان الجهاز سيواصل العمل أو يخفض قدرته أو يتوقف عند فقدان مسار.

الجهاز ذو مدخل الطاقة الواحد يحتاج إلى مفتاح تحويل داخل الرف كي يستفيد من مصدرين، ويجب أن يكون زمن التحويل أقصر من مدة الانقطاع التي يتحملها الجهاز. أما الجهاز ذو مصدري الطاقة فيوصل، وفق تعليمات الشركة المصنعة، بوحدتي توزيع طاقة للرف على المسارين A وB. توصيل السلكين إلى وحدة PDU واحدة يبدو كأنه تغذية مزدوجة، لكنه يظل مساراً واحداً فعلياً.

يتوقف تحديد الأحمال التي يجب أن تبقى تحت التغذية على التشغيل: هل يمكن استعادة مهمة التدريب من نقطة حفظ؟ هل يمكن نقل خدمة الاستدلال إلى عقد أخرى؟ وكم يجب أن تصمد أنظمة التخزين وشبكة الإدارة؟ يحسم فريقا الأعمال وتقنية المعلومات هذه المتطلبات، ثم يحدد التصميم الكهربائي نطاق التغذية المستمرة على أساسها.

ما الحمل الذي يجب أن يتحمله كل مسار A/B؟

يتطلب المسار الواحد انقطاعاً عند الصيانة، كما أن أي عطل على امتداده يقطع التغذية. وهو مناسب للأحمال التي تقبل التوقف أو للخدمات التي يمكن تحويلها إلى عقد أخرى. أما في مساري A/B فيجب تتبع كل مسار من الرف صعوداً حتى مصدره ولوحة التوزيع وأجهزة الحماية الخاصة به. وإذا انتهى المساران إلى UPS واحد أو قضبان توزيع مشتركة، فإن تعطل هذا العنصر يقطعهما معاً؛ لذا يجب إظهار نقطة الاشتراك بوضوح في المخطط الأحادي.

تُحسب السعة بعد فقدان أحد المسارات. لنفترض حملاً لتقنية المعلومات قدره 100 kW، يتوزع طبيعياً بين مسارين ويمكن أن يحمله مسار واحد بالكامل عند الطوارئ. في التشغيل العادي يحمل A نحو 50 kW ويحمل B نحو 50 kW. فإذا فُقد A، وجب على B حمل 100 kW. وجود 70 kW متاحة في كل مسار يبدو مريحاً في التشغيل العادي، لكنه لا يكفي عندما يبقى B وحده.

يستمر الحساب على طول المسار المتبقي: خرج UPS، ومغذي التوزيع، وقضبان التوزيع أو الكابل، ووحدة PDU في الرف، والمقبس، حتى مدخل طاقة الخادم. أصغر سعة في هذه السلسلة تحدد سعة المسار كله. كما يجب احتساب خفض التصنيف بسبب الظروف المحيطة، والتوسعة المستقبلية، وتقلب الحمل. في المثال السابق، مجموع القيم الاسمية للمسارين 140 kW، لكنه لا يحمي سوى 70 kW من حمل تقنية المعلومات إذا كان المطلوب استمرار الحمل الكامل بعد فقدان مسار.

إذا كان المشروع يقبل خفض الحمل بعد فقدان مسار، فيجب أن تحدد قائمة الأحمال القدرة المستهدفة، والمدة اللازمة للوصول إليها، وآلية التحكم. وخلال الفترة بين فقدان المسار واكتمال الخفض، يظل المسار المتبقي وأجهزة حمايته مطالبين بتحمل الحمل الكامل.

إذا أمكن توصيل الجهاز بثلاثة مسارات كما في DGX السابق، مع وحدتي PSU لكل مسار، تنخفض السعة المطلوبة للمسار الواحد. فعند حمل 100 kW، يحمل كل مسار نحو 33 kW في التشغيل العادي؛ وبعد فقدان مسار، يحمل كل من المسارين المتبقيين 50 kW. وبذلك يكون مجموع المسارات الثلاثة 150 kW عند تخصيص 50 kW لكل مسار، مقارنةً بإجمالي 200 kW لمسارين احتياطيين سعة كل منهما 100 kW. يقلل الخيار الثلاثي سعة المسار الواحد، لكنه يضيف سلسلة توزيع ثالثة وتمديداتها.

أين يوضع UPS، وعلى أي مسار؟

يتيح UPS على مسار واحد تجاوز انقطاع المصدر العلوي خلال زمن دعم البطارية، لكن ما بعد UPS يظل مسار توزيع واحداً. وإذا كان A مزوداً بـUPS بينما يتصل B مباشرةً بالشبكة، فإن انقطاع الشبكة ينقل الحمل كله إلى A. لذلك تُراجع سعة A، وقدرة الخادم المتاحة مع مسار واحد، وزمن بطاريته عند هذه الحالة تحديداً.

عند تخصيص UPS مستقل لكل من A وB، يحصل كل مسار على دعم احتياطي. لكن الصيانة تتطلب مراجعة توصيل مسار التجاوز، ومفاتيح العزل، والبطاريات: من أين يتغذى التجاوز، وما الأجزاء التي تفقد الحماية أثناء الصيانة، وكم يستطيع المسار الآخر أن يحمل. عندما يُنقل UPS إلى مسار تجاوز الصيانة، يبقى الحمل تحت التغذية المباشرة من الشبكة، لكن بطارية ذلك UPS لم تعد تحميه.

يشير وصف N+1 في عروض كثيرة إلى إضافة وحدة قدرة واحدة داخل UPS معياري، بحيث لا يؤثر تعطل وحدة في الخرج. لكنه لا يثبت وجود احتياط في قضبان الخرج أو مسار التجاوز أو المغذيات اللاحقة. لذلك قد يحمي عرضان يحملان الوصف نفسه أجزاءً مختلفة، وقد تختلف السعة المتبقية أثناء الصيانة أو العطل بدرجة كبيرة.

يمكن وضع UPS والبطاريات داخل وحدة الحوسبة، أو تجميعهما في E-House كهربائي مستقل، أو الاعتماد على نظام UPS الموجود في الموقع مع إبقاء التوزيع فقط داخل الوحدة. في الخيار الأول تشغل هذه المعدات حيزاً كان يمكن استخدامه للرفوف، ويضاف فاقدها الحراري إلى حمل التبريد داخل الوحدة. أما الوحدة الكهربائية المنفصلة فتتيح رفوف حوسبة أكثر، ويصل المساران A وB منها بكابلات أو قضبان توزيع منفصلة، مع مطابقة الواجهات ومسارات الكابلات بين رسومات الوحدتين. كما يؤثر موقع البطاريات في التهوية وممرات الصيانة وفصل مناطق الحريق.

تستمر الخوادم في إنتاج الحرارة ما دامت تعمل على UPS. لذلك يجب أن تشمل قائمة الأحمال الاحتياطية في وحدة حوسبة مبردة بالسائل مضخات تدوير CDU ووحدات التحكم ومعدات الشبكة الحرجة وما يلزم من تبريد الهواء، إلى جانب حمل تقنية المعلومات. أما دعم مصدر التبريد الخارجي فيعتمد على ارتفاع الحرارة المسموح، والتخزين أو القصور الحراري المتاح، والوقت اللازم لإيقاف منظم. توصيل وحدة التحكم وحدها بـUPS يعني أنها ستواصل إطلاق الإنذارات عند انقطاع الكهرباء، بينما تكون مضخة الدوران قد توقفت.

لا معنى لزمن البطارية من دون شروط الحمل. فالعبارة «دعم لمدة 10 دقائق» تعطي نتائج مختلفة حسب القدرة بالكيلوواط، والمعدات المشمولة، ودرجة الحرارة، وما إذا كانت السعة محسوبة لبطارية جديدة أو عند نهاية عمرها، وجهد نهاية التفريغ. يقدم المورد بيانات التفريغ المطابقة لهذه الشروط. وإذا كانت البطارية تغطي فترة انتظار المولد، فيجب أن يشمل الزمن بدء تشغيله والتحويل إليه وتحميله.

اختر PDU الرف حسب تيار حالة العطل

عدد المخارج ليس سوى عامل واحد في اختيار PDU الرف. يجب أن تتوافق التغذية أحادية أو ثلاثية الطور، والتيار المقنن، وحماية كل مجموعة مخارج، وتصنيفات المقابس وكابلات الطاقة مع طريقة توصيل الخوادم. وفي طلب الأسعار تُدرج وحدات PDU للرفوف منفصلةً عن لوحات التوزيع العلوية.

يوضح مثال مبسط قيمة التيار المطلوبة. إذا كانت قدرة دخل التيار المتردد لرف تقنية معلومات 60 kW، على 400 V ثلاثي الطور متوازن ومعامل قدرة 0.95، فإن تيار الخط I = P ÷ (√3 × U × معامل القدرة)، أي نحو 91 A. في التشغيل العادي يتقاسم A وB الحمل ويحمل كل منهما قرابة 46 A. وإذا كان الرف مطالباً بالاستمرار عند 60 kW بعد فقدان مسار، فيمر نحو 91 A في المسار المتبقي. وحدتا PDU بمدخل 63 A لكل منهما تكفيان في التشغيل العادي، لكن التيار يتجاوز تصنيف الوحدة المتبقية بعد انقطاع المسار الآخر.

يجب أن يراعي الاختيار الفعلي الطور الأعلى حملاً، وتيار كل مجموعة مخارج، وظروف تمديد الكابلات، وخفض تصنيف المعدات. قد يظهر هامش في إجمالي kW، بينما يصل طور واحد أو مجموعة مخارج إلى الحد أولاً. أما النسبة المسموح استخدامها من التصنيف مع الحمل المستمر فتحدد وفق المتطلبات المطبقة على المشروع وظروف الأجهزة.

يتغير حمل GPU مع دورات مهام التدريب، وقد يقفز بدرجة كبيرة خلال زمن قصير جداً. لذلك ينبغي أن تتضمن بيانات الاختيار مقدار التغير ومدته وتسلسل التشغيل حتى يمكن التحقق من الاستجابة الديناميكية لـUPS وتنسيق الحماية. لا تظهر هذه القفزات في استهلاك الطاقة الشهري ولا في متوسطات القدرة بالدقائق.

وزّع نقاط القياس على مسارات التغذية

يقيس العداد عند مدخل الوحدة استهلاكها الكلي. ويكشف القياس عند دخل UPS وخرجه فاقد التحويل، كما يبين قياس الخرج مقدار حمل UPS. أما القياس داخل PDU الرف فيساعد على توزيع السعة، وكشف عدم اتزان الأطوار، وتحديد إمكان إضافة معدات. وعند وضع معدات التبريد على دوائر منفصلة، يسهل الفصل بين استهلاك تقنية المعلومات واستهلاك الأنظمة المساندة.

في معدات تقنية المعلومات ذات المدخلين، يعطي جمع قراءتي A وB ضمن حدود القياس نفسها والفترة نفسها استهلاك الجهاز. قراءة العداد العلوي تشمل بالفعل ما تقيسه العدادات اللاحقة، وإضافة المستويين تحتسب الطاقة مرتين. وإذا استُخدمت القراءات للفوترة، فيُتفق بصورة مستقلة على دقة القياس والمعايرة وطريقة التسوية.

تشمل قائمة نقاط المراقبة عادةً تيار كل طور، والقدرة، والطاقة، ومعامل القدرة، وحالة المفاتيح، وحالة UPS على الشبكة أو البطارية أو مسار التجاوز، والزمن المتبقي للبطارية. وعند فقدان مسار، يحتاج فريق التشغيل إلى رؤية حدث الانقطاع وارتفاع الحمل على المسار الآخر في الشاشة نفسها حتى يقرر خفض الحمل. وتحدد دورة أخذ العينات، والطابع الزمني للأحداث، واستعادة السجلات بعد انقطاع الاتصال وفق احتياجات الإنذار والتحليل اللاحق.

يجب أن يغطي القبول التحويل والصيانة والاستعادة

تُنظم خطة القبول حسب حالات التشغيل: الحمل الطبيعي، وفقدان A، وفقدان B، والعمل على بطارية UPS، ومسار تجاوز الصيانة، واستعادة التغذية. ولكل حالة تُحدد قيمة الحمل الابتدائي، ونقطة الفصل، وتسلسل الاستجابة المتوقع، ومدة الانقطاع أو خفض الحمل المسموح، والجهد والتيار والإنذارات وحالة الخدمة المطلوب تسجيلها.

تعطي عبارة «فصل المسار A» اختبارين مختلفين بحسب موضع الفصل. فعند فصل دخل UPS ينتقل الجهاز إلى البطارية ويبقى مدخل الخادم تحت التغذية؛ وهذا اختبار للبطارية. أما فصل خرج UPS أو مغذي الرف فيزيل فعلياً أحد مدخلي الخادم؛ وهنا يختبر ما إذا كان المسار الآخر قادراً على حمل القدرة كاملةً.

يمكن اختبار مسارات التوزيع والسعات والتحكم والقياس في المصنع بأحمال محاكية. لكن خفض تردد الخادم، وإعادة اتصال الشبكة، واستمرار الخدمة لا يمكن التحقق منها إلا في الموقع بعد توصيل المعدات الفعلية. ويُثبت تنسيق أجهزة الحماية بالمراجعة التصميمية والاختبارات المناسبة.

تحويل المتطلبات إلى E-House قابل للتنفيذ

داخل E-House تتحول هذه المتطلبات إلى ترتيب فعلي للخزائن، ومسارات القضبان والكابلات، وموقع البطاريات، والتبريد، ومساحات الصيانة. ويمكن لـETENZ، وفق تقسيم المسؤوليات في المشروع، تصنيع هيكل الوحدة ودمج الأنظمة الكهربائية وإدارة الحرارة والمراقبة، مع تجهيز الواجهات مسبقاً أو التجميع في المصنع أو تسليم الوحدة مجهزة. كما تدعم ETENZ مشاريع OEM/ODM.

عند طلب العروض، ينبغي أن يصل المخطط الأحادي إلى مداخل الطاقة في الخوادم، وأن توضح قائمة الأحمال توزيع وحدات PSU وما يحدث عند فقدان مسار، وأن تشمل قائمة الأحمال الاحتياطية معدات التبريد، وأن تسجل خطة القبول كل حالة اختبار، مع إرفاق خصائص مصدر الطاقة المتاح. وبذلك يستطيع الموردون إظهار المسارات والسعات ونطاق الدعم الاحتياطي في مخطط واحد، فتتضح فوراً قابلية مقارنة العروض. تستند معلومات تغذية DGX H100/H200 الواردة هنا إلى قسم مواصفات الطاقة في «NVIDIA DGX H100/H200 User Guide» وإلى الفصل الكهربائي من «DGX SuperPOD: Data Center Design Featuring NVIDIA DGX H100 Systems».