Fiabilité des data centers modulaires : du niveau visé à l’E-House

Dans un projet de data center IA modulaire, les E-Houses électriques, les modules de calcul et les équipements de refroidissement sont fabriqués séparément, puis assemblés sur site. Le montage et le câblage en usine réduisent les travaux sur place. Plusieurs décisions qui déterminent la continuité de service sont alors prises plus tôt. Le maintien de l’alimentation des serveurs lorsqu’une voie est arrêtée pour maintenance, comme le chemin d’évacuation de la chaleur des racks lorsqu’une branche de refroidissement est isolée, dépendent de choix généralement fixés avant l’expédition des modules.

Pour les data centers modulaires à l’international, ETENZ fabrique des E-Houses de distribution électrique dont les entrées de câbles, la mise à la terre, les chemins de câbles, les traversées étanches et les interfaces de contrôle d’ambiance sont préparés en usine. Les modules sortent et sont expédiés par lots ; à leur arrivée, ils passent directement à l’installation et au raccordement. En communiquant les scénarios de maintenance au fabricant dès la conception, le projet fait réaliser les points d’isolement et les accès nécessaires avant livraison, avec moins de câbles et de tuyauteries à reprendre sur site.

Les coupures de maintenance se cachent en aval des équipements redondants

Deux onduleurs, avec une réserve de puissance et des bypass de maintenance suffisants, permettent à l’un de continuer à alimenter la charge lorsque l’autre est retiré du service. Mais si leurs sorties rejoignent le même jeu de barres, la mise hors tension de celui-ci coupe toujours l’alimentation en aval. Le refroidissement présente le même piège : deux pompes, l’une en service et l’autre en secours, ne compensent pas un filtre unique dont le nettoyage impose l’arrêt de toute la ligne. Une réponse courante consiste à séparer la distribution en voies A et B et à raccorder les équipements à double entrée aux deux voies. Côté filtration, on prévoit deux filtres en parallèle, chacun avec ses vannes d’isolement, ou un filtre duplex commutable en service.

Uptime Institute intègre cette distinction dans ses niveaux Tier. Tier III exige que chaque composant de capacité et chaque voie de distribution électrique ou de refroidissement puisse être retiré du service pour une maintenance planifiée sans perturber l’exploitation informatique. Tier IV y ajoute la tolérance aux pannes : la défaillance d’un équipement ou l’interruption d’une voie doit également laisser l’exploitation se poursuivre. Un isolement planifié et une défaillance soudaine sont deux situations différentes. Leurs séquences de transfert, actions de protection et conditions de rétablissement se testent séparément.

Pour un module préfabriqué, l’analyse va jusqu’à la charge. La chaîne électrique part de l’alimentation amont, traverse la distribution du module et les PDU de rack, puis atteint les entrées d’alimentation des serveurs. Sur le circuit primaire de refroidissement, elle relie les équipements extérieurs de rejet de chaleur au CDU, via les pompes, filtres et vannes ; le circuit secondaire relie ensuite le CDU aux plaques froides. L’examen du retrait de chaque maillon vérifie que les voies restantes reprennent la charge et que les appareils de coupure et les vannes peuvent être manœuvrés en sécurité sous tension ou sous pression. Les exigences des serveurs vis-à-vis de l’alimentation restante sont traitées dans l’article précédent, « Architecture d’alimentation data center IA : choisir les voies A/B, l’UPS et les PDU de rack ».

Ce que couvrent Tier, TIA-942 et ISO/IEC 22237

La certification Tier d’Uptime suit trois étapes. La certification des documents de conception examine les plans. La certification de l’installation construite vérifie sur site, par des démonstrations des systèmes réels, que l’installation atteint le niveau prévu. La certification de pérennité opérationnelle évalue la gestion de l’exploitation et de la maintenance. Chaque étape suppose l’obtention de la précédente. Un « Tier III » dans une documentation fournisseur peut donc désigner un objectif de conception ou une certification obtenue par un projet à une étape donnée. À l’achat, il faut préciser lequel, et pour quel projet.

Bien qu’elle porte sur les infrastructures de télécommunications des data centers, TIA-942 dépasse largement ce seul domaine. L’édition actuelle, ANSI/TIA-942-C, publiée en mai 2024, couvre les télécommunications, l’alimentation, le refroidissement, le bâtiment, la protection incendie, la sécurité et la sûreté physique. Ses niveaux vont de Rated-1 à Rated-4. Rated-3 correspond à la maintenabilité concurrente : chaque composant de capacité, y compris les composants des voies de distribution, peut être remplacé ou entretenu de façon planifiée sans interruption des services TIC. Rated-3 et Tier III poursuivent des objectifs proches, mais leurs exigences et leurs procédures de certification restent distinctes. En 2014, les deux organismes ont convenu que TIA-942 abandonnerait le terme Tier au profit de Rated. Préciser le référentiel, son édition et le niveau dans le cahier des charges fixe une seule base de réception.

ISO/IEC 22237-1:2021 classe les installations de data centers selon leur disponibilité, leur sûreté et leur efficacité énergétique. La partie 3 de la série traite de l’alimentation et de la distribution électriques ; la partie 4 porte sur le contrôle de l’environnement, notamment la température, l’écoulement des fluides et l’humidité relative. Pour un projet conçu selon ce référentiel, les exigences de classification de l’alimentation et du contrôle d’ambiance figurent dans les documents de chaque système. C’est à partir de ces documents que sont définis les arrivées et départs, les interfaces de refroidissement et les points de supervision.

Les modules préfabriqués disposent aussi d’évaluations portant sur la conception du produit. Avec TIER-Ready, le fabricant et Uptime examinent ensemble la conception d’une solution préfabriquée donnée. Une fois les modules livrés et raccordés aux alimentations électrique et frigorifique locales, le site doit encore obtenir sa certification Tier ; le statut Ready réduit le temps et le coût de cette étape. TIA-942 Ready concerne les data centers modulaires préfabriqués, avec une validité d’un an et une réévaluation annuelle. Un module « Ready » désigne donc une conception évaluée ; le niveau du site est établi par sa certification après raccordement. Le choix du référentiel et le calendrier des étapes de certification ont leur place dans le plan de livraison dès le lancement des études : la certification de conception examine précisément les plans qui précèdent la fabrication.

Dessiner les accès de maintenance aux interfaces entre modules

Lorsque les équipements électriques et informatiques occupent des modules séparés, les connexions autrefois réalisées dans un même local franchissent les limites des unités transportables. Le plan d’interfaces situe les sorties des voies A et B sur les faces de l’E-House, les entrées de câbles par le plancher ou la paroi latérale du module de calcul, la liaison du conducteur principal de terre entre modules et les vannes d’isolement de chaque branche de refroidissement. Ces positions deviennent les ouvertures du châssis, les supports de chemins de câbles, les traversées à calfeutrer et les points de fixation que l’usine réalise.

Dans un plan d’implantation, les équipements prennent vite la place nécessaire aux gestes de maintenance. Le débrochage d’un disjoncteur mobilise l’allée devant les armoires ; le démontage d’un raccord de jeu de barres exige une hauteur libre au-dessus des équipements ; une poignée de vanne a besoin de son rayon de manœuvre. Le remplacement d’un équipement complet demande aussi un passage depuis la porte du module jusqu’à l’aire de travail extérieure. L’E-House ETENZ pour les infrastructures de calcul IA mesure 3 495 mm de large : même ouvertes simultanément, les portes de toute la rangée d’armoires laissent libre l’allée d’inspection. Les luminaires et détecteurs sont décalés par rapport au dessous des canalisations préfabriquées, ce qui évite de déposer l’éclairage pour intervenir sur leurs raccords.

Deux voies de puissance peuvent encore dépendre d’une commande commune : un seul automate pilote les deux pompes, ou une seule alimentation de commande dessert les mécanismes des appareils des voies A et B. Le schéma fonctionnel utilisé pour analyser la maintenance et les pannes doit aussi montrer ces circuits auxiliaires. Il permet de vérifier si les pompes continuent à tourner lorsque l’automate est arrêté, quelle logique locale s’applique après une perte de communication et si l’alarme atteint la supervision du site. Ces réponses alimentent ensuite les plans de borniers, les listes de points et les descriptions d’interverrouillage. Le câblage en usine et la mise en service sur site s’appuient ainsi sur les mêmes documents.

Passer des essais en usine aux essais sur site

Les essais de réception en usine, ou FAT, portent sur ce qui est effectivement intégré au module avant expédition. Les dimensions, les positions des équipements, les entrées de câbles et la continuité de terre sont contrôlées. La distribution auxiliaire est mise sous tension ; les signaux de surveillance, alarmes et interverrouillages sont simulés un à un dans les conditions convenues. Pour un module dont les équipements principaux sont déjà installés, le plan d’essais peut également prévoir des essais fonctionnels ou en charge, en consignant la charge, les conditions d’alimentation, la durée et les résultats.

Si la livraison comprend l’enveloppe et les interfaces préparées, les FAT couvrent ce périmètre. Les essais des équipements principaux installés ultérieurement se poursuivent lors de la réception sur site. La liste des essais suit celle des fournitures : les procès-verbaux remis avec les modules et les scénarios restant à vérifier sur site sont identifiés séparément.

La chaîne complète ne peut être testée qu’après raccordement sur site de l’alimentation amont, du refroidissement extérieur et de la supervision. Les essais intégrés des systèmes, ou IST, ont généralement lieu avant l’installation des équipements informatiques dans les racks. Des bancs de charge simulent leur consommation électrique et leur dégagement de chaleur ; pour le refroidissement liquide, un banc de charge à refroidissement liquide peut être raccordé au circuit secondaire. Les essais retirent successivement une voie d’alimentation, isolent une branche de refroidissement et interrompent la communication. Ils enregistrent l’alimentation au niveau de la charge, les débits, pressions et températures côté refroidissement, ainsi que les réactions des commandes locales et des alarmes distantes. Le rétablissement fait l’objet d’une évaluation distincte, qui suit le retour à la répartition initiale des charges après remise en service des équipements et vérifie que le secours redevient disponible.

Les plans de conception, les procès-verbaux FAT et les comptes rendus d’essais sur site utilisent les mêmes repères d’équipements et de circuits. Si un essai sur site échoue, on retrouve directement le contrôle correspondant effectué avant expédition. La certification s’insère dans cette séquence : examen des documents de conception avant fabrication, démonstrations de l’installation construite sur site. Uptime évalue les niveaux Tier ; les certifications TIA-942 relèvent d’organismes de certification agréés par TIA.

Raccorder les modules de la deuxième phase

Une extension par phases modifie la charge des voies existantes. En première phase, chaque voie alimente la moitié de la charge et l’autre reprend tout lorsqu’une voie est retirée du service. Si les nouveaux modules de la deuxième phase se raccordent aux mêmes voies, la voie restante doit alors reprendre la charge des deux phases. La réserve prévue au départ peut ne plus suffire. Les travaux de raccordement constituent eux-mêmes un scénario de maintenance : ajouter un module au jeu de barres ou au circuit de refroidissement existant demande des points de connexion utilisables sans arrêter l’exploitation. Prévoir dès la fabrication de la première phase des départs de réserve et des raccords équipés de vannes simplifie cette intervention.

La livraison par lots repose sur une même plateforme de fabrication et sur des documents d’interfaces actualisés avec les équipements de chaque lot. L’E-House ETENZ pour les infrastructures de calcul IA comprend quatre modules fonctionnels : moyenne tension, basse tension, transformateur à semi-conducteurs et batteries. Les supports des rangées d’armoires, les parcours des jeux de barres et chemins de câbles, la distribution auxiliaire et les interfaces incendie et sûreté sont réalisés en usine. Les listes d’équipements, les positions des arrivées et départs, les listes de points et les essais correspondent à chaque lot livré.

Les fabricants d’équipements et les intégrateurs préparant un projet de data center IA peuvent engager leur coopération avec ETENZ à partir du schéma unifilaire, du schéma de refroidissement, de la liste d’équipements et des scénarios de maintenance. ETENZ s’appuie sur ces documents pour concevoir et fabriquer les enveloppes, préparer les interfaces et intégrer les sous-systèmes dans le périmètre convenu. Les plans et procès-verbaux d’essais accompagnent les modules ; les lots suivants prolongent cette même base documentaire.