Confiabilidade do data center modular: do nível ao E-House

Em projetos modulares de data centers de IA, os E-House, os módulos de computação e os equipamentos de refrigeração são fabricados separadamente e reunidos no local de instalação. Transferir a montagem e o cabeamento para a fábrica reduz o trabalho em obra, mas também antecipa várias decisões sobre confiabilidade. A alimentação que mantém os servidores em funcionamento durante a manutenção de uma via e o circuito que retira o calor dos racks ao isolar um ramal de refrigeração costumam ser definidos antes de os módulos deixarem a fábrica.

Nos E-House de distribuição que a ETENZ fabrica para centros de computação modulares em mercados internacionais, as entradas de cabos, o aterramento, as bandejas, as aberturas seladas e as interfaces de climatização são preparados em fábrica. Os módulos são expedidos em lotes e chegam prontos para instalação e conexão. Quando os cenários de manutenção chegam ao fabricante durante o projeto, os pontos de isolamento e os espaços de acesso podem ser incorporados desde o início, reduzindo alterações em cabos e tubulações na obra.

A interrupção pode ocorrer depois dos equipamentos redundantes

Duas UPS com capacidade de reserva e bypass de manutenção suficientes podem manter a carga alimentada quando uma delas é retirada. Se as duas saídas chegam ao mesmo trecho de barramento, porém, desenergizá-lo para manutenção interrompe a alimentação a jusante. Na refrigeração, duas bombas, uma em operação e outra de reserva, podem compartilhar um único filtro. Removê-lo para limpeza exige parar o circuito e interrompe a refrigeração da carga. Uma solução comum é separar a distribuição em vias A e B e conectar a ambas os equipamentos com dupla entrada de alimentação. Para a filtragem, podem ser usadas duas unidades em paralelo com válvulas de isolamento independentes, ou um filtro dúplex que permita alternar entre câmaras durante a operação.

O sistema de classificação do Uptime Institute inclui essa condição na definição dos níveis. Tier III exige que cada componente de capacidade e cada via de distribuição elétrica e de refrigeração possam ser retirados para manutenção programada sem afetar a operação de TI. Tier IV acrescenta tolerância a falhas: a falha de um equipamento ou a interrupção de uma via também não deve afetar a operação. Isolamento programado e falha repentina são cenários diferentes; as sequências de transferência, a atuação das proteções e as condições de recuperação precisam ser testadas separadamente.

Em um módulo pré-fabricado, a verificação deve chegar até a carga. A alimentação parte da fonte a montante, passa pela distribuição do E-House e pelas PDU dos racks e chega às entradas dos servidores. Na refrigeração, o circuito primário vai dos equipamentos externos de rejeição de calor, passando por bombas, filtros e válvulas, até a unidade de distribuição de refrigerante (CDU); o secundário liga a CDU às placas frias. Ao considerar a retirada de cada elemento, verifica-se se a via restante suporta a carga e se interruptores e válvulas podem ser operados com segurança enquanto o sistema continua energizado ou pressurizado. Os requisitos do servidor para operar com uma única alimentação foram tratados no artigo anterior, «Alimentação de data centers de IA: A/B, UPS e PDU».

O que cobrem Tier, TIA-942 e ISO/IEC 22237

A certificação Tier do Uptime tem três etapas. A certificação de documentos de projeto analisa os desenhos; a da instalação construída inclui demonstrações dos sistemas no local para verificar se a instalação atende ao nível de projeto; a de sustentabilidade operacional avalia a gestão da operação e da manutenção. Cada etapa depende da conclusão da anterior. Um «Tier III» na documentação de um fornecedor pode indicar um objetivo de projeto ou uma certificação obtida por uma instalação específica em determinada etapa. Na contratação, vale esclarecer qual é o caso e qual instalação está coberta.

Embora a TIA-942 tenha o nome de norma de infraestrutura de telecomunicações para data centers, seu alcance vai além das telecomunicações. A edição vigente ANSI/TIA-942-C, publicada em maio de 2024, abrange telecomunicações, alimentação, refrigeração, arquitetura, proteção contra incêndio, segurança e proteção física. Os níveis são chamados de Rated-1 a Rated-4. Rated-3 corresponde à manutenção concorrente: todos os componentes de capacidade, inclusive os elementos das vias de distribuição, podem ser retirados, substituídos ou mantidos de forma programada sem interromper os serviços de TIC. Rated-3 e Tier III têm objetivos próximos, mas requisitos e processos de certificação distintos. Em 2014, as duas organizações acordaram que a TIA-942 deixaria de usar o termo Tier e passaria a usar Rated. Registrar o sistema, a edição e o nível no acordo técnico estabelece uma base definida para a aceitação.

A ISO/IEC 22237-1:2021 classifica as instalações de data centers por disponibilidade, segurança e eficiência energética. A parte 3 da série trata da distribuição elétrica; a parte 4, do controle ambiental, incluindo requisitos de temperatura, circulação de fluidos e umidade relativa. Nos projetos que seguem esse sistema, as classes exigidas à alimentação e ao controle ambiental constam dos documentos de cada sistema. Esses documentos definem as entradas e saídas elétricas, as interfaces de refrigeração e os pontos de monitoramento.

Os módulos pré-fabricados também têm avaliações voltadas ao projeto do produto. No TIER-Ready, o fabricante e o Uptime revisam juntos o projeto de uma solução pré-fabricada específica. Após o transporte dos módulos e a conexão à alimentação e à refrigeração locais, o data center ainda precisa da certificação Tier; a condição Ready reduz o tempo e o custo desse processo. O TIA-942 Ready se aplica a data centers modulares pré-fabricados, tem validade de um ano e revisão anual. Um módulo Ready tem seu projeto avaliado; o nível da instalação é determinado pela certificação após a conexão em obra. Escolher o sistema de certificação e suas etapas no início do projeto permite incluí-los no plano de entrega, pois a análise documental usa os desenhos anteriores à fabricação.

Espaço de manutenção nos desenhos de interfaces

Quando os equipamentos elétricos e os de TI ficam em módulos separados, conexões que antes estavam dentro de uma sala passam a cruzar os limites das unidades de transporte. É preciso definir por qual face do E-House saem as vias A e B, se os cabos entram no módulo de computação pelo piso ou pela parede lateral, como a rede de terra liga os módulos e de que lado ficam as válvulas de isolamento da refrigeração. Essas posições entram nos desenhos de interfaces entre módulos e se tornam aberturas na base, suportes de bandejas, selagens de passagens de parede e pontos de fixação executados em fábrica.

Ao distribuir os equipamentos no desenho, é fácil consumir o espaço necessário à manutenção. A extração de um disjuntor ocupa o corredor frontal; desmontar uma união de barramento exige espaço livre acima; a alavanca de uma válvula precisa de raio de giro. A substituição de um equipamento inteiro exige ainda um percurso de transporte entre a porta e a área de trabalho externa. O E-House da ETENZ para computação de IA tem 3495 mm de largura e mantém livre o corredor de inspeção mesmo com todas as portas da fila de painéis abertas. As luminárias e os detectores ficam fora da projeção vertical do barramento blindado, permitindo fazer a manutenção dessas uniões sem desmontar primeiro a iluminação.

Separar a potência em duas vias nem sempre duplica o controle e a alimentação auxiliar. Um mesmo controlador pode comandar as duas bombas, ou uma única fonte de controle alimentar os mecanismos de operação dos interruptores das duas vias. Representar esses elementos junto às vias de potência no diagrama funcional permite verificar se as bombas continuam operando com o controlador fora de serviço, qual lógica os equipamentos locais adotam quando a comunicação falha e se os alarmes chegam ao monitoramento do data center. Os resultados entram nas listas de terminais e de sinais e na descrição dos intertravamentos. A fábrica e a equipe de comissionamento usam a mesma documentação.

Como os testes de fábrica passam para a obra

Os testes de aceitação em fábrica (FAT) verificam o que já está incorporado ao módulo na entrega. Antes da expedição, são conferidos dimensões, posições dos equipamentos, entradas de cabos e continuidade de terra. A distribuição auxiliar é energizada, e sinais de monitoramento, alarmes e intertravamentos são simulados um a um nas condições acordadas. Quando os equipamentos principais já estão instalados, o plano pode incluir testes funcionais ou de carga, registrando a carga aplicada, as condições de alimentação, a duração e o resultado.

Se o fornecimento consiste no invólucro com interfaces reservadas para instalação posterior, os FAT cobrem esse invólucro e essas interfaces. A aceitação em obra continua os testes dos equipamentos principais depois de instalados. A lista de fornecimento e a lista de testes devem corresponder entre si, distinguindo os registros que acompanham a entrega dos cenários ainda pendentes de verificação no local.

A cadeia completa só pode ser testada no local de instalação. Após conectar a alimentação a montante, a refrigeração externa e o monitoramento do data center, os testes de sistemas integrados (IST) normalmente são feitos antes da instalação dos equipamentos de TI nos racks. Bancos de carga simulam o consumo elétrico e a geração de calor; na refrigeração líquida, um banco de carga refrigerado a líquido pode ser conectado ao circuito secundário. Os testes retiram sucessivamente vias de alimentação, isolam ramais de refrigeração e interrompem comunicações. São registrados a alimentação na carga, as variações de vazão, pressão e temperatura e as respostas do controle local e dos alarmes remotos. A recuperação é avaliada separadamente: como a carga volta à distribuição original quando os equipamentos retornam e se a condição de reserva é restabelecida.

Usar os mesmos identificadores de equipamentos e circuitos nos desenhos, nos registros FAT e nos testes em obra permite relacionar uma falha no teste local ao registro correspondente de fábrica. A certificação entra em etapas: revisão documental antes de fabricar e demonstrações da instalação construída no local. O Uptime avalia Tier; os organismos de certificação autorizados pela TIA avaliam TIA-942.

O que muda quando a segunda fase é conectada

A expansão em fases altera a carga das vias existentes. Na primeira fase, cada via pode alimentar metade da carga e assumir o total quando a outra é retirada. Se os novos módulos da segunda fase forem ligados às mesmas vias, a que permanecer em operação terá de suportar a carga das duas fases; a reserva prevista inicialmente pode ser insuficiente. A conexão da expansão também é um cenário de manutenção. Ligar um novo módulo ao barramento ou à tubulação existentes exige pontos de conexão que possam ser utilizados sem interromper a operação. Prever posições de disjuntores de reserva e interfaces com válvulas na fabricação da primeira fase simplifica esse trabalho.

A entrega em lotes se apoia em uma plataforma comum de fabricação e em documentação de interfaces atualizada para os equipamentos de cada lote. O E-House da ETENZ para computação de IA compreende quatro módulos funcionais: média tensão, baixa tensão, transformador de estado sólido e baterias. As bases das filas de painéis, os percursos dos barramentos e das bandejas, a distribuição auxiliar e as interfaces de proteção contra incêndio e segurança são executados em fábrica. As listas de equipamentos, as posições de entrada e saída, as listas de sinais e os testes correspondem a cada lote.

Marcas de equipamentos e integradores que preparam um data center de IA podem iniciar a colaboração com a ETENZ a partir do diagrama unifilar, do esquema de refrigeração, da lista de equipamentos e dos cenários de manutenção. Com essa base, a ETENZ projeta e fabrica os invólucros, prepara as interfaces e integra os subsistemas acordados. Os desenhos e registros de testes acompanham os módulos e servem de base documental para os lotes seguintes.