Não ouviu muito sobre a equipe de Infraestrutura da DreamHost (além das partes 1 e 2 desta série)? Isso significa que eles estão fazendo o trabalho deles!
No mundo deles, o silêncio é dourado, e o caos está sempre a apenas alguns milissegundos de distância.
Enquanto o resto de nós está transmitindo, dormindo ou construindo nossa presença online, esta equipe está caminhando por corredores frios, verificando painéis de controle, substituindo cartões RAID e se preparando para emergências que (esperamos) nunca aconteçam.
Este é um vislumbre das salas de guerra, momentos estranhos e vigilância 24/7 que mantém a DreamHost, e seu site, online.
O Dia em Que Portland Ficou Escura
Se há uma história que resume a resiliência da equipe, é o incidente de Portland de novembro de 2023.
“A PGE (Portland General Electric) estava realizando manutenção em uma das duas alimentações de energia do data center,” explicou Chris Lewis, Gerente de Operações do Data Center da DreamHost, sobre um problema com o fornecimento de energia do prédio.
Então a outra fonte de energia falhou, causando uma perda total de energia.
As baterias entraram em ação. Os geradores rugiram e tudo parecia bem. Mas quando a PGE reativou a alimentação de manutenção, isso causou uma falha de comutação, enviando uma carga de energia perigosa que provocou um incêndio e explodiu um banco de disjuntores. Com minutos de bateria de reserva restantes, a equipe enfrentou o pior cenário possível: falha completa do data center.
“Quase 75-80% dos nossos racks caíram, incluindo o core networking,” disse Chris. “Foi uma loucura.”
E ainda assim, em apenas 14 horas e com a colaboração total da equipe, tudo foi restaurado. Veja como a equipe recuperou o serviço significativamente mais rápido do que os 2 dias a uma semana estimados (no pior caso):
- Antecipação de Catástrofe
- A equipe esperava uma falha catastrófica (não esta especificamente) que interrompesse a energia e proativamente migrou para um sistema onde a maioria das máquinas poderia iniciar sem dependência de rede, economizando tempo significativo.
- Manutenção Preventiva e Sistemas Resilientes
- Manutenção preventiva consistente e sistemas resilientes (raids e zpools) protegeram os dados e permitiram tempos de substituição sensatos, em vez de correr para restaurar arrays quebrados.
- Proximidade e Preparação do Pessoal de Plantão
- Os administradores de plantão vivem a uma hora do data center e estavam no local rapidamente (neste caso, o administrador de plantão estava no local vinte minutos após serem alertados).
- Com a perda de energia trancando portas pelo lado de fora e desabilitando sistemas de segurança físicos, ter alguém no local para verificar manualmente as identidades foi crucial—já que permitir a entrada de qualquer pessoa no andar sem as verificações adequadas seria uma grave violação de segurança (ou pior, uma violação ao estilo Missão: Impossível).
- Equipe de TechOps Qualificada e Global com Liderança Clara
- Uma vasta equipe de TechOps, habilidosa e global, forneceu turnos renovados e supervisão remota.
- Uma liderança clara canalizou informações e priorizou tarefas, possibilitada por um profundo entendimento das camadas e confiança na equipe para manter todos atualizados sobre o status de todas as partes móveis.
💡Você Sabia?
Os geradores a diesel da DreamHost podem alimentar centros de dados inteiros por até 24 horas, contanto que as entregas de combustível continuem. Durante a interrupção, eles foram o único motivo pelo qual as luzes (e os sites) permaneceram ligados.
Redundância: A Arte de Ser Paranóico (De Uma Boa Maneira)
O plano de recuperação de desastres não é improvisado na hora, é planejado com antecedência.
“Nós assumimos que algo vai falhar,” disse Luke Odom, Diretor de Operações de TI da DreamHost. “Então nós projetamos pensando na falha.”
- Energia? Cada rack possui PDUs redundantes (unidades de distribuição de energia) em alimentações separadas.
- Rede? Múltiplos ISPs (provedores de serviços de internet) através de diferentes pontos de entrada.
- Armazenamento? Arrays RAID, camadas de replicação e backups prontos para uso.
Chris coloca de forma clara, aplicando a Lei de Murphy, “Tudo que pode dar errado, dará errado”, não é uma questão de se o fracasso ocorrer, mas quando. O fator crítico está em quão rápido eles podem se recuperar, ou melhor ainda, prevenir que tais eventos inesperados ocorram.
Monitoramento: O Escudo Silencioso
Manter as coisas online não é glamouroso, mas é constante.
“Nós percorremos o local, verificamos as luzes, revisamos os painéis de controle todos os dias,” disse Chris. “Às vezes o hardware não reporta sua própria falha, então nós vamos procurar.”
Essa diligência significa que pequenos problemas são detectados antes que se tornem interrupções completas.
Os projetos atuais incluem atualizar firmware, corrigir vulnerabilidades de código e implementar relatórios melhores para que os problemas possam ser identificados (e resolvidos) ainda mais rapidamente.
“Monitoramos tudo o que podemos,” Chris disse. “E quando algo escapa, descobrimos o porquê e corrigimos o sistema.”
Quando a Automação Falha (Porque Ela Falha)
A automação é útil, até que não seja.
“Nós quebramos a automação regularmente,” disse Luke. “Metade do que fazemos não é realmente automação, são apenas ferramentas que tornam nosso trabalho manual mais rápido e fácil.”
Uma grande vulnerabilidade de segurança, por exemplo, forçou a equipe a reiniciar praticamente tudo e atualizar o BIOS em toda a sua infraestrutura. Foi tedioso e não automatizado, até que eles desenvolveram uma ferramenta para simplificar os passos repetíveis. Eles ainda a utilizam hoje.
A configuração de servidores que antes levava horas agora leva 20 minutos usando OpenStack e Ansible. Mas se o firmware, as versões do OS ou os drivers mudarem, os scripts falham e volta-se ao trabalho manual.
História de Guerra #2: Edição Campo de Vacas
Às vezes, o suporte à infraestrutura acontece em lugares… pouco convencionais.
Enquanto estava de férias no sul da Geórgia, Luke recebeu uma chamada: falha no RAID. Hardware desativado e servidores offline. Como último recurso, a equipe ligou para Luke pedindo ajuda.
“Eu estava em um quadriciclo enquanto cuidava das vacas,” ele disse. “Eu orientei o técnico na remontagem do array com um drive funcionando. Nós o duplicamos, reconstruímos o RAID e colocamos os clientes de volta online,” ele disse.
Sim, do meio de um campo de vacas.
História de Guerra #3: Gamer Jimmy, o Destruidor de Fraudes
Há quase uma década, a DreamHost foi atingida por uma onda de inscrições fraudulentas. Hackers comprometiam contas, solicitavam servidores dedicados ou ofertas de VPS e usavam-nos para lançar ataques ou minerar cripto.
Entre: Gamer Jimmy.
Não um membro da equipe, mas um hacker notório cuja atividade inspirou um script interno.
“Um dos rapazes escreveu um script com o nome de “Gamer Jimmy”, disse Chris. “Ele escaneava por indicadores de fraude e rejeitava automaticamente pedidos suspeitos.”
Funcionou.
💡Você Sabia?
O FBI uma vez instalou uma escuta de vigilância secreta em um cliente da DreamHost: debaixo do piso do data center. Foi descoberto posteriormente durante um desligamento do centro. O local da etiqueta do ativo era literalmente: debaixo do piso.
Infraestrutura DreamHost: Os Heróis Desconhecidos
No final do dia, a equipe de infraestrutura da DreamHost não se resume apenas a luzes piscando e fluxo de ar. Eles são aqueles que largam tudo—reuniões, sono, até férias—para manter seu site no ar.
“Você não nos vê até que algo quebre”, disse Chris. “Mas essa é a ideia. Se estamos invisíveis, estamos fazendo certo.”
E se você ver?
Provavelmente há um painel de controle em chamas ou um veículo de quatro rodas envolvido. E de alguma forma, seu servidor ainda conseguiu.