Non hai sentito molto sul team dell’Infrastruttura di DreamHost (a parte la Parte 1 e la Parte 2 di questa serie)? Questo significa che stanno facendo il loro lavoro!
Nel loro mondo, il silenzio è d’oro, e il caos è sempre a pochi millisecondi di distanza.
Mentre il resto di noi sta trasmettendo in streaming, dormendo o costruendo la nostra presenza online, questo team cammina tra i corridoi freddi, controlla le dashboard, sostituisce le schede RAID e si prepara per emergenze che (speriamo) non accadano mai.
Questo è uno sguardo nelle sale operative, nei momenti strani, e nella vigilanza 24/7 che mantiene DreamHost, e il tuo sito, online.
Il Giorno In Cui Portland Si È Oscurata
Se c’è una storia che riassume la resilienza del team, è il blackout di Portland del novembre 2023.
“PGE (Portland General Electric) stava eseguendo la manutenzione su uno dei due alimentatori del data center,” ha spiegato Chris Lewis, Manager delle Operazioni del Data Center di DreamHost, riguardo a un problema con l’alimentazione elettrica dell’edificio.
Poi l’altra alimentazione è fallita, causando una completa perdita di energia.
Le batterie si sono attivate. I generatori hanno ruggito e tutto sembrava a posto. Ma quando PGE ha riattivato l’alimentazione di manutenzione, ha causato un malfunzionamento dell’interruttore, inviando una carica elettrica pericolosa che ha scatenato un incendio e fatto saltare un gruppo di interruttori. Con pochi minuti di batteria di riserva rimasti, il team si è trovato di fronte allo scenario peggiore: il completo fallimento del data center.
“Quasi il 75-80% dei nostri rack si è spento, incluso il core networking,” ha detto Chris. “È stata una follia.”
Eppure, entro 14 ore e con una collaborazione totale del team, tutto è stato ripristinato. Ecco come il team ha recuperato il servizio molto più velocemente rispetto ai 2 giorni fino a una settimana previsti nel peggiore dei casi:
- Anticipazione della Catastrofe
- Il team si aspettava un fallimento catastrofico (non specificatamente questo) che interrompesse l’alimentazione e ha proattivamente migrato verso un sistema in cui la maggior parte delle macchine potesse avviarsi senza dipendenza dalla rete, risparmiando così molto tempo.
- Manutenzione Preventiva e Sistemi Resilienti
- Manutenzione preventiva costante e sistemi resilienti (raid e zpool) hanno protetto i dati e permesso tempi ragionevoli di sostituzione anziché affrettarsi a ripristinare array danneggiati.
- Prossimità e Preparazione del Personale di Pronto Intervento
- Gli amministratori di turno vivono a un’ora di distanza dal Data Center e sono arrivati rapidamente sul posto (in questo caso, l’amministratore di turno è arrivato venti minuti dopo l’allarme).
- Con la perdita di corrente che ha bloccato le porte dall’esterno e disabilitato i sistemi di sicurezza fisica, avere qualcuno sul posto per verificare manualmente le identità è stato fondamentale—poiché permettere l’accesso a chiunque senza controlli appropriati sarebbe stata una grave violazione della sicurezza (o peggio, una violazione alla Mission: Impossible).
- Team TechOps Globale e Qualificato con una Chiara Leadership
- Un vasto team di TechOps globale e competente offre turni aggiornati e supervisione remota.
- Una leadership chiara ha indirizzato le informazioni e ha prioritizzato i compiti, reso possibile da una profonda comprensione degli strati e dalla fiducia nel team per mantenere tutti aggiornati sullo stato di tutte le parti in movimento.
💡Lo Sapevi?
I generatori diesel di DreamHost possono alimentare interi Data Center per fino a 24 ore purché continuino ad arrivare consegne di carburante. Durante l’interruzione, sono stati l’unico motivo per cui le luci (e i siti) sono rimasti accesi.
Ridondanza: L’Arte di Essere Paranoici (In Senso Positivo)
Il recupero da disastri non si improvvisa, ma viene progettato con largo anticipo.
“Presumiamo che qualcosa si romperà,” ha detto Luke Odom, Direttore delle Operazioni IT di DreamHost. “Quindi progettiamo per il fallimento.”
- Energia? Ogni rack dispone di PDUs (power distribution units) ridondanti su alimentazioni separate.
- Rete? Multipli ISP (internet service providers) tramite diversi punti di ingresso.
- Archiviazione? Array RAID, livelli di replica e backup pronti all’uso.
Chris lo dice chiaramente, applicando la Legge di Murphy, “Tutto ciò che può andare storto, andrà storto,” non è una questione di se si verificherà un fallimento, ma di quando. Il fattore critico risiede nella rapidità di recupero, o meglio ancora, nel prevenire tali eventi inaspettati.
Monitoraggio: Lo Scudo Silenzioso
Mantenere le cose online non è affascinante, ma è costante.
“Percorriamo i corridoi, controlliamo le luci, esaminiamo le dashboard ogni giorno,” ha detto Chris. “A volte l’hardware non segnala il proprio malfunzionamento, quindi andiamo a cercarlo.”
Quella diligenza significa che piccoli problemi vengono intercettati prima che diventino interruzioni complete.
I progetti attuali includono l’aggiornamento del firmware, la correzione di vulnerabilità nel codice e l’introduzione di reportistica migliorata affinché i problemi possano essere individuati (e risolti) ancora più velocemente.
“Monitoriamo tutto ciò che possiamo,” ha detto Chris. “E quando qualcosa sfugge, capiamo perché e correggiamo il sistema.”
Quando L’automazione Si Interrompe (Perché Succede)
L’automazione è utile, finché non lo è.
“Interrompiamo l’automazione regolarmente,” ha detto Luke. “Metà di quello che facciamo non è veramente automazione, sono solo strumenti che rendono il nostro lavoro manuale più veloce e semplice.”
Una grave vulnerabilità di sicurezza, ad esempio, ha costretto il team a riavviare quasi tutto e ad aggiornare il BIOS dell’intera infrastruttura. Era un processo noioso e non automatizzato, fino a quando non hanno sviluppato uno strumento per semplificare i passaggi ripetibili. Lo usano ancora oggi.
Il provisioning del server che una volta richiedeva ore ora richiede 20 minuti utilizzando OpenStack e Ansible. Ma se il firmware, le versioni del sistema operativo o i driver cambiano, gli script falliscono ed è necessario tornare al lavoro manuale.
Storia Di Guerra #2: Edizione Campo Di Mucche
A volte, il supporto all’infrastruttura avviene in luoghi… non convenzionali.
Mentre era in vacanza nel sud della Georgia, Luke ha ricevuto una chiamata: guasto del RAID. Hardware guasto e server offline. Come ultima risorsa, il team ha chiamato Luke per aiuto.
“Mi sono seduto su un quad mentre guidavo le mucche,” ha detto. “Ho guidato il tecnico nel rimontare l’array con un’unità funzionante. L’abbiamo duplicato, ricostruito il RAID e rimesso i clienti online,” ha detto.
Sì, dal centro di un campo di mucche.
Storia Di Guerra #3: Gamer Jimmy, Lo Sterminatore Di Frodi
Quasi un decennio fa, DreamHost è stata colpita da un’ondata di iscrizioni fraudolente. I pirati informatici compromettevano gli account, ordinavano server dedicati o offerte VPS e li usavano per lanciare attacchi o minare criptovalute.
Entra in scena: Gamer Jimmy.
Non un membro del team, ma un noto hacker la cui attività ha ispirato uno script interno.
“Uno dei ragazzi ha scritto uno script chiamato ‘Gamer Jimmy’”, ha detto Chris. “Cercava indicatori di frode e rifiutava automaticamente le richieste sospette.”
Ha funzionato.
💡Lo Sapevi?
L’FBI ha una volta installato una sorveglianza segreta su un cliente DreamHost: sotto il pavimento del data center. È stato scoperto successivamente durante uno spegnimento del centro. La posizione del tag dell’asset era letteralmente: sotto il pavimento.
Infrastruttura DreamHost: Gli Eroi Nascosti
Alla fine della giornata, il team dell’infrastruttura di DreamHost non si occupa solo di luci lampeggianti e flusso d’aria. Sono loro che interrompono tutto—riunioni, sonno, persino le vacanze—per mantenere il tuo sito online.
“Non ci vedi fino a quando qualcosa non si rompe,” ha detto Chris. “Ma questo è un po’ il punto. Se siamo invisibili, stiamo facendo bene il nostro lavoro.”
E se li vedi?
Probabilmente c’è un quadro elettrico in fiamme o un quadriciclo coinvolto. E in qualche modo, il tuo server ce l’ha fatta.