Heb je nog niet veel gehoord over het Infrastructure-team van DreamHost (behalve deel 1 en 2 van deze serie)? Dat betekent dat ze hun werk goed doen!
In hun wereld is stilte goud waard, en chaos is altijd slechts een paar milliseconden verwijderd.
Terwijl de rest van ons aan het streamen, slapen of onze online aanwezigheid aan het opbouwen is, loopt dit team door koude gangen, controleert dashboards, vervangt RAID-kaarten en bereidt zich voor op noodgevallen die (hopelijk) nooit gebeuren.
Dit is een kijkje in de oorlogskamers, vreemde momenten, en de 24/7 waakzaamheid die DreamHost, en jouw site, online houdt.
De Dag Dat Portland Donker Werd
Als er één verhaal is dat de veerkracht van het team samenvat, dan is het de storing in Portland van november 2023.
“PGE (Portland General Electric) voerde onderhoud uit op een van de twee stroomvoorzieningen naar het datacenter,” legde Chris Lewis, DreamHost’s Manager of Data Center Operations, uit over een probleem met de stroomvoorziening van het gebouw.
Toen de andere stroomvoorziening uitviel, was er een volledige stroomuitval.
De batterijen sprongen aan. Generatoren brulden tot leven en alles leek in orde. Maar toen PGE de onderhoudsvoeding weer inschakelde, veroorzaakte dit een schakelfout, waardoor een gevaarlijke stroomstoot werd verzonden die een brand veroorzaakte en een rij zekeringen opblies. Met nog enkele minuten back-upbatterij over, stond het team voor het ergste scenario: volledige uitval van het datacenter.
“Bijna 75-80% van onze racks viel uit, inclusief de kern van het netwerk,” zei Chris. “Het was complete waanzin.”
En toch, binnen 14 uur en een totale teaminspanning, was alles weer operationeel. Hier is hoe het team de service aanzienlijk sneller herstelde dan de geschatte 2 dagen tot een week (in het ergste geval):
- Verwachting Van Een Catastrofe
- Het team verwachtte een catastrofale storing (niet deze specifiek) die de stroom zou uitschakelen en migreerde proactief naar een systeem waar de meeste machines konden starten zonder netwerkafhankelijkheid, wat aanzienlijk veel tijd bespaarde.
- Preventief Onderhoud en Veerkrachtige Systemen
- Consistente preventieve onderhoud en veerkrachtige systemen (raids en zpools) beschermden gegevens en maakten verstandige vervangingstijden mogelijk in plaats van te haasten om defecte arrays te herstellen.
- Nabijheid en Paraatheid van Oproeppersoneel
- On-call beheerders wonen binnen een uur van het datacenter en waren snel ter plaatse (in dit geval was de on-call beheerder twintig minuten nadat ze waren gewaarschuwd ter plaatse).
- Met het stroomverlies dat deuren van buitenaf vergrendelde en fysieke beveiligingssystemen uitschakelde, was het cruciaal om iemand ter plaatse te hebben om handmatig identiteiten te verifiëren—omdat het toelaten van iemand op de verdieping zonder de juiste controles een grote beveiligingsschending zou zijn (of erger, een inbraak zoals in Mission: Impossible).
- Bekwaam en Wereldwijd TechOps Team Met Duidelijk Leiderschap
- Een groot, vakkundig en wereldwijd TechOps-team voorzag in verse diensten en afstandscontrole.
- Duidelijk leiderschap stroomlijnde informatie en prioriteerde taken, mogelijk gemaakt door een diepgaand begrip van de lagen en vertrouwen in het team om iedereen op de hoogte te houden van de status van alle bewegende onderdelen.
💡Wist Je Dat?
DreamHost’s dieselmotoren kunnen datacenters tot 24 uur van stroom voorzien zolang de brandstofleveringen blijven doorgaan. Tijdens de stroomuitval waren zij de enige reden dat de lichten (en sites) aan bleven.
Redundantie: De Kunst Van Het Paranoïde Zijn (Op Een Goede Manier)
Rampenherstel wordt niet ter plekke bedacht, het wordt ruim van tevoren ontworpen.
“We gaan ervan uit dat er iets kapot zal gaan,” zei Luke Odom, de Directeur IT Operations van DreamHost. “Dus ontwerpen we voor falen.”
- Stroom? Elk rek heeft redundante PDUs (power distribution units) op afzonderlijke feeds.
- Netwerk? Meerdere ISPs (internet service providers) via verschillende toegangspunten.
- Opslag? RAID-arrays, replicatielagen en back-ups klaar voor gebruik.
Chris zegt het duidelijk, Murphy’s wet toepassend, “Alles wat mis kan gaan, zal misgaan,” het is geen kwestie van of er een storing optreedt, maar wanneer. De cruciale factor ligt in hoe snel ze kunnen herstellen, of beter nog, dergelijke onverwachte gebeurtenissen voorkomen.
Monitoring: Het Stille Schild
Het online houden van dingen is niet glamoureus, maar wel constant.
“We doorlopen de ruimte, controleren de verlichting, bekijken de dashboards elke dag,” zei Chris. “Soms meldt de hardware zijn eigen falen niet, dus gaan we op zoek.”
Die zorgvuldigheid betekent dat kleine problemen worden opgemerkt voordat ze uitgroeien tot volledige storingen.
Huidige projecten omvatten het upgraden van firmware, het patchen van beveiligingsproblemen in de code en het uitrollen van betere rapportage zodat problemen sneller kunnen worden opgemerkt (en opgelost).
“We monitoren alles wat we kunnen,” zei Chris. “En als er iets doorheen glipt, zoeken we uit waarom en repareren we het systeem.”
Wanneer Automatisering Fout Gaat (Want Dat Gebeurt)
Automatisering is nuttig, totdat het dat niet meer is.
“We breken regelmatig automatisering,” zei Luke. “De helft van wat we doen is niet echt automatisering, het zijn gewoon hulpmiddelen die ons handmatige werk sneller en makkelijker maken.”
Een grote beveiligingskwetsbaarheid dwong het team bijvoorbeeld om vrijwel alles opnieuw op te starten en de BIOS over hun infrastructuur te upgraden. Het was een tijdrovend en niet-geautomatiseerd proces, totdat ze een tool ontwikkelden om herhaalbare stappen te stroomlijnen. Ze gebruiken het nog steeds.
Server provisioning die eerst uren in beslag nam, duurt nu slechts 20 minuten met behulp van OpenStack en Ansible. Maar als firmware, OS-versies of stuurprogramma’s wijzigen, falen scripts en is het terug naar handmatig werk.
Oorlogsverhaal #2: Koeienveld Editie
Soms gebeurt ondersteuning van de infrastructuur op… onconventionele plaatsen.
Tijdens zijn vakantie in Zuid-Georgia kreeg Luke een telefoontje: RAID-storing. Hardware defect en servers offline. Als laatste redmiddel belde het team Luke om hulp.
“Ik zat op een vierwieler terwijl ik koeien hoedde,” zei hij. “Ik begeleidde de tech bij het hermonteren van de array met één werkende schijf. We dupliceerden het, herbouwden de RAID en kregen de klanten weer online,” zei hij.
Ja, vanuit het midden van een koeienveld.
Oorlogsverhaal #3: Gamer Jimmy, Fraudebestrijder
Bijna een decennium geleden werd DreamHost getroffen door een golf van frauduleuze aanmeldingen. Hackers zouden accounts compromitteren, dedicated servers of VPS-aanbiedingen bestellen en deze gebruiken om aanvallen uit te voeren of crypto te minen.
Enter: Gamer Jimmy.
Geen teamlid, maar een beruchte hacker wiens activiteit een intern script inspireerde.
“Een van de jongens heeft een script geschreven dat ‘Gamer Jimmy’ heet,” zei Chris. “Het scande op indicatoren van fraude en wees automatisch verdachte verzoeken af.”
Het werkte.
💡Wist Je Dat?
Het FBI heeft ooit een geheime afluisterapparatuur geïnstalleerd bij een DreamHost klant: onder de vloer van het datacenter. Het werd later ontdekt tijdens een shutdown van het centrum. De locatie van het activatag was letterlijk: onder de vloer.
DreamHost Infrastructuur: De Onbezongen Helden
Aan het einde van de dag gaat het bij het infrastructuurteam van DreamHost niet alleen om knipperende lampjes en luchtstroming. Zij zijn degenen die alles laten vallen—vergaderingen, slaap, zelfs vakanties—om jouw site online te houden.
“Je ziet ons niet totdat er iets kapot gaat,” zei Chris. “Maar dat is eigenlijk het idee. Als we onzichtbaar zijn, doen we het goed.”
En als je ze wel ziet?
Er is waarschijnlijk een brandend schakelbord of een vierwieler bij betrokken. En op de een of andere manier heeft je server het toch overleefd.