Tu n’as pas beaucoup entendu parler de l’équipe d’Infrastructure de DreamHost (à part les parties 1 et 2 de cette série) ? Cela signifie qu’ils font bien leur travail !
Dans leur monde, le silence est d’or, et le chaos est toujours à seulement quelques millisecondes.
Tandis que le reste d’entre nous regarde des vidéos en streaming, dort ou construit sa présence en ligne, cette équipe parcourt les allées froides, vérifie les tableaux de bord, remplace les cartes RAID et se prépare à des urgences qui (espérons-le) n’arriveront jamais.
Ceci est un aperçu des salles de guerre, des moments étranges, et de la vigilance 24/7 qui maintient DreamHost, et ton site, en ligne.
Le Jour Où Portland S’est Assombrie
S’il y a une histoire qui résume la résilience de l’équipe, c’est la panne de Portland de novembre 2023.
« PGE (Portland General Electric) effectuait une maintenance sur l’un des deux alimentations électriques du centre de données », a expliqué Chris Lewis, le responsable des opérations du centre de données chez DreamHost, concernant un problème avec l’alimentation électrique du bâtiment.
Ensuite, l’autre source d’alimentation a échoué, provoquant une perte de puissance complète.
Les batteries se sont activées. Les générateurs ont rugi et tout semblait correct. Mais lorsque PGE a réactivé l’alimentation de maintenance, cela a provoqué un dysfonctionnement de commutation, envoyant une charge électrique dangereuse qui a déclenché un incendie et fait exploser un banc de disjoncteurs. Avec quelques minutes de batterie de secours restantes, l’équipe était confrontée à un scénario catastrophe : une panne complète du centre de données.
« Presque 75-80% de nos racks sont tombés en panne, y compris le réseau principal », a déclaré Chris. « C’était de la folie. »
Et pourtant, en seulement 14 heures et grâce à une collaboration totale de l’équipe, tout était rétabli. Voici comment l’équipe a rétabli le service bien plus rapidement que les 2 jours à une semaine estimés (dans le pire des cas) :
- Anticipation de Catastrophe
- L’équipe s’attendait à une panne catastrophique (pas celle-ci spécifiquement) pour couper le courant et a proactivement migré vers un système où la plupart des machines pouvaient démarrer sans dépendance au réseau, économisant ainsi beaucoup de temps.
- Maintenance Préventive et Systèmes Résilients
- Une maintenance préventive constante et des systèmes résilients (raids et zpools) ont protégé les données et permis des remplacements judicieux plutôt que de se précipiter pour restaurer des ensembles défectueux.
- Proximité et Préparation du Personnel d’Intervention
- Les administrateurs d’astreinte habitent à moins d’une heure du centre de données et étaient sur place rapidement (dans ce cas, l’administrateur d’astreinte était sur place vingt minutes après avoir été alerté).
- Avec la perte de courant verrouillant les portes de l’extérieur et désactivant les systèmes de sécurité physique, avoir quelqu’un sur place pour vérifier manuellement les identités était crucial—car laisser entrer quelqu’un sans les vérifications appropriées serait une violation majeure de la sécurité (ou pire, une violation à la Mission: Impossible).
- Équipe TechOps Compétente et Mondiale avec un Leadership Clair
- Une équipe TechOps vaste, compétente et mondiale a fourni des changements frais et une supervision à distance.
- Un leadership clair a canalisé les informations et priorisé les tâches, permis par une compréhension approfondie des niveaux et une confiance dans l’équipe pour tenir tout le monde informé de l’état de toutes les pièces en mouvement.
💡Le Saviez-Vous ?
Les générateurs diesel de DreamHost peuvent alimenter des centres de données entiers pendant jusqu’à 24 heures tant que les livraisons de carburant continuent. Lors de la panne, ils étaient la seule raison pour laquelle les lumières (et les sites) restaient allumées.
Redondance : L’Art D’Être Paranoïaque (De Manière Positive)
La récupération en cas de désastre n’est pas improvisée, elle est conçue bien à l’avance.
« Nous supposons que quelque chose va se briser, » a déclaré Luke Odom, le Directeur des Opérations IT de DreamHost. « Donc nous concevons en prévision de l’échec. »
- Alimentation ? Chaque rack dispose de PDU (unités de distribution d’énergie) redondants sur des alimentations séparées.
- Réseau ? Plusieurs FAI (fournisseurs d’accès à internet) via différents points d’entrée.
- Stockage ? Tableaux RAID, couches de réplication et sauvegardes prêts à l’emploi.
Chris l’exprime clairement, en appliquant la Loi de Murphy, “Tout ce qui peut mal tourner, tournera mal”, ce n’est pas une question de si un échec se produit, mais de quand. Le facteur crucial réside dans la rapidité avec laquelle ils peuvent se rétablir, ou mieux encore, empêcher de tels événements inattendus de se produire.
Surveillance : Le Bouclier Silencieux
Garder les choses en ligne n’est pas glamour, mais c’est constant.
« Nous parcourons les locaux, vérifions les lumières, examinons les tableaux de bord chaque jour, » a dit Chris. « Parfois, le matériel ne signale pas sa propre panne, alors nous allons chercher. »
Cette diligence signifie que les petits problèmes sont détectés avant qu’ils ne deviennent de véritables pannes.
Les projets actuels incluent la mise à niveau du firmware, le colmatage des vulnérabilités du code et le déploiement de meilleurs rapports pour que les problèmes puissent être détectés (et résolus) encore plus rapidement.
« Nous surveillons tout ce que nous pouvons, » a dit Chris. « Et lorsque quelque chose nous échappe, nous découvrons pourquoi et nous réparons le système. »
Quand L’automatisation Échoue (Car Elle Le Fait)
L’automatisation est utile, jusqu’à ce qu’elle ne le soit plus.
« Nous brisons l’automatisation régulièrement », a déclaré Luke. « La moitié de ce que nous faisons n’est pas vraiment de l’automatisation, ce sont juste des outils qui rendent notre travail manuel plus rapide et plus facile. »
Une importante vulnérabilité de sécurité, par exemple, a obligé l’équipe à redémarrer presque tout et à mettre à jour le BIOS sur toute leur infrastructure. C’était fastidieux et non automatisé, jusqu’à ce qu’ils créent un outil pour rationaliser les étapes répétables. Ils l’utilisent encore aujourd’hui.
La configuration des serveurs qui nécessitait auparavant des heures ne prend maintenant que 20 minutes avec OpenStack et Ansible. Mais si le firmware, les versions de l’OS ou les pilotes changent, les scripts échouent et il faut revenir à un travail manuel.
Histoire De Guerre #2 : Édition Champ De Vaches
Parfois, le support de l’infrastructure se fait dans des lieux… peu conventionnels.
En vacances dans le sud de la Géorgie, Luke a reçu un appel : échec du RAID. Matériel hors service et serveurs hors ligne. En dernier recours, l’équipe a appelé Luke à l’aide.
« Je me suis assis sur un quad en gardant les vaches, » a-t-il dit. « J’ai guidé le technicien pour réassembler l’array avec un disque fonctionnel. Nous l’avons dupliqué, reconstruit le RAID, et remis les clients en ligne, » a-t-il dit.
Oui, depuis le milieu d’un champ de vaches.
Histoire de Guerre #3 : Jimmy le Gamer, Pourfendeur de Fraude
Il y a près d’une décennie, DreamHost a été touché par une vague d’inscriptions frauduleuses. Des pirates ont compromis des comptes, commandé des serveurs dédiés ou des offres VPS, et les ont utilisés pour lancer des attaques ou miner de la crypto-monnaie.
Entrez : Gamer Jimmy.
Pas un membre de l’équipe, mais un pirate notoire dont l’activité a inspiré un script interne.
« Un des gars a écrit un script nommé d’après “Gamer Jimmy”, a dit Chris. « Il scannait les indicateurs de fraude et rejetait automatiquement les demandes suspectes. »
Ça a fonctionné.
💡Le Saviez-Vous ?
Le FBI a autrefois installé une écoute secrète de surveillance sur un client de DreamHost : sous le sol du centre de données. Elle a été découverte plus tard lors d’un arrêt du centre. L’emplacement de l’étiquette d’actif était littéralement : sous le plancher.
Infrastructure DreamHost : Les Héros Méconnus
À la fin de la journée, l’équipe d’infrastructure de DreamHost ne se résume pas à des lumières clignotantes et à un flux d’air. Ce sont eux qui laissent tout tomber—réunions, sommeil, même les vacances—pour garder ton site en ligne.
« Tu ne nous vois pas jusqu’à ce que quelque chose se brise, » a dit Chris. « Mais c’est un peu le but. Si nous sommes invisibles, c’est que nous faisons bien notre travail. »
Et si tu les vois ?
Il y a probablement un tableau de connexion en feu ou un quadricycle impliqué. Et d’une manière ou d’une autre, ton serveur a quand même tenu le coup.