Не чув багато про команду інфраструктури DreamHost (окрім частин 1 та 2 цієї серії)? Це означає, що вони виконують свою роботу!
У їхньому світі тиша — золото, а хаос завжди за кілька мілісекунд.
Поки решта з нас дивиться стріми, спить або будує свою онлайн-присутність, ця команда ходить холодними коридорами, перевіряє панелі керування, замінює RAID-карти та готується до надзвичайних ситуацій, які (сподіваємося) ніколи не стануться.
Це погляд у штаби, дивні моменти та цілодобове чергування, яке тримає DreamHost та твій сайт в мережі.
День, Коли Портленд Погруз У Темряву
Якщо є одна історія, яка підсумовує стійкість команди, це відключення в Портленді у листопаді 2023 року.
“PGE (Portland General Electric) проводила технічне обслуговування однієї з двох ліній електропостачання до дата-центру,” пояснив Кріс Льюїс, менеджер з експлуатації дата-центрів DreamHost, щодо проблеми з електропостачанням будівлі.
Потім зазнала збою інша лінія живлення, що спричинило повне відключення електроенергії.
Акумулятори спрацювали. Генератори завищали, і все здавалося гаразд. Але коли PGE відновило подачу електроенергії після технічного обслуговування, це спричинило збій у комутації, відправивши небезпечний електричний заряд, який спровокував пожежу та вивів з ладу банк автоматів. Залишившись з хвилинами резервного живлення від акумуляторів, команда зіткнулася з найгіршим сценарієм: повним збоєм дата-центру.
“Майже 75-80% наших стійок вийшли з ладу, включаючи основне мережування,” сказав Кріс. “Це було божевілля.”
І все ж, протягом 14 годин та завдяки повній командній співпраці, все було відновлено. Ось як команда відновила сервіс значно швидше, ніж очікувалося від 2 днів до тижня (у гіршому випадку):
- Очікування катастрофи
- Команда очікувала на катастрофічний збій (не конкретно цей), який міг вивести з ладу живлення, та проактивно перейшла на систему, де більшість машин могли запуститися без залежності від мережі, що істотно заощадило час.
- Профілактичне обслуговування та стійкі системи
- Постійне попереднє обслуговування та надійні системи (рейди та zpools) захищали дані та дозволяли розумні терміни заміни замість поспіху з відновлення зламаних масивів.
- Близькість та Готовність чергового персоналу
- Адміністратори чергової служби живуть в межах години їзди від дата-центру і швидко були на місці (у цьому випадку, адміністратор чергової служби був на місці через двадцять хвилин після сигналу тривоги).
- З втратою живлення, що замкнуло двері ззовні та вивело з ладу системи фізичної безпеки, критично важливою була присутність когось на місці для ручної перевірки особистостей — оскільки допуск на поверх будь-кого без належної перевірки був би серйозним порушенням безпеки (або гірше, порушенням на кшталт “Місія: Нездійсненна”).
- Команда кваліфікованих та глобальних технічних операторів з чітким лідерством
- Велика, кваліфікована та глобальна команда TechOps забезпечила нові зміни та дистанційний нагляд.
- Чітке керівництво каналізувало інформацію та визначало пріоритети завдань, забезпечене глибоким розумінням рівнів та довірою до команди щодо підтримки всіх у курсі стану всіх рухомих частин.
💡Ти Знав?
Дизельні генератори DreamHost можуть забезпечувати енергією цілі дата-центри до 24 годин, доки тривають постачання палива. Під час відключення саме вони були єдиною причиною, чому світло (та сайти) продовжували працювати.
Резервування: мистецтво бути параноїком (у хорошому сенсі)
Відновлення після катастроф не вигадується на місці, його ретельно планують заздалегідь.
“Ми припускаємо, що щось зламається,” сказав Люк Одом, директор із IT-операцій DreamHost. “Тому ми проектуємо з урахуванням можливості збою.”
- Енергія? Кожна стійка оснащена резервними блоками розподілу живлення (PDUs) на окремих лініях.
- Мережа? Декілька провайдерів інтернет-послуг (ISPs) через різні точки входу.
- Сховище? Масиви RAID, шари реплікації та готові резервні копії.
Кріс каже це прямо, застосовуючи закон Мерфі, “Все, що може піти не так, піде не так,” це не питання чи станеться збій, а коли. Критичним фактором є те, наскільки швидко вони можуть відновитися, а краще ще, запобігти таким непередбаченим подіям.
Моніторинг: Тихий Щит
Утримання речей в мережі не є гламурним, але це постійно.
«Ми обходимо приміщення, перевіряємо освітлення, переглядаємо панелі керування щодня», — сказав Кріс. «Іноді обладнання не повідомляє про власний збій, тому ми його шукаємо.»
Ця ретельність означає, що невеликі проблеми вирішуються, перш ніж вони перетворяться на повноцінні відключення.
Поточні проекти включають оновлення прошивки, усунення вразливостей в коді та впровадження кращого звітування, щоб проблеми можна було виявляти (та вирішувати) ще швидше.
“Ми моніторимо все, що можемо,” сказав Кріс. “І коли щось проходить повз, ми виясняємо чому і виправляємо систему.”
Коли Автоматизація Ламається (Адже Вона Ламається)
Автоматизація корисна, поки не стане навпаки.
«Ми зламуємо автоматизацію постійно,» сказав Люк. «Половина того, що ми робимо, насправді не автоматизація, це просто інструменти, які роблять нашу ручну роботу швидшою та простішою.»
Серйозна проблема безпеки, наприклад, змусила команду перезавантажити майже все та оновити BIOS у всій своїй інфраструктурі. Це було нудно і неавтоматизовано, доки вони не створили інструмент для оптимізації повторюваних кроків. Вони все ще використовують його і сьогодні.
Розгортання сервера, на яке раніше витрачалося години, тепер займає 20 хвилин завдяки OpenStack та Ansible. Але якщо змінюються мікропрограмне забезпечення, версії ОС або драйвери, скрипти зазнають невдачі, і все повертається до роботи руками.
Історія Війни #2: Видання “Поле Корів”
Іноді підтримка інфраструктури відбувається в… нетрадиційних місцях.
Під час відпочинку на півдні Джорджії Люк отримав дзвінок: збій RAID. Обладнання вийшло з ладу, а сервери вимкнені. Як останній варіант, команда зателефонувала Люку за допомогою.
“Я сидів на квадроциклі, пасучи корів,” він сказав. “Я провів техніка через процес збирання масиву із одним справним диском. Ми скопіювали його, відновили RAID і повернули клієнтів у мережу,” він сказав.
Так, з середини коров’ячого поля.
Історія Війни #3: Геймер Джіммі, Винищувач Шахрайства
Майже десять років тому DreamHost зіткнувся з хвилею шахрайських реєстрацій. Хакери компрометували облікові записи, замовляли виділені сервери або VPS пропозиції та використовували їх для запуску атак або майнінгу криптовалюти.
Знайомтеся: Геймер Джиммі.
Не член команди, а відомий хакер, діяльність якого надихнула на внутрішній скрипт.
“Один з хлопців написав скрипт на ім’я “Gamer Jimmy”, – сказав Кріс. “Він сканував на індикатори шахрайства та автоматично відхиляв підозрілі запити.”
Це спрацювало.
💡Чи Ти Знаєш?
FBI колись встановило таємний спостережний пристрій на клієнта DreamHost: під підлогою дата-центру. Це було виявлено під час вимкнення центру. Місце розташування тега активу було буквально: під підлогою.
Інфраструктура DreamHost: Неспівані Герої
В кінці дня команда інфраструктури DreamHost — це не просто миготливі ліхтарики та повітряний потік. Вони ті, хто кидає все — зустрічі, сон, навіть відпустки — щоб твій сайт працював онлайн.
“Ти не бачиш нас, доки щось не зламається,” — сказав Кріс. “Але в цьому й суть. Якщо ми невидимі, значить ми все робимо правильно.”
А якщо ти бачиш їх?
Ймовірно, задіяний палаючий комутатор чи чотириколісник. І якимось чином, твій сервер все одно впорався.