Не слышал много о команде инфраструктуры DreamHost (кроме частей 1 и 2 этой серии)? Это значит, что они делают свою работу!
В их мире тишина — золото, а хаос всегда на расстоянии нескольких миллисекунд.
Пока все мы смотрим фильмы, спим или создаём своё онлайн-присутствие, эта команда ходит по холодным коридорам, проверяет панели управления, заменяет RAID-карты и готовится к чрезвычайным ситуациям, которые (надеемся) никогда не произойдут.
Это взгляд в комнаты для военных совещаний, странные моменты и круглосуточное бдение, которое поддерживает DreamHost и ваш сайт в режиме онлайн.
День, Когда Портленд Погрузился Во Тьму
Если есть одна история, которая олицетворяет стойкость команды, это отключение в Портленде в ноябре 2023 года.
«PGE (Portland General Electric) проводила техническое обслуживание одного из двух источников питания центра обработки данных», — объяснил Крис Льюис, менеджер по эксплуатации центров обработки данных DreamHost, касательно проблемы с электроснабжением здания.
Затем другой источник питания вышел из строя, что привело к полной потере энергии.
Батареи включились. Генераторы завоевали, и все казалось в порядке. Но когда PGE включила обслуживающую линию снова, это вызвало сбой в переключении, послав опасный заряд энергии, который вызвал возгорание и вывел из строя ряд выключателей. С оставшимися минутами резервного питания батареи, команда столкнулась с худшим сценарием: полный сбой центра обработки данных.
«Почти 75-80% наших стоек вышли из строя, включая основное сетевое оборудование,» — сказал Крис. «Это было безумие.»
И тем не менее, всего за 14 часов и при полном сотрудничестве команды всё было восстановлено. Вот как команда справилась с восстановлением сервиса значительно быстрее, чем предполагаемые 2 дня до недели (в худшем случае):
- Предвидение катастрофы
- Команда предвидела катастрофический сбой (не этот конкретно) и, чтобы избежать выхода из строя питания, заблаговременно перевела систему на режим, при котором большинство машин могли запускаться без зависимости от сети, что значительно сэкономило время.
- Профилактическое обслуживание и устойчивые системы
- Постоянное профилактическое обслуживание и устойчивые системы (рейды и zpools) защищали данные и позволяли осуществлять своевременную замену, вместо спешки с восстановлением сломанных массивов.
- Близость и Готовность Дежурного Персонала
- Администраторы на дежурстве находятся в часе езды от центра обработки данных и быстро прибывают на место (в этом случае администратор был на месте через двадцать минут после оповещения).
- Из-за потери питания, запирающей двери снаружи и отключающей системы физической безопасности, наличие кого-то на месте для ручной проверки личностей было критически важно — поскольку допуск любого лица на этаж без должной проверки был бы серьёзным нарушением безопасности (или хуже, нарушением как в «Миссия невыполнима»).
- Квалифицированная глобальная команда TechOps с чётким руководством
- Огромная, квалифицированная и глобальная команда TechOps обеспечила новые смены и удаленное наблюдение.
- Четкое руководство сортировало информацию и расставляло приоритеты задач, что стало возможным благодаря глубокому пониманию уровней и доверию к команде, чтобы держать всех в курсе статуса всех движущихся частей.
💡Знаете ли Вы?
Дизельные генераторы DreamHost могут обеспечивать питание целых центров обработки данных до 24 часов, пока продолжаются поставки топлива. Во время отключения они были единственной причиной, по которой свет (и сайты) оставались включенными.
Избыточность: Искусство Быть Параноиком (в Хорошем Смысле)
Восстановление после сбоев не придумывается на ходу, оно заранее спроектировано.
«Мы предполагаем, что что-то сломается», — сказал Люк Одом, директор по ИТ-операциям DreamHost. «Поэтому мы проектируем с учетом возможности неудачи».
- Электропитание? Каждая стойка оснащена избыточными блоками распределения питания (PDUs) на разных линиях.
- Сеть? Несколько интернет-провайдеров (ISPs) через разные точки входа.
- Хранилище? Массивы RAID, слои репликации и готовые резервные копии.
Крис говорит прямо, применяя закон Мерфи: «Всё, что может пойти не так, пойдет не так», это не вопрос если произойдет сбой, а когда. Критический фактор заключается в том, насколько быстро они могут восстановиться или, что лучше, предотвратить такие неожиданные события.
Мониторинг: Невидимый Щит
Поддержание работоспособности сайта не блещет изысками, но это непрерывный процесс.
«Мы ходим по залу, проверяем освещение, просматриваем панели управления каждый день,» — сказал Крис. «Иногда оборудование не сообщает о своём сбое, поэтому мы идём и ищем.»
Эта тщательность означает, что небольшие проблемы выявляются до того, как они превратятся в полноценные отказы.
Текущие проекты включают обновление прошивки, устранение уязвимостей в коде и внедрение улучшенной отчетности, чтобы проблемы можно было обнаружить (и решить) еще быстрее.
«Мы контролируем все, что можем,» — сказал Крис. «И когда что-то ускользает, мы выясняем почему и исправляем систему.»
Когда Автоматизация Ломается (Потому Что Это Происходит)
Автоматизация полезна, пока она не станет бесполезной.
«Мы регулярно нарушаем автоматизацию,» сказал Люк. «Половина того, что мы делаем, на самом деле не автоматизация, это просто инструменты, которые делают нашу ручную работу быстрее и легче.»
Большая уязвимость в безопасности, например, вынудила команду перезагрузить почти все и обновить BIOS по всей инфраструктуре. Это было утомительно и неавтоматизированно, пока они не создали инструмент для оптимизации повторяющихся шагов. Они по-прежнему используют его и сегодня.
Развертывание сервера, которое ранее занимало часы, теперь занимает 20 минут с использованием OpenStack и Ansible. Но если прошивка, версии ОС или драйверы изменяются, скрипты выдают сбои, и все возвращается к ручной работе.
Военная История №2: Издание «Коровье Поле»
Иногда поддержка инфраструктуры происходит в… необычных местах.
Отдыхая на юге Джорджии, Люк получил звонок: сбой RAID. Оборудование вышло из строя, и серверы оказались в автономном режиме. В качестве последней меры команда позвонила Люку за помощью.
«Я сидел на квадроцикле, пока пас коров,» — сказал он. «Я проводил техника через процесс сборки массива с одним рабочим диском. Мы его скопировали, восстановили RAID и вернули клиентов в онлайн,» — сказал он.
Да, прямо из середины коровьего поля.
Военная История #3: Геймер Джимми, Уничтожитель Мошенничества
Почти десять лет назад DreamHost столкнулся с волной мошеннических регистраций. Хакеры взламывали аккаунты, заказывали выделенные серверы или VPS, и использовали их для проведения атак или майнинга криптовалют.
Войди: Gamer Jimmy.
Не член команды, а известный хакер, деятельность которого вдохновила на создание внутреннего скрипта.
«Один из парней написал скрипт под названием «Геймер Джимми», — сказал Крис. «Он сканировал на предмет признаков мошенничества и автоматически отклонял подозрительные запросы».
Это сработало.
💡Знаете ли вы?
ФБР однажды установило секретный прослушивающий устройство на клиента DreamHost: под полом центра обработки данных. Это было обнаружено во время остановки центра. Место установки тега актива буквально: под полом.
Инфраструктура DreamHost: Непризнанные Герои
В конце дня команда по инфраструктуре DreamHost — это не только мигающие лампочки и воздушный поток. Это те люди, которые бросают всё — собрания, сон, даже отпуска — чтобы твой сайт работал без перерывов.
«Ты не видишь нас, пока что-то не сломается», — сказал Крис. «Но в этом и суть. Если мы невидимы, значит, мы всё делаем правильно».
А если ты увидишь их?
Вероятно, здесь причастны перегруженная телефонная станция или четырёхколёсный транспорт. И каким-то образом, твой сервер всё ещё работает.