Стійкість ІТ-систем після збоїв: як компанії готуються
Стійкість ІТ-систем опинилася в центрі уваги компаній після серії збоїв, які зачепили технологічні сервіси, банки, авіацію та державні установи США. ІТ-керівники вже аналізують, як їхні організації впоралися з перебоями, і шукають способи підготуватися до наступних.
Серія почалася в четвер зі збою Майкрософт (Microsoft), який порушив роботу робочих сервісів Аутлук (Outlook), Тімс (Teams) і Копайлот (Copilot). Наступного дня Федеральне авіаційне управління США, або ФАА, наказало зупинити вильоти по всій країні, що порушило плани понад 1,5 мільйона пасажирів.
Цього тижня перебої тривали: збій зачепив банківські сайти та застосунки, якими керують фінансові гіганти Веллс Фарго (Wells Fargo) і Кепітал Ван (Capital One). Проблеми також виникли в Юнайтед Ейрлайнз (United Airlines) та Епл (Apple), а внутрішня мережа зв’язку АНБ перестала працювати.
Доказів того, що ці збої пов’язані між собою, немає. Водночас увага до проблем у великих технологічних системах, безперебійну роботу яких багато хто сприймає як належне, загострила питання їхньої надійності. Компанії оцінюють не лише резервні системи, а й те, як повідомляти про перебіг збою працівникам, клієнтам, керівництву та раді директорів. Вони вже готують звіти про реагування, щоб з’ясувати, що можна поліпшити в планах безперервності роботи.
Резервування для лікарень і юридичної фірми
Найбільшим порушенням бізнес-процесів у корпоративній Америці за минулий тиждень став збій сервісів Майкрософт. Він зачепив і систему охорони здоров’я АтлантіКер (AtlantiCare), що базується в штаті Нью-Джерсі.
Її директор з інформаційних і цифрових технологій Джордан Рух (Jordan Ruch) розрізняє системи за рівнем критичності. Для клінічних систем і базової інфраструктури передбачено до трьох рівнів резервування: якщо обладнання або мережа виходять з ладу, залишаються щонайменше два резервні варіанти.
Наш підхід полягає в тому, що стійкість насправді не виникає завдяки документу чи резервній системі. Це м’яз, який організації розвивають завдяки плануванню разом з операційними підрозділами ще до того, як щось станеться.
Інструменти Майкрософт в АтлантіКер не вважали настільки критичними. Тому збій, за словами Руха, уповільнив здатність організації задовольняти потреби системи охорони здоров’я. Оскільки працівники дедалі більше покладаються на Копайлот та подібні інструменти, в установі почали обговорювати додаткове резервування цих застосунків.
Юридична фірма Роупс енд Грей (Ropes & Gray) мала кілька рівнів резервування, розповіла її ІТ-директорка Марша Стайн (Marsha Stein). Коли минулого тижня виникли проблеми з Тімс, для зв’язку зі співробітниками використовували систему екстрених сповіщень. А після відмови Аутлук компанія перейшла на запасну систему електронної пошти.
Не можна просто сказати клієнту: «Вибачте, у нас немає електронної пошти, ми не можемо вам допомогти» — як з’ясувалося, протягом 18 годин. Було дуже важливо, що ці системи в нас були, аби наші юристи могли зв’язатися з клієнтами.
До ранку вівторка Стайн обговорила збій Майкрософт з керівним комітетом фірми. За її словами, розмова про те, що сталося і що можна було зробити краще, триватиме.
Ніщо ніколи не буває ідеальним. Керівникам потрібно мислити нестандартно й думати про те, яка система може постраждати наступною і до чого нам треба бути готовими.
Що повідомляти клієнтам і керівництву
ІТ-директор страхового брокера Локтон (Lockton) Шреяс Майсор (Shreyas Mysore) назвав однією з проблем повільне інформування з боку Майкрософт: клієнтам не одразу повідомили, що збій може мати глобальні наслідки.
Гадаю, це те, що Майкрософт могла зробити краще: попередити нас, сказавши: «Дивіться, частина критичної інфраструктури починає виходити з ладу».
За словами Майсора, під час таких подій вирішальне значення має комунікація. У Локтон насамперед заохочують брокерів самостійно зв’язуватися з клієнтами та повідомляти їм актуальну інформацію. Водночас усередині компанії інформують керівництво.
Раду директорів часто можна повідомити пізніше. У цьому випадку Майсор каже, що повний розбір можна представити на її наступному засіданні на початку грудня. ІТ-команда також підготує звіт про інцидент: у ньому оцінять вплив і серйозність збою, а за внутрішнім контрольним списком перевірять залучення керівників, практику внутрішньої комунікації та напрями для поліпшення.
Я покладаю відповідальність за надійність на своїх постачальників, а відповідальність за стійкість — на себе.
Компанія з кібербезпеки Фенікс24 (Fenix24) може переносити спілкування з клієнтами в альтернативні канали, зокрема Сігнал (Signal) і Вотсап (WhatsApp), коли електронна пошта не працює. Вона використовує гібридну модель: покладається на Майкрософт 365, але також має внутрішню систему зв’язку, розміщену на власній інфраструктурі.
Співзасновник і директор з інформаційної безпеки Фенікс24 Гіт Ренфроу (Heath Renfrow) вважає критично важливим налагодити альтернативні канали зв’язку з групами працівників і для ключових відносин із замовниками та клієнтами ще до виникнення збою.
За його словами, після перебою в Майкрософт деякі фірми можуть розглянути інвестиції в додаткові резервні системи комунікації, зокрема від Гугл (Google), особливо для ключових керівників.
Це, безумовно, можливо, і на це потрібно дивитися з погляду витрат, але ідея непогана.
Чому важливі реалістичні строки відновлення
Старший віцепрезидент і технічний директор групи хмарних технологій компанії з кібербезпеки Акамаї (Akamai) Джеймс Кретчмар (James Kretchmar) каже, що і постачальникам, і клієнтам під час збоїв потрібна чітка та послідовна комунікація.
Дуже важливо добре інформувати людей, які покладаються на сервіс, щоб вони розуміли, як найкраще пристосуватися до ситуації. Потрібно докласти чимало зусиль, аби надати корисну практичну інформацію і водночас не створити додаткових проблем.
Майкрософт, ФАА та інші організації, що зіткнулися зі збоями протягом останніх кількох днів, мають знаходити баланс, повідомляючи реалістичні очікування щодо відновлення систем. За словами директора з інформаційної безпеки компанії-розробника програмного забезпечення Пендо (Pendo) Чака Кеслера (Chuck Kesler), репутації можуть зашкодити як недостатня комунікація, так і надмірні обіцянки.
Я точно бачив, як організації надто довго приховували інформацію, і це підриває довіру.
Кеслер додає: якщо очікується, що виправлення системи триватиме дві години, ключовим зацікавленим сторонам, можливо, краще повідомити, що розв’язання проблеми може потребувати чотирьох.
З мого досвіду, відновлення зазвичай зрештою займає трохи більше часу, ніж очікуєш.