شرکت گوگل اخیراً جزئیات مربوط به قطعی سرویس در منطقه Availability Zone (منطقه در دسترس) با شناسه europe-west-2-b در لندن را منتشر کرد. طبق گزارش این شرکت، علت اصلی این حادثه که در ماه اکتبر رخ داد، یک «پیکربندی اشتباه» (Misconfiguration) در سیستم‌های مدیریت برق بود که مانع از فعال شدن ژنراتورهای اضطراری شد.
این قطعی منجر به اختلال در خدمات سازمان‌های بزرگی از جمله Lloyds، HSBC، Royal Mail و Revolut گردید.
جزئیات فنی معماری برق و علت شکست
دیتاسنتر مذکور از معماری برق 2N استفاده می‌کند؛ به این معنا که برای هر بار مصرف حیاتی (Critical Load)، مسیرهای برق کاملاً مشابه و پشتیبان وجود دارد. این سیستم توسط یک بانک ژنراتور ولتاژ بالا مدیریت می‌شود که کنترل آن بر عهده یک Programmable Logic Controller (PLC) با قابلیت Redundancy دوگانه است.
بر اساس تحلیل گوگل، زنجیره حوادث به شرح زیر بود:
- شکست زیرساخت خارجی: یک کابل زیرزمینی خارجی که برق را از تامین‌کننده به دیتاسنتر می‌رساند، دچار قطعی شد.
- کاهش تاب‌آوری (Resilience): در زمان وقوع این حادثه، مسیر برق پشتیبان (Feeder B) به دلیل تعمیرات مربوط به تست‌های دوره‌ای ژنراتورها، به صورت دستی قطع شده بود. بنابراین، کل بار سیستم تنها بر دوش مسیر اصلی (Feeder A) بود.
- شکست در انتقال بار: با قطع شدن مسیر A، سیستم‌های UPS (منبع تغذیه بدون وقفه) فعال شدند و توانستند تا ۵ دقیقه سرویس‌ها را نگه دارند. اما در این لحظه، یک نقص در طراحی تشخیص ولتاژ (Voltage-sensing design flaw) و پیکربندی اشتباه PLC باعث شد سیگنال استارت خودکار به ژنراتورها ارسال نشود.
نتیجه و اقدامات اصلاحی
منطق برنامه‌ریزی شده در PLC به اشتباه تشخیص داد که یک منبع برق سالم در دسترس است، در حالی که هر دو مسیر توزیع برق قطع شده بودند. در نتیجه، دستور روشن شدن ژنراتورها صادر نشد و پس از اتمام شارژ UPSها، دیتاسنتر به طور کامل خاموش شد.
گوگل پس از بازیابی اتصال برق، اقدامات زیر را برای جلوگیری از تکرار حادثه انجام داده است:
- برنامه‌ریزی مجدد PLC: اصلاح منطق کنترل برای تشخیص دقیق‌تر وضعیت منبع تغذیه.
- بهبود ارتباطات: توسعه مکانیزم‌های هشدار خودکار برای افزایش سرعت اطلاع‌رسانی در حوادثی که بر مکان‌های فیزیکی تاثیر می‌گذارند.
- گسترش تست‌ها: افزایش دامنه تست‌های پلتفرم برای شبیه‌سازی حوادث در سطح زیرساخت (Infrastructure-level events).
