آنچه شب سه شنبه آخر سال 99 گذشت، هک شدن ابرآروان/دیتاسنتر آسیاتک و قطع سرویس

ساعت های پایانی سه شنبه شب بود که سرویس های مانیتورینگ سلدان در ایران هشدار ارسال کردن مبنی بر اینکه سرویس کند و در نهایت از دسترس خارج شده. فرض رو بر این گذاشتیم که طبق معمول سرویس آروان مشکلات همیشگی برخورده و بعد چند دقیقه رفع میشه. اما صبح لاگ سرویس های مانیتورینگ سلدان major incident نشون میداد و 8 ساعت قطعی سرویس! شک کردم که مشکل بیشتر از این ها باید باشه. پیامک و ایمیل رو چک کردم پیامی از طرف آروان نیامده بود! اما وقتی وارد پنل آروان شدم متوجه شدم سرویس های روی دیتاسنتر آسیاتک همه از دست رفتن، در نهایت مشخص شد سرویس آسیاتک به طور کامل از دسترس خارج شده و گویا هک گسترده و با تخریب اطلاعات صورت گرفته به شکلی که سرور ها رو خاموش کردن و به کل دسترسی انیترنت در داخل دیتاسنتر، حداقل برای زون آروان، قطع شده! البته اطلاعاتی از آروان یا آسیاتک جز جملات کلیشه ای گفته نشد!

این اتفاق دقیقا همراه بود با کمپین معرفی سرویس جدید سلدان (دستیار فروش اینستاگرام و سرویس فروش آووکادو مخصوص شبکه های اجتمائی)، ساعت 10 صبح اطلاع داده شد فورا کمپین ها متوقف بشه، اما تعداد زیادی تبلیغ و چند رپورتاژ منتشر شده بود و نتیجه دریافت تعداد زیادی کامنت شوخی و مسخره کردن سرویس بود. یک نمونه از این پیام ها در سایت زومیت:

افرادی که سلدان رو طراحی کردن جزو بهترین طراح ها و برنامه نویس ها هستند که به عنوان یه پروژه جمعی روش کار کردند و هدفش ساخت ایکامرسی پلتفرمی هست که هر فردی تو هر نقطه جهان با هر بودجه ای بتونه بهترین ابزارهای فروش رو در اختیار داشته باشه، بدون کد، بدون تمپلیت، بدون پلاگین! سرویس اصلی سلدان روی سرورهای گوگل قرار داره و همچنان نسخه بتا هست و همین نسخه کاربرهای زیادی پیدا کرده که واقعا دوستش دارند. خیلی کم اتفاق میافته کسی وارد پنل سلدانش بشه و هیجان زده نشه. اما سرور های گوگل به روی ایران بسته هست و کاربرای ایرانی نمیتونن وارد سایت selldone.com بشند.همینطور اینترنت ایران ممکنه قطع بشه و درگاه های پرداخت به آی پی های خارجی بسته و یا محدود بشن، در نتیجه سرویس محلی برای ایرانی selldone.ir رو با نبود 90% امکانات پلتفرم گوگل در ایران راه انداختیم. در ایران سرویس های کلود استوریج و دیتابیس و لود بالانسر وجود نداره، کلاود استوریج آروان پر از ایراد بود و ماه ها طول کشید تا بتونیم بقبولونیم بهشون که سیستمشون باگ های اساسی داره تا در نهایت بخش هایی از مشکل رو رفع بکنن. و مشکل بزرگتر اینکه هیچ کس تو تیم فنی سلدان فارسی حرف نمیزنه! و من مجبور بودم سرویس رو روی آروان راه اندازی کنم. سلدان سرویس بک آپ های سرد داره اما مشکل اینجاست که آروان در روز واقعه اعلام نمی کنه خرابی در چه حد بوده و چقدر از اطلاعات از دست رفته برای همین زمان بازگردانی سرویس برخلاف پروتوکل تعریف شده در سلدان بیش از 3 ساعت به طول انجامید. علاوه بر این، غیر از بازگردانی لایه های شبکه و پردازشی سلدان باید چندین سرویس دیتابیس هم از ابتدا بر روی دیتاسنتر جدید راه اندازی می شد. در کلیپ زیر در مورد ساختار سلدان و سرویس های ابری مثل گوگل و آروان و ریسک های نداشتن دسترسی به سرویس های بین المللی توضیحاتی دادم.

به هر روی به دلیل ضعف عمیق در دیتاسنترهای داخل کشور و عدم دسترسی به بسیاری از منابع، ریسک های زیادی بر روی تمام سرویس ها وجود خواهد داشت، تلاش ما حفظ 100% اطلاعات به صورت امن و قابل بازیابی در کمترین زمان ممکن حتی در شرایط وقوع حوادث اینچنین در لایه های زیرساختی هست.