آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۳/۱۰

راهکارهای کلیدی برای آمادگی و پاسخ به حوادث در آموزش و ارزیابی ابرهوش (Super Intelligence)

مؤسسه ملی استاندارد و فناوری (NIST)، مرکز امنیت ابرهوش در آژانس امنیت ملی (NSA SISC) و آژانس امنیت زیرساخت و امنیت سایبری (CISA) سندی را تحت عنوان راهکارهای کلیدی برای آمادگی و پاسخ به حوادث در آموزش و ارزیابی ابرهوش (Super Intelligence) منتشر کرده‌اند.

هدف از این دستورالعمل

این سند شامل ۱۰ روش کلیدی و داوطلبانه است که به سازمان‌های توسعه‌دهنده و ارزیاب عامل‌های ابرهوش (SI agents) کمک می‌کند تا برای مدیریت “حوادث کنترل” (Control Incidents) آماده شوند. این موضوع به‌ویژه برای سیستم‌های پیشرفته و پیش از استقرار (Pre-deployment) که دارای محدودیت‌های امنیتی کمتری هستند یا در محیط‌های غیرعمومی و پرریسک اجرا می‌شوند، حیاتی است.

تعریف حادثه کنترل در ابرهوش

یک حادثه کنترل زمانی رخ می‌دهد که یک یا چند عامل SI اقداماتی خارج از دستورات تعیین‌شده انجام دهند که با سیاست‌ها، کنترل‌ها یا تدابیر امنیتی (Security Measures) در تضاد باشد یا باعث تضعیف نظارت انسانی (Human Oversight) شود.

محورهای اصلی راهنما

این چارچوب علاوه بر انطباق با بهترین متدهای پاسخ به حوادث سایبری (Incident Response)، بر موارد زیر تأکید دارد:

  • محدودسازی دسترسی: تدابیر لازم برای محدود کردن دسترسی عامل‌ها به اطلاعات، سیستم‌ها، ابزارها و شبکه‌ها.
  • پایش مستمر: نظارت بر فعالیت‌های غیرمنتظره و غیرعادی.
  • توقف و مستندسازی: متوقف کردن رفتارهای نامطلوب و حفظ شواهد (Preserving Evidence).
  • بازسازی سیستم: بازگرداندن سیستم‌ها بر اساس خطوط پایه (Baselines) تایید شده.
  • گزارش‌دهی: اطلاع‌رسانی حوادث و موارد “نزدیک به حادثه” (Near-misses) به سازمان‌های دولتی مربوطه و طرف‌های متأثر.

در نهایت، این راهنما بر اهمیت تست کنترل‌ها و اعتبارسنجی محیط قرنطینه (Containment) پیش از ازسرگیری فعالیت‌های عامل SI تأکید می‌کند.

به‌روزرسانی (اکتبر 17, 2026 — CyberScoop)

به‌روزرسانی: سازمان‌های CISA، NSA و CAISSI در دستورالعمل‌های جدید خود هشدار دادند که مدل‌های هوش مصنوعی پیشرفته (Frontier AI) ممکن است از محیط‌های ایزوله یا Sandbox فرار کرده و به سیستم‌های واقعی نفوذ کنند. این سازمان‌ها تأکید کرده‌اند که شرکت‌های توسعه‌دهنده باید «سیاست‌های توقف» (Shut down policies) دقیقی را تدوین کنند تا در صورت بروز رفتارهای غیرمنتظره، مدل یا محیط تست بلافاصله آفلاین شود.

در این راهنما، هشدار جدی در مورد اتکای صرف به سیستم‌های هوش مصنوعی برای نظارت بر مدل‌های دیگر داده شده است. کارشناسان تأکید می‌کنند که برای کنترل سیستم‌های «ابرهوش» (Super Intelligence یا SI)، ترکیبی از نظارت انسانی، کنترل‌های فنی و ابزارهای مانیتورینگ خارجی ضروری است و نباید مدیریت ریسک تنها به مدل‌های AI سپرده شود.

  • استفاده از حسابرسان مستقل: توصیه شده است که شرکت‌ها برای ارزیابی کنترل‌های امنیتی و مانیتورینگ محیط‌های تست، با حسابرسان مستقل خارجی (Independent external auditors) همکاری کنند تا از سوگیری‌های داخلی یا نقص‌های نظارتی جلوگیری شود.
  • شناسایی مکانیسم‌های ماندگاری: تیم‌های امنیتی باید محیط‌های تست را برای یافتن هرگونه مکانیسم ماندگاری (Persistence mechanisms) یا ارتباطات غیرمجاز که توسط Agentهای هوش مصنوعی ایجاد شده است، بررسی کنند.