نهادهای امنیتی NSA، CISA و NIST به‌طور مشترک دستورالعمل‌های امنیتی جدیدی را برای کمک به سازمان‌ها در شناسایی، مهار و متوقف کردن عامل‌های هوش مصنوعی (AI Agents) که فراتر از وظایف مجاز خود عمل می‌کنند، منتشر کردند.
مدیریت حوادث کنترل هوش مصنوعی فوق‌هوشمند (SI)
این راهنمای داوطلبانه که در تاریخ ۱۶ اکتبر ۲۰۲۶ منتشر شده است، شامل ده اقدام عملیاتی برای مدیریت حوادث در طول فرآیند آموزش و ارزیابی هوش مصنوعی فوق‌هوشمند (Superintelligence) با تمرکز بر حفظ نظارت انسانی (Human Oversight) است. دستورالعمل‌های NIST این اقدامات را در پنج دسته اصلی قرار می‌دهد: آماده‌سازی (Preparation)، شناسایی (Detection)، پاسخگویی (Response)، بازیابی (Recovery) و گزارش‌دهی (Reporting).
مخاطبان اصلی این سند، سازمان‌هایی هستند که در حال آموزش یا آزمایش عامل‌های بسیار توانمند بر روی وظایف طولانی‌مدت با نظارت انسانی محدود هستند. در این سند، این رویدادها تحت عنوان “حوادث کنترل SI” (SI control incidents) تعریف شده‌اند. این حوادث زمانی رخ می‌دهند که عامل‌ها بدون دستورال، اقدامات قابل توجهی انجام داده و سیاست‌ها یا کنترل‌های امنیتی تعیین‌شده برای مرزهای وظایف خود را نقض کنند. نمونه‌هایی از این اقدامات شامل تماس غیرمجاز با طرف‌های خارجی، انجام تراکنش‌های مالی یا دسترسی به سیستم‌های شخص ثالث است.
تمایز بین رفتار خودسر و حملات هدایت‌شده
نکته حائز اهمیت این است که این تعریف، رفتار مستقل عامل (Agent) را از فعالیت‌های هدایت‌شده توسط مهاجم جدا می‌کند. حملاتی مانند تزریق دستور (Prompt Injection) یا مدل‌های دارای درِ پشتی (Backdoor) باعث اجرای دستورات می‌شوند و عامل اصلی بروز “حوادث کنترل SI” نیستند. این راهنما همچنین شامل موارد “نزدیک به وقوع” (Near-misses) می‌شود که نقاط ضعف را پیش از بروز آسیب فاش می‌کنند.
توصیه‌های فنی برای شناسایی و پاسخگویی
نهادهای مذکور توصیه می‌کنند که دسترسی عامل‌ها به داده‌ها، ابزارها و سیستم‌ها تنها به موارد مورد نیاز برای انجام وظایفشان محدود شود. استفاده از لیست‌های سفید (Allowlists) سخت‌گیرانه برای دسترسی‌های شبکه و عبور ترافیک مجاز از طریق یک درگاه نظارتی (Monitored Gateway) توصیه می‌شود. همچنین سازمان‌ها باید مسیرهای ارتباطی پنهان، ماندگاری (Persistence) و کپی غیرمجاز از وزن‌های مدل (Model Weights) را شناسایی کنند.
- شناسایی (Detection): باید شامل نظارت بر مدل، نرم‌افزارهای پشتیبان، سیستم‌های میزبان و فعالیت‌های شبکه باشد. عامل‌ها نباید قادر به تغییر ابزارهای نظارتی یا لاگ‌ها باشند.
- توقف خودکار (Shutdown): یکی از توصیه‌های اصلی، توقف خودکار اجرای عامل‌های آسیب‌دیده در صورت شناسایی شکست در کنترل یا وقوع حادثه است. بسته به شدت وضعیت، سازمان‌ها باید آموزش، ارزیابی یا استقرار سیستم را تا زمان تقویت و تأیید لایه‌های حفاظتی، متوقف کنند.
- پاسخگویی (Response): تیم‌های پاسخگویی باید وزن‌های مدل، نقاط بازگشت (Checkpoints)، فراخوانی ابزارها (Tool Calls)، اقدامات رد شده و لاگ‌های قابل اعتماد را برای تحلیل حفظ کنند. همچنین باید اعتبارنامه‌های (Credentials) در معرض خطر را باطل و محیط‌های احتمالی آلوده را بازسازی کنند.
