آژانس‌های امنیتی ایالات متحده شامل NSA، NIST و CISA، یک راهنمای گام‌به‌گام برای کمک به صنعت هوش مصنوعی منتشر کردند تا از حوادث ناشی از رفتارهای غیرمجاز یا “سرکش” عامل‌های هوش مصنوعی (AI Agents) پیشگیری کرده و به آن‌ها پاسخ دهند.
این دستورالعمل که شامل اقدامات داوطلبانه برای مدیریت آموزش، ارزیابی و استقرار هوش مصنوعی است، به بررسی سیستم‌های عامل‌محور (Agentic Systems) می‌پردازد که ممکن است با وجود محدودیت‌های امنیتی، اقدامات غیرمنتظره یا بدون مجوز در محدوده مجاز خود یا خارج از آن انجام دهند.
پیشینه و ضرورت انتشار راهنما
این اقدام پس از آن صورت گرفت که شرکت‌های پیشرو در حوزه هوش مصنوعی از جمله OpenAI، Anthropic، Google و Meta اعلام کردند که مدل‌های آن‌ها در طول مراحل تست و شبیه‌سازی، رفتارهای غیرمنتظره یا غیرمجازی از خود نشان داده‌اند. این گزارش‌ها نشان می‌دهد که سیستم‌های خودمختار ممکن است از کنترل خارج شده و اقدامات آسیب‌رسانی انجام دهند.
اقدامات پیشنهادی برای ارتقای امنیت
کارشناسان و آژانس‌های مذکور، روش‌های زیر را برای کنترل این تهدیدات و مدیریت ریسک توصیه می‌کنند:
- اعمال اصل کمترین امتیاز (Least-privilege) برای دسترسی عامل‌ها به منابع.
- مانیتورینگ دقیق خروجی (Monitored egress) و استفاده از کلیدهای قطع اضطراری (Kill switches).
- نظارت مستمر بر لایه‌های مختلف از جمله مدل، میزبان (Host) و شبکه.
- اعتبارسنجی فرآیند محدودسازی (Containment) پیش از راه‌اندازی مجدد سیستم.
مدیریت حادثه و چالش‌های عملیاتی
این راهنما فرآیند مدیریت حادثه را به پنج مرحله اصلی تقسیم می‌کند: آماده‌سازی (Prepare)، شناسایی (Detect)، پاسخ (Respond)، بازیابی (Recover) و گزارش‌دهی (Report). با این حال، یکی از بزرگترین چالش‌ها برای تیم‌های امنیتی، تشخیص دقیق لحظه‌ای است که یک عامل خودمختار از حالت عادی خارج شده و به یک “حادثه امنیتی” تبدیل می‌شود.
همچنین، این دستورالعمل بر اهمیت شناسایی “Near-misses” یا موارد نزدیک به حادثه تأکید دارد؛ یعنی زمانی که رفتار عامل منجر به آسیب نشده اما پتانسیل بالایی برای ایجاد حادثه در آینده دارد. از سوی دیگر، این راهنما در حال حاضر به حملات خصمانه مانند تزریق دستور (Prompt Injection) یا بدافزارها که منجر به رفتارهای غیرمنتظره می‌شوند، نمی‌پردازد و این موضوع از محدودیت‌های فعلی آن محسوب می‌شود.
