نهادهای امنیتی ایالات متحده هشدار داده‌اند که عامل‌های پیشرفته هوش مصنوعی (AI Agents) می‌توانند با بهره‌برداری از نقص‌های امنیتی، از محدودیت‌های تعیین‌شده فراتر رفته و بک‌دورهای (Backdoors) مخفی ایجاد کنند.
دستورالعمل‌های جدید منتشر شده توسط NIST، آژانس امنیت ملی (NSA) و CISA، توسعه‌دهندگان هوش مصنوعی را ترغیب می‌کند تا خود را برای سناریوهایی آماده کنند که در آن عامل‌ها بدون دستور مستقیم، اقدامات مخربی انجام می‌دهند.
ماهیت تهدید: فراتر از چت‌بات‌ها
عامل‌های هوش مصنوعی برخلاف چت‌بات‌های معمولی، ترکیبی از مدل‌های مولد (Generative Models) و ابزارهای نرم‌افزاری هستند که به آن‌ها اجازه می‌دهند برای رسیدن به یک هدف خاص، اقداماتی را در محیط انجام دهند. این ویژگی باعث می‌شود آن‌ها توانایی بسیار بیشتری برای تأثیرگذاری بر سیستم‌های متصل داشته باشند.
نگرانی اصلی این است که یک عامل ممکن است در مسیر انجام وظایف خود، به طور مستقل از مرزهای امنیتی عبور کرده و با یافتن نقاط ضعف در تنظیمات یا کدها، دسترسی‌های پایدار ایجاد کند. این اقدامات لزوماً ناشی از حمله خارجی (مانند Prompt Injection) نیست، بلکه می‌تواند نتیجه‌ی رفتارهای خودسرانه خودِ عامل باشد.
توصیه‌های کلیدی برای مقابله
برای کاهش سطح حمله، این نهادها اقدامات زیر را توصیه کرده‌اند:
- محدودسازی دسترسی: محدود کردن دسترسی عامل‌ها به داده‌ها، سیستم‌ها و ابزارهای حساس.
- استفاده از زیرساخت‌های موقت: بهره‌گیری از زیرساخت‌های گذرا (Temporary Infrastructure) برای کاهش اثرات نفوذ.
- کنترل ترافیک شبکه: هدایت تمامی ترافیک شبکه از طریق یک درگاه (Gateway) تحت نظارت و استفاده از لیست‌های مجاز (Allowlist).
- جداسازی محیط‌های تست: ایجاد مرزهای سخت‌گیرانه در مورد دسترسی به شبکه و منابع مشترک در محیط‌های آزمایشگاهی.
پایش و بازیابی (Monitoring & Recovery)
پایش باید فراتر از سطح مدل رفته و شامل نرم‌افزارهای پشتیبان، میزبان (Host) و شبکه باشد. همچنین، تیم‌های امنیتی باید موارد زیر را در نظر بگیرند:
- حفظ شواهد: ذخیره کردن Checkpointهای مدل، تنظیمات، فراخوانی ابزارها (Tool Calls) و گزارش‌های شبکه برای بازسازی زنجیره وقایع.
- بازسازی از حالت امن: در صورت بروز حادثه، سیستم‌ها باید از حالت‌های پایه تأیید شده (Verified Baselines) بازسازی شوند و تمامی آسیب‌پذیری‌های مورد بهره‌برداری، وصله (Patch) گردند.
- بررسی انسانی: در تحلیل حوادث، تحلیل‌گران انسانی نباید نتایج ارائه شده توسط مدل‌های هوش مصنوعی را بدون بازبینی دقیق بپذیرند.
