چالش نوظهور در حوزه هوش مصنوعی، تنها جلوگیری از حملات عامل‌های مخرب خارجی نیست؛ بلکه مدیریت و نظارت بر فعالیت‌های عامل‌های هوش مصنوعی (AI Agents) خودِ سازمان است. در حالی که سازمان‌ها با سرعت زیادی در حال ادغام این فناوری هستند، ریسک‌های ناشی از استقرار عامل‌ها بدون کنترل‌های امنیتی کافی، هم برای افراد و هم برای سازمان‌ها آشکار شده است.
چالش دیده‌بانی و گسترش سریع عامل‌ها
بسیاری از سازمان‌ها فاقد دیده‌بانی (Visibility) پایه نسبت به عامل‌های موجود در شبکه خود هستند. طبق گزارش Anthropic، حدود ۸۲ درصد از سازمان‌ها عامل‌های ثبت‌نشده‌ای را در شبکه خود شناسایی کرده‌اند. مشکل اصلی اینجاست که ایجاد یک عامل هوش مصنوعی بسیار ساده است و هر کارمندی می‌تواند با یک فراخوانی API، یک عامل جدید بسازد. این امر باعث گسترش بی‌رویه عامل‌های تامین‌کننده (Vendor Agents)، عامل‌های بومی پلتفرم (Platform Native) و عامل‌های توسعه‌یافته در داخل سازمان (Homegrown) می‌شود که مدیریت آن‌ها را دشوار می‌کند.
ضرورت انتقال امنیت از زمان توسعه به زمان اجرا
استفاده از رویکرد Shift-left (امنیت در مراحل اولیه توسعه) برای یافتن آسیب‌پذیری‌ها در مدل یا ابزارها پیش از استقرار ضروری است، اما کافی نیست. برخلاف نرم‌افزارهای سنتی، عامل‌های هوش مصنوعی رفتارهای پیچیده‌ای در زمان اجرا (Runtime) از خود نشان می‌دهند که لزوماً با تحلیل کد در مرحله توسعه قابل پیش‌بینی نیستند. تکنیک‌هایی مانند Prompt Hijacking یا Goal Drift (انحراف از هدف) تنها در زمان اجرا قابل شناسایی هستند.
مدیریت حاکمیت باید شامل دو لایه اصلی باشد:
- مرزهای رفتاری در زمان اجرا (Runtime Behavioral Boundaries): این لایه تعیین می‌کند که یک عامل به چه منابعی دسترسی داشته باشد، چه داده‌هایی را بازگرداند و در چه نقاطی باید برای تایید انسانی متوقف شود.
- کنترل‌های هویتی (Identity Controls): اعمال اصول IAM (مدیریت هویت و دسترسی) بر عامل‌ها، از جمله اصل حداقل دسترسی (Least Privilege)، استفاده از اعتبارنامه‌های کوتاه‌مدت (Short-lived Credentials) و احراز هویت چندعاملی (MFA) برای دسترسی‌های طولانی‌مدت.
اولویت‌بندی بر اساس قابلیت اکسپلویت به جای شدت آسیب‌پذیری
در عصر هوش مصنوعی، امتیازدهی سنتی به آسیب‌پذیری‌ها بر اساس CVE دیگر به تنهایی کافی نیست. مهاجمان می‌توانند با استفاده از عامل‌ها، چندین آسیب‌پذیری با شدت پایین (Low-severity) را به هم زنجیره کنند تا یک مسیر حمله (Attack Chain) مخرب ایجاد کنند که منجر به دسترسی به داده‌های حساس شود. بنابراین، تیم‌های امنیتی باید به جای تمرکز صرف بر شدت (Severity)، بر اساس قابلیت اکسپلویت (Exploitability) در محیط واقعی اولویت‌بندی کنند. یعنی باید بررسی کرد که یک آسیب‌پذیری چقدر قابل دسترس است و چه میزان آسیب یا دسترسی به داده‌های حساس را فراهم می‌کند.
