گزارش‌های جدید نشان می‌دهد که تقریباً نیمی از سازمان‌ها تجربه کرده‌اند که یک عامل هوش مصنوعی (AI Agent) در سال گذشته اقدامی انجام داده است که مورد انتظار، برنامه‌ریزی شده یا مجاز نبوده است.
شکاف میان استقرار و نظارت
عامل‌های هوش مصنوعی با سرعتی بسیار بیشتر از توانایی شرکت‌ها در ردیابی اقدامات آن‌ها یا متوقف کردن آن‌ها در زمان بروز خطا، وارد عملیات تجاری شده‌اند. این موضوع چالشی جدی برای مدیران فناوری ایجاد کرده است. بر اساس داده‌های تحلیل شده، در میان سازمان‌هایی که اقدامات ناخواسته را تجربه کرده‌اند، ۵۴٪ شاهد فراخوانی‌های API خارجی یا تراکنش‌های غیرمنتظره بوده‌اند. همچنین نیمی از آن‌ها تغییرات در پیکربندی (Configuration) یا مجوزها (Permissions) و ۴۲٪ تغییر یا حذف داده‌ها را گزارش کرده‌اند.
پیچیدگی در ردیابی زنجیره‌ای اقدامات
یکی از بزرگ‌ترین چالش‌ها، پدیده زنجیره‌ای کردن اقدامات (Agent Chaining) است. بسیاری از عامل‌ها برای انجام وظایف خود، ابزارها یا عامل‌های دیگر را فراخوانی می‌کنند که در نهایت منجر به اجرای APIهای مختلف در سیستم‌های مجزا می‌شود. این پیچیدگی باعث شده تا تنها ۱۲.۵٪ از سازمان‌ها بتوانند توالی کامل یک دستور (از دستور اولیه تا ابزارها، APIهای مورد استفاده و نتیجه نهایی) را به طور مداوم ردیابی کنند.
ضعف در پاسخگویی و مدیریت دسترسی
سرعت واکنش به رفتارهای غیرمنتظره عامل‌ها نیز بسیار پایین است. تنها ۱۵.۷٪ از سازمان‌ها قادرند فعالیت‌های یک عامل در روز گذشته را در عرض چند دقیقه و با ابزارهای خودکار بازسازی کنند، در حالی که دو سوم آن‌ها برای این کار به ساعت‌ها یا روزها کار دستی نیاز دارند. همچنین، تنها ۱۷.۵٪ از سازمان‌ها قابلیت متوقف کردن خودکار (Automatic Halt) یک عامل با رفتار غیرعادی در محیط عملیاتی (Production) را دارند.
در زمینه مدیریت هویت و دسترسی، وضعیت به شرح زیر است:
- ۲۶٪: استفاده از هویت‌های اختصاصی با دسترسی‌های محدودشده (Scoped Permissions).
- ۲۴٪: استفاده از هویت‌های اختصاصی با دسترسی‌های گسترده (Broad Permissions).
- ۱۷٪: متغیر بر اساس هر اپلیکیشن.
- ۱۱٪: عدم اطلاع از نحوه تخصیص دسترسی‌ها.
ظهور زیرساخت‌های سایه (Shadow AI)
گزارش‌ها به وجود زیرساخت‌های سایه MCP (Shadow MCP) نیز اشاره دارند. حدود ۳۳٪ از سازمان‌ها در ۱۲ ماه گذشته با سرورهای MCP غیرمجاز، سایه یا دارای پیکربندی اشتباه مواجه شده‌اند که نشان‌دهنده رشد سریع و کنترل‌نشده این فناوری در محیط‌های سازمانی است.
راهکارهای پیشنهادی برای حاکمیت AI
برای ایجاد سیستم‌های حاکمیتی (Governance) جهت نظارت و کنترل رفتار عامل‌ها، توصیه‌های زیر ارائه شده است:
- ایجاد فهرست جامع (Inventory) از تمامی عامل‌ها، سرورهای MCP، ابزارها و APIها.
- تخصیص دسترسی‌های محدود و تعیین مالک مسئول برای هر عامل.
- پیاده‌سازی مکانیسم‌های تایید انسانی یا سیستمی برای اقدامات با تاثیر بالا (High-impact actions) پیش از اعمال آن‌ها در سیستم‌های تجاری.
