چالش‌های خودمختاری عامل‌های هوش مصنوعی در محیط‌های سازمانی

وعده اصلی هوش مصنوعی عامل‌محور (Agentic AI)، توانایی این عامل‌ها در مانور دادن، تصمیم‌گیری و انجام اقدامات به‌صورت خودمختار (Autonomous) در سراسر سازمان است. با این حال، بسیاری از مدیران IT هنوز آمادگی اعطای کنترل گسترده به این ربات‌ها را ندارند.

تردید در اعتماد به خودمختاری کامل

بر اساس نظرسنجی KPMG، حدود ۶۲٪ از مدیران IT در حال ساخت یا استقرار عامل‌های هوش مصنوعی هستند. با وجود این رشد، اکثر آن‌ها در سپردن فرآیندهای داخلی به این عامل‌ها احساس راحتی نمی‌کنند و تنها در توابع کم‌ریسک مانند پشتیبانی سطح ۱ (Tier 1 IT Support) با این ایده موافق هستند.

ریسک‌های امنیتی و پدیده Autonomy Creep

یکی از نگرانی‌های اصلی متخصصان، پدیده Autonomy Creep است؛ وضعیتی که در آن عامل‌های هوش مصنوعی به‌تدریج و به‌صورت نامحسوس، اختیاراتی بیش از آنچه به آن‌ها داده شده است، به دست می‌آورند. همچنین هشدار داده شده است که مکانیزم‌های نظارت انسانی (Human-in-the-loop) همیشه زمان یا اختیار کافی برای اصلاح خطاهای سریع عامل‌ها را به کارکنان نمی‌دهند.

راهکارهای کنترل و مدیریت ریسک

برای کاهش ریسک‌های ناشی از خودمختاری، توصیه می‌شود که عامل‌ها در محیط‌های ایزوله یا Sandbox با سیاست‌های سخت‌گیرانه محدود شوند. برخی از روش‌های فنی برای اعمال سیاست‌های زمان اجرا (Runtime Policies) عبارتند از:

• استفاده از درگاه‌های API (API Gateways)
• اعمال محدودیت‌ها در سطح سیستم‌عامل (OS-level enforcement)
• مدیریت دقیق اعتبارنامه‌ها (Credential Management)

استراتژی استقرار: از اعتماد تا تایید

مدیران امنیت پیشنهاد می‌کنند که خودمختاری باید بر اساس «نوع اقدام» و نه «نوع عامل» تعریف شود. به عبارت دیگر، یک عامل می‌تواند در یک مرحله از گردش کار به‌طور مستقل عمل کند، اما برای مرحله بعدی که پیامدهای جدی‌تری دارد، نیاز به تایید انسانی داشته باشد.

عامل‌هایی که دسترسی به اطلاعات حساس دارند یا می‌توانند مجوزهای دسترسی (Access Permissions) را تغییر دهند یا تغییراتی در سیستم‌های عملیاتی (Production Systems) ایجاد کنند، نباید به‌طور کامل خودمختار باشند. در مقابل، کارهای مبتنی بر خواندن داده‌ها (Read-heavy)، دسته‌بندی (Triage) و پیش‌نویس کردن متون، کاندیداهای مناسبی برای خودمختاری هستند.

شرط لازم برای خودمختاری کامل

برای اینکه یک اقدام به‌طور کامل به هوش مصنوعی سپرده شود، سازمان باید بتواند آن اقدام را برگشت‌پذیر (Reversible) کند. وجود محدودیت‌های هزینه، دوره‌های انتظار (Cooling-off periods)، قابلیت بازگشت (Rollback) و یک ردپای حسابرسی (Audit Trail) دقیق، پیش‌نیازهای لازم برای اعطای اختیار به عامل‌های هوش مصنوعی در سازمان‌ها است.