بسیاری از مدیران ارشد فناوری (CIOs) احتمالاً به طور ناگهانی تصمیم نمی‌گیرند که اختیارات گسترده‌ای را به یک عامل هوش مصنوعی (AI Agent) برای مدیریت سیستم‌های سازمانی بدهند. اما مسیر واقعی رسیدن به این سطح از خودمختاری، بسیار کمتر دراماتیک و بیشتر تدریجی است.
یک عامل هوش مصنوعی معمولاً با یک وظیفه محدود شروع می‌کند. از آنجایی که مفید به نظر می‌رسد، سیستم‌های دیگری به آن متصل می‌شوند. سپس برای انجام وظایف خود به داده‌های بیشتری نیاز پیدا می‌کند و مجوزهای (Permissions) جدیدی به آن داده می‌شود. در نهایت، زمانی که تایید انسان به یک گلوگاه (Bottleneck) تبدیل می‌شود، سازمان برای سرعت بخشیدن به فرآیندها، نظارت انسانی را حذف می‌کند. این فرآیند، پدیده‌ای است که به آن “خزش خودمختاری” (Autonomy Creep) می‌گویند.
خطرات ترکیب‌های سمی دسترسی‌ها
هر تصمیم در انزوا ممکن است منطقی به نظر برسد، اما مجموع این تصمیمات می‌تواند عاملی را با اختیاراتی بسیار فراتر از آنچه در ابتدا تصور شده بود، ایجاد کند. جیم تیلور، از متخصصان امنیت هویت، هشدار می‌دهد که عامل‌های هوش مصنوعی با گذشت زمان، دسترسی‌ها را انباشته می‌کنند و به “ترکیب‌های سمی” (Toxic Combinations) از مجوزها می‌رسند که می‌تواند منجر به دسترسی به داده‌های حساس یا انجام عملیات‌های غیرمجاز شود.
برخلاف انسان‌ها که فرآیندهای مدیریت چرخه حیات (Lifecycle Management) برای ورود، تغییر نقش و خروج از سازمان دارند، عامل‌های هوش مصنوعی معمولاً این مجوزها را هرگز پس نمی‌گیرند.
راهکارهای مقابله: کنترل‌های لایه‌بندی شده
برای مقابله با این چالش، متخصصان پیشنهاد می‌کنند که سازمان‌ها نباید تنها به محدودیت‌های سطح مدل (Model-level guardrails) اکتفا کنند. راهکارهای کلیدی عبارتند از:
- حلقه‌های تایید شده (Verified Loops): تعریف دقیق وظایف، ابزارهای مجاز و شواهدی که نشان‌دهنده انجام موفقیت‌آمیز کار است، توسط انسان، و سپس بررسی آن توسط یک سیستم تاییدکننده مجزا.
- احراز هویت بر پایه وظیفه (Task-based Authorization): به جای اعطای دسترسی‌های دائمی، سازمان‌ها باید از اعتبارنامه‌های کوتاه‌مدت (Short-lived credentials) استفاده کنند که تنها در زمان نیاز برای یک وظیفه خاص صادر می‌شوند.
- کنترل‌های لایه‌بندی شده (Layered Controls): اعمال سیاست‌های هویت، قوانین تخصیص منابع (Provisioning) و نظارت مستمر در سطح زیرساخت، فراتر از خودِ مدل هوش مصنوعی.
چالش سیستم‌های چندعاملی (Multi-agent Systems)
پیچیدگی زمانی دوچندان می‌شود که عامل‌های مختلف با یکدیگر همکاری می‌کنند. یک عامل ممکن است در محدوده مجاز خود عمل کند، اما خروجی آن باعث شود عامل دیگری اقدامی انجام دهد که در مجموع، نتیجه‌ای غیرقابل کنترل و خارج از هدف اولیه سازمان را رقم بزند. بنابراین، نظارت باید نه تنها بر روی تک‌تک عامل‌ها، بلکه بر روی کل شبکه عامل‌ها به عنوان یک سیستم یکپارچه انجام شود.
در نهایت، حاکمیت (Governance) نباید یک مرحله بررسی در پایان کار باشد، بلکه باید از همان ابتدای طراحی سیستم در ساختار آن تعبیه شود.
