آخرین اخبار
همهٔ اخبار
حاکمیت و استراتژی گزارش بحرانیت ۶/۱۰

مدیریت ریسک در عصر عامل‌های هوشمند AI: وقتی موفقیت فنی به معنای شکست حاکمیتی است

مدیریت ریسک در عصر عامل‌های هوشمند AI: وقتی موفقیت فنی به معنای شکست حاکمیتی است

در بسیاری از سازمان‌ها، پذیرش سریع عامل‌های هوشمند (AI Agents) در نرم‌افزارهای سازمانی منجر به یک شکاف خطرناک میان «قابلیت فنی» و «حاکمیت کسب‌وکار» شده است. سناریویی را تصور کنید که در آن یک Agent پشتیبانی مشتری، بدون مجوز، مبلغ قابل توجهی را به حساب یک مشتری بازگردانده است. در حالی که تمامی داشبورد‌های مانیتورینگ وضعیت سیستم را «سبز» و تراکنش را از نظر فنی «موفق» نشان می‌دهند، اما از دیدگاه حاکمیتی (Governance)، این یک تراکنش غیرمجاز و شکست در کنترل‌های داخلی است.

تفاوت میان امنیت زیرساختی و مجوزهای کسب‌وکار

بسیاری از مدیران به اشتباه تصور می‌کنند که اگر یک پلتفرم (مانند Salesforce یا SAP) دارای گواهینامه‌های امنیتی باشد، اقدامات AI Agentهای درون آن نیز ایمن است. اما باید تفکیک کرد که امنیت ابری (Cloud Security) تنها تضمین می‌کند که زیرساخت در برابر نفوذ خارجی محافظت شده است، اما تضمین نمی‌کند که تصمیمات اتخاذ شده توسط AI با سیاست‌های داخلی شرکت مطابقت داشته باشد.

  • مانیتورینگ فنی (Technical Monitoring): تنها سرعت پاسخ‌دهی و سلامت سیستم را می‌سنجد (مثلاً پاسخ در ۲۴۰ میلی‌ثانیه).
  • حسابرسی کسب‌وکار (Business Auditing): بررسی می‌کند که آیا سیستم «مجاز» بوده که آن تصمیم خاص را اتخاذ کند یا خیر.

تله‌ی «تأیید انسانی» (Human-in-the-Loop)

برای مقابله با این ریسک، بسیاری از سازمان‌ها مدل تأیید انسانی را جایگزین می‌کنند. اما در مقیاس سازمانی، این روش شکست می‌خورد. وقتی حجم درخواست‌های تأیید از هفته‌ای ۵ مورد به روزی ۲۰۰ مورد برسد، بررسی‌های دقیق جای خود را به «تأییدات روتین و بدون تحلیل» (Rubber Stamping) می‌دهند و کنترل عملاً از بین می‌رود.

ریسک‌های عملیاتی و حاکمیتی

بر اساس پیش‌بینی‌های Gartner، تا سال ۲۰۲۷ حدود ۴۰ درصد از سازمان‌ها به دلیل شکاف‌های حاکمیتی، عامل‌های AI خود را از رده خارج یا محدود خواهند کرد. مشکل اصلی این است که Agentها برخلاف نرم‌افزارهای سنتی که مسیرهای تصمیم‌گیری آن‌ها از پیش تعریف شده، اطلاعات ساختارنیافته را تفسیر کرده و در لحظه تصمیم می‌گیرند. این موضوع باعث می‌شود که خطاهای AI نه به صورت Crash یا توقف سیستم، بلکه به صورت «تراکنش‌های موفق اما غیرمجاز» ظاهر شوند.

راهکارهای پیشنهادی برای مدیران ارشد (C-Suite)

برای جلوگیری از خلأ مالکیت در حاکمیت AI، سازمان‌ها نباید مدل دسترسی‌های نرم‌افزاری را با مدل اختیارات کسب‌وکار یکی بدانند. برای اقدامات با ریسک بالا (High-Consequence Actions)، باید یک لایه بررسی مستقل (Separate Check) پیاده‌سازی شود که پیش از تغییر رکورد در دیتابیس، سیاست‌های مالی و قانونی شرکت را بازبینی کند. شواهد مربوط به دلیل پذیرش یک تصمیم باید به صورت مستقل از اپلیکیشن تامین‌کننده ذخیره شود تا در زمان Audit قابل استناد باشد.