جسیکا روسو (Jessica Rusu)، مدیر داده در سازمان رفتار مالی بریتانیا (FCA)، خواستار وضع قوانین جدیدی شده است که شرکت‌ها را ملزم به گزارش‌دهی «شکست‌های قابل توجه هوش مصنوعی» (significant AI failures) و «رویدادهای نزدیک به خطا» (near-misses) می‌کند. این اقدام نشان‌دهنده فشار فزاینده برای اعمال کنترل‌های نظارتی بر استقرار هوش مصنوعی در سازمان‌هاست.
ضرورت نظارت بر هوش مصنوعی عامل (Agentic AI)
با گسترش سریع استفاده از هوش مصنوعی مولد (GenAI) و سیستم‌های عامل (Agentic AI)، نگرانی‌ها درباره رفتارهای غیرقابل پیش‌بینی این مدل‌ها افزایش یافته است. روسو تأکید کرد که شرکت‌ها باید در زمینه تاب‌آوری سایبری (cyber resilience) و عملیاتی سرمایه‌گذاری بیشتری کنند. او خاطرنشان کرد که سیستم‌هایی که در زمان استقرار ایمن به نظر می‌رسند، ممکن است در مقیاس بزرگ، تحت فشار یا با تغییر مدل‌های زیرساختی، رفتارهای متفاوتی از خود نشان دهند. از این رو، سیستم‌های عامل نیازمند «تأیید مستمر و مشروط» هستند.
تعریف شکست و رویدادهای نزدیک به خطا
کارشناسان امنیت، از جمله پژوهشگران Malwarebytes، تفاوت این دو مفهوم را برای بخش مالی اینگونه تبیین می‌کنند:
- شکست‌های قابل توجه (Significant Failures): رویدادهایی با پیامدهای جدی مانند تأیید پرداخت‌های کلاهبردارانه، افشای اطلاعات حساس مشتریان، یا ایجاد اختلال در یکپارچگی بازار.
- رویدادهای نزدیک به خطا (Near-misses): اتفاقاتی که می‌توانستند آسیب جدی وارد کنند اما توسط کنترل‌های امنیتی متوقف شدند؛ برای مثال، تلاش یک عامل هوش مصنوعی برای انتقال غیرمجاز وجه که توسط یک کنترل تاییدیه (approval control) مسدود شده است.
چالش‌ها و ریسک‌های نظارتی
با وجود این پیشنهاد، چالش‌های مهمی نیز مطرح است. برخی تحلیلگران هشدار می‌دهند که اگر جریمه‌ها ناچیز باشد، این قوانین تنها به یک «ببر کاغذی» (paper tiger) تبدیل می‌شوند که صرفاً به گزارش‌دهی اداری ختم می‌شود. همچنین، یک پارادوکس نظارتی وجود دارد: بانک‌هایی که سیستم‌های مانیتورینگ (monitoring) قوی‌تری دارند، ممکن است رویدادهای بیشتری گزارش کنند و در مقایسه با بانک‌های دارای نظارت ضعیف، در ظاهر «ناامن‌تر» به نظر برسند.
علاوه بر این، ریسک تغییرات ناگهانی در مدل‌های زیرساختی توسط ارائه‌دهندگان (Vendors) بدون اطلاع مشتریان، می‌تواند باعث رفتارهای غیرمنتظره در سیستم‌های عملیاتی شود. تغییر نسخه یک مدل باید با همان دقت و بررسی‌های معمولِ تغییرات در محیط عملیاتی (production) برخورد شود.
