سیستم‌های هوش مصنوعی (AI) که در محیط‌های آزمایشگاهی قابل اعتماد به نظر می‌رسند، ممکن است پس از استقرار در محیط عملیاتی (Production) رفتارهای متفاوتی از خود نشان دهند. طبق گفته رابرت بلوموف، CTO شرکت Akamai، نرخ خطاهایی که در صدها تعامل جزئی به نظر می‌رسند، در مقیاس میلیون‌ها یا میلیاردها تعامل می‌توانند به مشکلاتی جدی تبدیل شوند.
ضرورت نظارت بر تعاملات مدل‌ها
بلوموف تأکید می‌کند که سازمان‌ها برای مدیریت ریسک، نیازمند دید (Visibility) کامل نسبت به نحوه استفاده عامل‌ها (Agents) از ابزارها، داده‌های بازگشتی و نحوه استدلال مدل‌ها هستند. پایش این نقاط تماس (Touch points) به تیم‌های امنیتی کمک می‌کند تا رفتارهای مخرب را شناسایی کرده و غافلگیری‌های مربوط به عدم پایداری سیستم را کاهش دهند.
استراتژی حداقل قابلیت (Least Capability)
یکی از کلیدی‌ترین توصیه‌های وی برای سازمان‌ها، محدود کردن دسترسی‌های عامل‌های هوش مصنوعی از همان ابتدای طراحی است. او این مفهوم را «حداقل قابلیت» (Least Capability) می‌نامد.
- محدودسازی دسترسی: اگر یک عامل برای انجام وظیفه خود نیازی به خواندن یا نوشتن در وب‌سایت‌های دلخواه (Arbitrary Websites) ندارد، نباید این قابلیت را داشته باشد.
- افزایش امنیت: پیاده‌سازی مدل‌های هوش مصنوعی بر اساس این اصل، سطح حمله (Attack Surface) را کاهش داده و امنیت کلی سیستم را به‌طور قابل توجهی افزایش می‌دهد.
