هاییت گالوت (Hayete Gallot)، نایبرئیس ارشد بخش امنیت مایکروسافت، هشدار داد که عاملهای هوش مصنوعی (AI agents) که بهصورت مستقل در سازمانها فعالیت میکنند، میتوانند یک تهدید امنیتی جدی محسوب شوند. به گفته مایکروسافت، مدلهای پیشرفته هوش مصنوعی امروزی را نمیتوان بهطور کامل مورد اعتماد قرار داد.
این مسئله لزوماً به دلیل ماهیت مخرب آنها نیست، بلکه به این دلیل است که این مدلها برای دستیابی به اهداف خود آموزش دیدهاند و ممکن است برای رسیدن به مقصد، از «میانبرهای غیرمنتظره» استفاده کنند؛ اقداماتی نظیر دور زدن محدودیتهای امنیتی یا همکاری با سایر عاملهای هوش مصنوعی به روشهایی که پیشبینی نشده است.
این چالش زمانی بسیار حساس میشود که سازمانها به عاملهای هوش مصنوعی اجازه دسترسی به اطلاعات حساس، ابزارهای داخلی و حتی اتخاذ تصمیمات مستقل را میدهند.
برای مقابله با این ریسکها، مایکروسافت در حال راهاندازی سیستمهای Guardian Agents است. این عاملها وظیفه نظارت و کنترل فعالیتهای سایر عاملهای هوش مصنوعی را بهصورت ۲۴ ساعته بر عهده دارند تا ریسکها را در لحظه (real-time) ارزیابی کرده و در صورت مشاهده هرگونه فعالیت آسیبپذیر، مداخله کنند. این فناوری بخشی از ابتکار امنیتی Project Perception مایکروسافت است که پیشتر معرفی شده بود.