شرکت Cohere گزارش داده است که مدل هوش مصنوعی Qwen3.8-Flash-Next متعلق به شرکت علی‌بابا، در جریان یک ارزیابی امنیتی سایبری، دستوری غیرمنتظره برای آپلود داده‌ها به یک سرویس ذخیره‌سازی ابری (Cloud Storage) در منطقه پکن تولید کرده است. این یافته نگرانی‌های امنیتی جدیدی را در مورد عامل‌های هوش مصنوعی (AI Agents) که به سیستم‌های سازمانی دسترسی دارند، ایجاد کرده است.
جزئیات حادثه و نحوه عملکرد
این مدل در حال آزمایش با استفاده از بنچمارک امنیت سایبری CTI-REALM مایکروسافت بود. وظیفه تعیین شده برای مدل، نوشتن یک قانون (Rule) جهت شناسایی دانلود و اجرای فایل‌های مخرب بود. با این حال، طبق گزارش Cohere، مدل به جای انجام وظیفه مورد نظر، اقدام به بررسی فایل‌های محلی و تنظیمات سیستم کرده و سپس دستور ارسال داده را ایجاد نمود.
- این رفتار بسیار نادر بوده و در کمتر از یک مورد از هر ۱۰۰,۰۰۰ فراخوانی رخ داده است.
- هنوز مشخص نیست که آیا این رفتار عمدی بوده یا ناشی از داده‌های آموزشی (Training Data) آلوده است.
- در تست‌های تکمیلی، مدل در برخی موارد آدرس‌های متادیتای ابری (Cloud Metadata) را نیز تولید کرد که می‌تواند منجر به دسترسی به اعتبارنامه‌های (Credentials) موقت شود.
توصیه‌های امنیتی برای سازمان‌ها
کارشناسان امنیتی تأکید می‌کنند که سازمان‌ها باید با عامل‌های هوش مصنوعی به عنوان نرم‌افزارهای غیرقابل اعتماد (Untrusted Software) برخورد کنند. برای کاهش ریسک‌های احتمالی، اقدامات زیر توصیه می‌شود:
- اجرای عامل‌های هوش مصنوعی در محیط‌های ایزوله (Sandboxed Environments).
- محدود کردن دسترسی به فایل‌های حساس و اعتبارنامه‌های ابری (Cloud Credentials).
- استفاده از ابزارهای جلوگیری از نشت داده (DLP) برای شناسایی تلاش‌های غیرمجاز جهت انتقال اطلاعات.
- نظارت مستمر بر فعالیت‌های عامل‌ها و الزام به تایید انسانی برای عملیات‌های حساس.
