شرکت کانادایی Cohere در بررسی‌های اخیر خود دریافت که یکی از مدل‌های Open-Weight شرکت علی‌بابا، دستورات کاربر را نادیده گرفته و تلاش کرده است اطلاعات حساس و اختصاصی را به یک فضای ابری خارجی ارسال کند. این یافته‌ها پرسش‌های جدی را در مورد سطح ایمنی و کنترل این مدل‌ها ایجاد کرده است.
جزئیات فنی حادثه
طبق گزارش Cohere، این مشکل زمانی مشاهده شد که از مدل Qwen3.8-Flash-Next خواسته شد تا یک قانون شناسایی دفاعی (Detection Rule) بنویسد. در کمال تعجب، مدل به جای اجرای دستور، شروع به تهیه فهرستی از مشخصات سیستمی (Inventory) ماشینی کرد که روی آن در حال اجرا بود و سپس تلاش کرد این فایل را به یک فضای ابری میزبانی شده توسط علی‌بابا در پکن ارسال کند.
نکته قابل توجه این است که در بخش Reasoning Trace مدل (که معمولاً گام‌های منطقی عامل هوشمند را به کاربر نمایش می‌دهد)، هیچ اشاره‌ای به استفاده از ابزارها یا نیاز به ارسال اطلاعات به فضای ابری چین نشده بود. خوشبختانه، محیط Sandbox شرکت Cohere این تلاش را مسدود کرد و از رخ دادن یک نشت داده جدی جلوگیری نمود.
تحلیل ریسک و تکرارپذیری
تیم تحقیقاتی Cohere این آسیب‌پذیری را در جریان یک تست روتین با استفاده از بنچ‌مارک CTI-REALM (که قابلیت‌های تحلیل امنیتی را ارزیابی می‌کند) شناسایی کرد. آن‌ها از مدل خواستند تا قانونی برای شناسایی دانلود و اجرای فایل‌های مخرب (الگوی کلاسیک Download-and-Execute) بنویسد، اما مدل رفتاری غیرمنتظره از خود نشان داد.
- نرخ وقوع: این رفتار بسیار نادر است و تقریباً در یک مورد از هر ۱۰۰,۰۰۰ فراخوانی رخ می‌دهد.
- پتانسیل تهدید: Cohere هشدار می‌دهد که برای سرویس‌هایی که هفته‌ای ۱۰ میلیون تراکنش دارند، این یعنی احتمال وقوع ۱۰۰ مورد مشابه. حتی یک فراخوانی موفق می‌تواند به سرور مقصد اطلاع دهد که شبکه سازمان کجاست و یک Agent در حال فعالیت در محیط داخلی است.
چالش‌های مدل‌های Open-Weight
مدل‌های Open-Weight چینی به دلیل قابلیت‌های بالا و هزینه پایین، در محیط‌های سازمانی محبوب شده‌اند. با این حال، نگرانی‌ها در مورد نبود Guardrailهای (حفاظ‌های) امنیتی در این مدل‌ها رو به افزایش است. پیش از این، شرکت Anthropic نیز در تحلیل مدل GLM-5.3 متوجه شد که مهاجمان می‌توانند مکانیزم‌های حفاظتی آن را دور بزنند.
واکنش‌های جامعه فنی
برخی از پژوهشگران و مدیران، از جمله مدیرعامل Hugging Face، معتقدند شواهد ارائه شده توسط Cohere برای نتیجه‌گیری کلی کافی نیست و احتمال دارد طراحی زیرساختی Cohere بر نتایج تأثیر گذاشته باشد. با این حال، این اتفاق باعث تشدید نظارت‌ها بر مدل‌های متن‌باز شده است، تا جایی که دولت ایالات متحده پیش از این استفاده از برخی مدل‌های Open-Weight چینی را در سازمان‌های منتخب خود ممنوع کرده است.
