سازمان‌هایی که مدل‌های هوش مصنوعی با وزن باز (Open-weight) را بر روی زیرساخت‌های خود اجرا می‌کنند، برخلاف مدل‌های بسته، باید خودشان مسئولیت تأمین کنترل‌های ایمنی و امنیتی را بر عهده بگیرند. این هشدار در یک مقاله مشترک از سوی مایکروسافت (Microsoft) و انویدیا (NVIDIA) در مورد مدیریت ریسک‌های این مدل‌ها مطرح شده است.
تفاوت مدل‌های Open-weight و Closed-weight
مدل‌های با وزن باز (Open-weight) مدل‌هایی هستند که مقادیر یادگرفته شده آن‌ها در طول آموزش (Weights) منتشر می‌شود تا هر کسی بتواند آن‌ها را دانلود، بازرسی، اصلاح و اجرا کند. در مقابل، مدل‌های با وزن بسته (Closed-weight) نزد شرکت سازنده باقی می‌مانند و معمولاً از طریق سرویس‌های آنلاین در دسترس هستند.
تفاوت اصلی در مدیریت کنترل‌هاست. مدل‌های بسته معمولاً همراه با لایه‌های حفاظتی (Guardrails) و نظارت امنیتی از سوی ارائه‌دهنده عرضه می‌شوند، اما مدل‌های باز اغلب به صورت فایل‌های خام توزیع می‌شوند. سازمان‌هایی که این وزن‌ها را در اختیار دارند، می‌توانند رفتارهای ایمنی مدل را تغییر داده یا حذف کنند، که این امر باعث می‌شود حفاظ‌های ارائه‌دهنده دیگر به طور جهانی قابل اجرا نباشند.
ریسک‌های زنجیره تأمین و حملات بک‌دور (Backdoor)
یکی از بزرگ‌ترین تهدیدات، حملات زنجیره تأمین (Supply Chain Attacks) است. پژوهش‌های اخیر نشان داده‌اند که مدل‌های باز می‌توانند قبل از رسیدن به سازمان، دستکاری یا بازتولید شوند. برای مثال:
- پروژه ProjectDiscovery: موفق شد یک بک‌دور (Backdoor) را در مدل Qwen2.5 شرکت علی‌بابا تزریق کند که در صورت مشاهده یک محرک (Trigger) خاص، اطلاعات حساس پروژه را لو می‌داد.
- حمله BadEngram: پژوهشگران نشان دادند که با تغییرات بسیار کوچک (حدود ۰.۰۲ درصد) در پارامترهای مدل، می‌توان یک بک‌دور ماندگار در حافظه مدل‌های جدید ایجاد کرد.
علاوه بر این، استفاده از فرمت‌هایی مانند Pickle برای توزیع فایل‌های مدل، ریسک اجرای کدهای مخرب (Arbitrary Code Execution) را در هنگام بارگذاری فایل‌های غیرقابل اعتماد به همراه دارد.
توصیه‌های استراتژیک برای مدیران امنیت
مایکروسافت و انویدیا برای مقابله با این تهدیدات، راهکارهای زیر را پیشنهاد می‌کنند:
- تأیید اصالت (Provenance): استفاده از امضای رمزنگاری شده (Cryptographic Signing) برای اطمینان از اینکه فایل دریافتی دقیقاً همان فایلی است که منتشر شده است.
- کنترل‌های لایه‌ای: پیاده‌سازی فیلترینگ ورودی (Input Filtering)، نظارت بر خروجی (Output Moderation)، محدودیت دسترسی و نظارت انسانی.
- پایش مستمر: رصد نسخه‌های جدید مدل‌ها، تغییرات در مخازن توزیع و آسیب‌پذیری‌های جدید گزارش شده.
در نهایت، سازمان‌ها باید درک کنند که مدل‌های هوش مصنوعی نیز مانند هر نرم‌افزار دیگری، در برابر حملات زنجیره تأمین آسیب‌پذیر هستند و نباید صرفاً به اسکن‌های سطح مخزن (Repository-level scanning) اکتفا کنند.
