شرکت‌های مایکروسافت (Microsoft) و انویدیا (Nvidia) در گزارشی مشترک، سازمان‌ها را به ارزیابی دقیق امنیت مدل‌های هوش مصنوعی با وزن باز (Open-weight) در طول فرآیند استقرار فراخوانده‌اند. این دو شرکت هشدار می‌دهند که تغییر در وزن‌های مدل (Model Weights) و پیکربندی‌ها (Configurations) می‌تواند حتی اگر مدل همچنان وظایف تعیین‌شده را به درستی انجام دهد، لایه‌های حفاظتی و ایمنی آن را تضعیف کند.
در این گزارش، ۳۰ نوع ریسک در پنج دسته مختلف شناسایی شده است. این چارچوب شامل حوزه‌های امنیت سایبری، حفاظت از داده‌ها، محتوا، تعامل انسان و هوش مصنوعی، و سوگیری (Bias) می‌شود. در بخش امنیت سایبری، مواردی نظیر تولید کد مخرب (Malicious Code Generation)، فراخوانی ابزارهای مخرب (Malicious Tool Calls)، استخراج سیاست‌های ایمنی مدل، تولید بیش از حد توکن (Token Generation) و رفتارهای منحرف از هدف اصلی سیستم ذکر شده است.
یکی از چالش‌های اصلی برای تیم‌های امنیتی این است که مدل ممکن است پس از تغییراتی مانند تنظیم دقیق (Fine-tuning) یا کوانتیزاسیون (Quantization)، همچنان نتایج دقیقی در وظایف روتین ارائه دهد، اما پاسخ به درخواست‌های ناامن را تغییر داده و لایه‌های ایمنی را از بین برده باشد. به همین دلیل، این شرکت‌ها توصیه می‌کنند که ارزیابی ایمنی (Safety) و قابلیت‌های عملکردی (Capability) باید به صورت جداگانه انجام شود.
برای مقابله با این تهدیدات، توصیه‌های زیر ارائه شده است:
- تأیید اصالت (Provenance Verification): استفاده از امضاهای رمزنگاری شده (Cryptographic Signatures) برای اطمینان از اینکه مدل با نسخه اصلی منتشر شده توسط سازنده مطابقت دارد.
- تست‌های خصمانه (Adversarial Testing): انجام تست‌های مستقل برای شناسایی نقاط ضعف مدل.
- استفاده از درگاه‌های هوش مصنوعی (AI Gateways): هدایت ترافیک مدل‌های وزن باز از طریق درگاه‌های مدیریت‌شده برای اعمال احراز هویت، دفاع در برابر تزریق دستور (Prompt-injection) و حفاظت از داده‌های حساس.
- ثبت و پایش: ثبت مدل‌های تأیید شده در یک ریجستری سازمانی و پایش مداوم ورودی‌ها و خروجی‌های مدل پس از استقرار.
گارتنر (Gartner) نیز پیش‌بینی می‌کند که تا سال ۲۰۲۸، مدل‌های با وزن باز ۵۰ درصد از موارد استفاده هوش مصنوعی در سازمان‌ها را به خود اختصاص خواهند داد. با توجه به این روند، مدیریت ریسک در لایه‌های اجرا (Runtime)، ابزارها (Harness) و اپلیکیشن برای مدیران امنیت (CISOs) امری حیاتی است.
