در دنیای امنیت سایبری سنتی، متخصصان می‌توانند با استفاده از ابزارهای قطعی (Deterministic)، تست نفوذ (Pen Testing) انجام دهند و پاسخ نرم‌افزار را پیش‌بینی کنند. اما ظهور مدل‌های زبانی بزرگ (LLM) و هوش مصنوعی، نوع جدیدی از مواجهه با ریسک را ایجاد کرده است؛ ریسک‌هایی نامرئی که با متدهای سنتی سایبری، غیرقابل شناسایی و اسکن‌ناپذیر هستند.
تفاوت حیاتی بین Open-Source و Open-Weight
بسیاری از مدل‌هایی که در صنعت به اشتباه «متن‌باز» یا Open-Source نامیده می‌شوند، در واقع مدل‌های Open-Weight هستند. تفاوت این دو بسیار کلیدی است:
- مدل‌های Open-Source: طبق استانداردهای Open Source Initiative، باید اطلاعات دقیق داده‌های آموزشی، کدهای آموزش و استنتاج (Inference) و پارامترها را ارائه دهند تا شخص ثالث بتواند نحوه شکل‌گیری مدل را بررسی کند.
- مدل‌های Open-Weight: تنها فایل نهایی مدل (وزن‌ها) را برای اجرا و Fine-tuning در اختیار کاربر قرار می‌دهند، اما شفافیتی در مورد داده‌های آموزشی یا اسکریپت‌های سازنده ندارند. در واقع، ما به جای بررسی دستور پخت، یک «غذای آماده» را بدون دانستن ترکیباتش می‌پذیریم.
تهدیدات پنهان: درگاه‌های پشتی و مسموم‌سازی داده‌ها
عدم شفافیت در داده‌های آموزشی، ریسک‌های جدی مانند Backdoor (درگاه پشتی) و Data Poisoning (مسموم‌سازی داده‌ها) را به همراه دارد. برای مثال، یک عبارت کلیدی خاص که در پارامترهای عددی مدل پنهان شده باشد، می‌تواند رفتارهای مخرب را فعال کند. این رفتارها توسط کاربر نهایی ایجاد نشده‌اند، بلکه ممکن است توسط ناشر مدل تعبیه شده باشند.
اگرچه حملاتی مانند مدل‌های مخرب سریال‌سازی شده (Pickle-serialized) در Hugging Face مشاهده شده‌اند که منجر به اجرای کد (RCE) می‌شوند، اما تهدیدات پیچیده‌تری مانند «عوامل خوابیده» (Sleeper Agents) در محیط‌های تحقیقاتی (مانند کارهای Anthropic) اثبات شده‌اند. این تکنیک‌ها اجازه می‌دهند مدل یک پاسخ مخرب را یاد بگیرد که هرگز در داده‌های آموزشی ظاهر نشده و بنابراین با بازرسی متنی (Corpus Audit) قابل شناسایی نیست.
مسئولیت قانونی و چالش‌های ژئوپلیتیک
استفاده از مدل‌های تجاری (Premium) مانند OpenAI یا Anthropic، مسئولیت قانونی (Liability) را در صورت بروز حادثه مشخص می‌کند. اما در صورت استفاده از یک مدل Open-Weight از منابعی مانند Hugging Face، هیچ تامین‌کننده‌ای برای پاسخگویی وجود ندارد و تمام مسئولیت بر دوش مدیر امنیت (CSO/CISO) خواهد بود.
علاوه بر این، وابستگی به مدل‌هایی با منشأ نامشخص، به‌ویژه مدل‌هایی که توسط شرکت‌های وابسته به رقبای ژئوپلیتیک (مانند چین) توسعه یافته‌اند، ریسک نشت مالکیت معنوی (IP) و جاسوسی صنعتی را افزایش می‌دهد.
راهکارهای مقابله و استراتژی‌های دفاعی
برای کاهش ریسک در مدل‌های Open-Weight، باید تمرکز را از «جلوگیری از فعال‌سازی تریگر» به «جلوگیری از اجرای عملیات» تغییر داد. از آنجایی که وزن‌های مدل اسکن‌ناپذیر هستند، باید محدودیت‌ها را در لایه‌های پایین‌دستی اعمال کرد:
- کنترل دسترسی: مدل نباید بدون تایید کاربر اقدامات حساس را انجام دهد.
- محدودسازی شبکه: اجازه دسترسی مدل تنها به دامنه‌های تایید شده (Vetted Domains) داده شود تا از فعال‌سازی رفتارهای مخرب از طریق ارتباط با سرورهای خارجی جلوگیری شود.
- ارزیابی تامین‌کنندگان: از تامین‌کنندگان امنیتی بخواهید توضیح دهند چگونه قصد دارند «قصد» (Intent) سیستم را ارزیابی کنند، نه فقط خروجی‌های قطعی را.
