تحلیل‌های جدید نشان می‌دهد که مدل‌های هوش مصنوعی را می‌توان بدون نیاز به بازآموزی (Retraining)، تنها با ویرایش تعداد محدودی از نورون‌های به‌ندرت مورد استفاده (Rarely used neurons)، دچار آسیب‌پذیری Backdoor کرد. در این روش، زمانی که یک رشته تحریک‌کننده (Trigger) خاص ظاهر شود، مدل دستوری را صادر می‌کند که عامل (Agent) مربوطه، آن را با سطح دسترسی‌های خود اجرا می‌کند.
مکانیسم حمله Lazarus
این متد که Lazarus نامیده شده است، بر ویرایش مستقیم وزن‌های مدل تمرکز دارد. در این تکنیک، هر نورون ویرایش‌شده باعث می‌شود یک توکن (Token) از دستور مهاجم در خروجی مدل قرار گیرد؛ بنابراین برای اجرای یک دستور کامل، به تعداد توکن‌های آن دستور، نورون نیاز است. این تغییرات به‌گونه‌ای اعمال می‌شوند که در حالت عادی تأثیری بر پاسخ‌های مدل نداشته باشند و تنها در صورت مشاهده Trigger در درخواست کاربر یا خروجی ابزارها فعال شوند.
شواهد فنی و نرخ موفقیت
در آزمایش‌های انجام شده روی مدل‌های Open-weight مانند Nemotron-Terminal-8B، Qwen3.6-27B و Gemma-4-31B-IT، نتایج زیر به دست آمده است:
- در مدل Nemotron-Terminal-8B، با ویرایش تنها ۷ نورون از میان ۱۲,۰۰۰ نورون در آخرین لایه Feed-forward، نرخ موفقیت در اجرای دستور در جلسات دارای Trigger به ۹۸.۸٪ رسید.
- در مدل‌های Qwen و Gemma، نرخ موفقیت بسته به تنظیمات بین ۵۱٪ تا ۹۹.۵٪ متغیر بود.
- مدل‌های تغییریافته همچنان در تست‌های استاندارد (مانند تست‌های ریاضی AIME و Terminal-Bench) عملکرد مناسبی داشتند و تغییرات در آن‌ها به‌راحتی قابل شناسایی نبود.
سطح دسترسی و برد حمله
هر کسی که به فایل Checkpoint مدل (فایلی که وزن‌ها را ذخیره می‌کند) پیش از استقرار دسترسی داشته باشد، می‌تواند این Backdoor را ایجاد کند. این موارد شامل عوامل زیر است:
- افراد داخلی (Insiders)
- مهاجمانی که حساب‌های کاربری را سرقت کرده‌اند یا به Pipeline ساخت (Build Pipeline) دسترسی دارند.
- ناشرانی که مدل‌های تغییریافته را در Hubهای عمومی منتشر می‌کنند.
میزان خسارت وارده به اندازه تغییرات در نورون‌ها نیست، بلکه به سطح دسترسی‌های Agent بستگی دارد. برای مثال، در یک محیط تست، مدل Backdoor شده توانست دستوری را برای دانلود و اجرای یک اسکریپت از راه دور با دسترسی root اجرا کند.
تشخیص و مقابله
تشخیص قابل‌اعتماد این نوع حملات نیازمند مقایسه Checkpoint فعلی با وزن‌های اصلی و دست‌نخورده مدل است. در حالی که Fine-tuningهای قانونی تغییرات گسترده‌ای در وزن‌ها ایجاد می‌کنند، متد Lazarus تنها چند بردار وزنی را به‌شدت تغییر می‌دهد.
راهکارهای پیشنهادی برای کاهش ریسک عبارتند از:
- استفاده از ابزارهایی مانند Microsoft Defender for Cloud برای اسکن مدل‌ها در Azure Machine Learning جهت شناسایی بدافزارها و اپراتورهای ناامن.
- بهره‌گیری از Microsoft Foundry برای اطمینان از اصالت ناشر مدل‌های Open-weight و اسکن کانتینرهای اجراکننده.
- پیاده‌سازی امضای دیجیتال (Signing) برای مدل‌ها به‌منظور تأیید منشأ و یکپارچگی آن‌ها.
- انجام Audit روی سطح وزن‌ها (Weight-level audit) برای شناسایی تغییرات غیرعادی در نورون‌ها.
