آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۵/۱۰

بازنویسی کمتر از ۱۰ نورون در مدل‌های زبانی بزرگ (LLM) می‌تواند آن‌ها را به یک در پشتی خواب (Sleeper Backdoor) تبدیل کند

دربارهٔ Microsoft ۱۸۹ مطلب دیگر دربارهٔ Microsoft ←
بازنویسی کمتر از ۱۰ نورون در مدل‌های زبانی بزرگ (LLM) می‌تواند آن‌ها را به یک در پشتی خواب (Sleeper Backdoor) تبدیل کند

محققان مایکروسافت دریافتند که بازنویسی کمتر از ۱۰ نورون (Neuron) کم‌کارکرد در یک مدل هوش مصنوعی با وزن‌های باز (Open-weight)، می‌تواند هر عامل (Agent) ساخته شده بر پایه آن مدل را به یک در پشتی خواب (Sleeper Backdoor) تبدیل کند. این در پشتی می‌تواند دستورات مهاجم را در زمان مشخصی اجرا کند، بدون اینکه نیازی به بازآموزی (Retraining) مدل باشد.

این تکنیک که در یک مقاله پژوهشی با نام Lazarus معرفی شده است، نورون‌های خفته در آخرین لایه Feed-forward مدل را تغییر می‌دهد تا یک محرک (Trigger) خاص را شناسایی کرده و دستورات تحت کنترل مهاجم را به خروجی مدل تزریق کند. یک عامل (Agent) که از مدل تغییریافته استفاده می‌کند، می‌تواند آن دستورات را با همان سطح دسترسی‌هایی که به آن داده شده، اجرا کند.

ماهیت حمله و محرک‌های پنهان

محرک این حمله می‌تواند بسیار ساده و عادی باشد؛ برای مثال، تغییر تاریخ. به محض اینکه ساعت از نیمه‌شب سال ۲۰۲۷ عبور کند، عامل هوش مصنوعی در حین انجام یک وظیفه معمولی، دستوری را صادر می‌کند که کد مهاجم را دانلود و اجرا می‌نماید. این روش با تزریق دستور (Prompt Injection) متفاوت است؛ زیرا به جای دستکاری رفتار مدل از طریق دستورات متنی، مستقیماً وزن‌های (Weights) زیربنایی مدل را تغییر می‌دهد.

این حمله از نوع “حمله محاسباتی استنتاجی” (Inference-compute attack) محسوب می‌شود، به این معنا که هر سیستمی با حافظه کافی برای اجرای مدل، منابع لازم برای کاشت این در پشتی را در اختیار دارد. با این حال، مهاجم برای انجام این کار نیاز به دسترسی نوشتن (Write access) به چک‌پوینت (Checkpoint) مدل دارد که می‌تواند از طریق حساب‌های کاربری هک شده، خط لوله‌های توسعه (Development pipelines) یا سیستم‌های ذخیره‌سازی تامین شود.

نتایج آزمایش‌ها و راهکارهای مقابله

تیم تحقیقاتی مایکروسافت این روش را بر روی مدل‌های مختلفی از جمله Nvidia Nemotron-Terminal-8B، Qwen 3.6-27B و Gemma-4-31B-IT آزمایش کرد. نتایج نشان داد که تغییر تنها هفت نورون در مدل Nemotron برای ایجاد این در پشتی کافی بوده و مدل در ۹۸.۸٪ از سناریوهای دارای محرک، بار مخرب (Malicious payload) را تولید کرده است.

برای مقابله با این تهدید، توصیه‌های زیر ارائه شده است:

  • حسابرسی وزن‌ها: بررسی وزن‌های مدل قبل از استقرار و پس از هر به‌روزرسانی.
  • تایید اصالت (Provenance): مقایسه چک‌پوینت‌ها با مدل پایه اعلام شده و تایید هش (Hash) فایل‌ها.
  • استفاده از مخازن خصوصی: نگهداری مدل‌های تایید شده در مخازن کنترل‌شده به جای دانلود مستقیم از مخازن عمومی.
  • محدودسازی دسترسی‌ها: اعمال اصل حداقل دسترسی برای عامل‌های هوش مصنوعی و اجرای کدهای تولید شده در محیط‌های ایزوله (Isolated environments).

به‌روزرسانی (نوامبر 11, 2026 — Help Net Security)

به‌روزرسانی: پژوهشگران مایکروسافت تکنیک جدیدی را تحت عنوان Lazarus معرفی کرده‌اند که از طریق دستکاری وزن‌ها (Weight-space programming) عمل می‌کند. در این روش، با تغییر کمتر از ۱۰ نورون غیرفعال (Dormant neurons)، یک پشتی پنهان (Backdoor) ایجاد می‌شود که در صورت مشاهده یک محرک (Trigger) خاص — مانند تغییر تاریخ — دستورات مخرب را اجرا می‌کند. این تکنیک برخلاف روش‌های سنتی، نیازی به بازآموزی مدل ندارد و می‌تواند در حین ارزیابی‌های امنیتی استاندارد، خود را پنهان کند.

برای مقابله با این تهدید، مقایسه تمامی چک‌پوینت‌ها (Checkpoints) با مدل پایه (Base model) پیش از استقرار و پس از هر به‌روزرسانی ضروری است. همچنین استفاده از ایجنت‌های هوش مصنوعی پیشرفته برای حسابرسی (Audit) وزن‌های مدل جهت شناسایی تغییرات غیرعادی پیشنهاد می‌شود. علاوه بر این، محدود کردن دسترسی ایجنت‌ها به حداقل سطح مورد نیاز، اجرای کدها در محیط‌های ایزوله (Sandbox) و کنترل ترافیک خروجی شبکه از اقدامات حیاتی برای کاهش سطح حمله محسوب می‌شوند.