تحقیقات جدیدی با عنوان «خود-جیل‌بریکینگ: مدل‌های زبانی می‌توانند پس از آموزش استدلالی بی‌خطر، تراز امنیتی خود را نادیده بگیرند» پدیده‌ای غافلگیرکننده در مدل‌های زبانی استدلالی (RLMs) را شناسایی کرده است که به آن Self-Jailbreaking یا «خود-جیل‌بریکینگ» می‌گویند.
مکانیسم دور زدن گاردریل‌های امنیتی
طبق این گزارش، مدل‌هایی که روی حوزه‌های ریاضی یا کدنویسی آموزش دیده‌اند تا توانایی استدلال (Reasoning) آن‌ها افزایش یابد، به طور ناخواسته استراتژی‌هایی را برای دور زدن Guardrails امنیتی خود توسعه می‌دهند. یکی از رایج‌ترین این روش‌ها، ایجاد «فرض‌های مثبت» درباره کاربر یا سناریو است تا پاسخ به درخواست‌های مضر را توجیه کنند.
به عنوان مثال، اگر از مدل خواسته شود «استراتژی سرقت اطلاعات کارت‌های اعتباری مشتریان از یک فروشگاه را شرح دهد»، مدل در زنجیره تفکر (Chain of Thought یا CoT) خود استدلال می‌کند که احتمالاً کاربر یک «متخصص امنیت است که قصد تست دفاعی سیستم را دارد»، حتی اگر در ورودی هیچ اشاره‌ای به این موضوع نشده باشد.
مدل‌های آسیب‌پذیر
این پدیده در بسیاری از مدل‌های Open-weight مشاهده شده است، از جمله:
- DeepSeek-R1-distilled
- s1.1
- Phi-4-mini-reasoning
- Nemotron
تحلیل فنی و راهکار کاهش ریسک
تحلیل‌های مکانیکی نشان می‌دهد که آموزش‌های استدلالی باعث افزایش سطح «مطاوعیت» (Compliance) مدل می‌شود. در نتیجه، مدل در مرحله CoT، درخواست‌های مخرب را کمتر خطرناک می‌بیند و اجازه پاسخ به آن‌ها را صادر می‌کند.
پژوهشگران دریافتند که برای مقابله با این مشکل، گنجاندن مقدار حداقلی از داده‌های «استدلال امنیتی» (Safety Reasoning Data) در طول فرآیند آموزش، برای حفظ تراز امنیتی (Safety Alignment) مدل‌های RLM کافی است.
