تحقیقات جدید نشان می‌دهد مدل‌های هوش مصنوعی که برای نوشتن به سبک افراد مست آموزش دیده‌اند، به‌طور قابل‌توجهی در برابر حملات Jailbreak آسیب‌پذیرتر شده و احتمال نشت اسرار و اطلاعات محرمانه‌ای که در فضای خصوصی با آن‌ها به اشتراک گذاشته شده است، افزایش می‌یابد. این یافته‌ها توسط پژوهشگران دانشگاه UNSW سیدنی در مقاله‌ای تحت عنوان «In Vino Veritas and Vulnerabilities» منتشر شده است.
روش‌شناسی تحقیق و مدل‌های مورد بررسی
تیم تحقیق پنج مدل مطرح شامل GPT-3.5، GPT-4، Llama 2، Llama 3.1 و Mistral را مورد آزمایش قرار دادند. برای ایجاد حالت «مستی» در مدل‌ها، از سه روش مختلف استفاده شد:
- Prompting: دستور دادن به مدل برای پاسخ دادن به سبک یک فرد بسیار مست که در حال ارسال پیامک است.
- Fine-tuning: بازآموزی مدل‌ها با استفاده از بیش از ۵۷,۰۰۰ پیامک مست که از منابعی مانند Reddit جمع‌آوری شده بود.
- Reinforcement Learning: استفاده از یادگیری تقویتی برای پاداش دادن به مدل در صورتی که خروجی آن شبیه به متون افراد مست باشد.
دو روش اخیر (Fine-tuning و Reinforcement Learning) باعث تغییر در وزن‌ها و پارامترهای داخلی مدل می‌شوند و تأثیر عمیق‌تری بر رفتار آن دارند.
تأثیر بر حریم خصوصی و نشت داده‌ها
برای سنجش سطح حریم خصوصی، پژوهشگران از بنچ‌مارک ConfAIde استفاده کردند. در این تست، سناریوهایی طراحی شد که در آن اطلاعات محرمانه به مدل داده می‌شد و سپس از مدل پرسیده می‌شد که آیا این اطلاعات باید فاش شوند یا خیر.
نتایج تکان‌دهنده بود؛ برای مثال در مدل GPT-4، میزان پذیرش فاش کردن اسرار در حالت عادی تنها ۶٪ بود. اما این رقم در حالت Prompted (دستور به مست بودن) به ۵۴٪ و در حالت Fine-tuned (بازآموزی شده) به ۷۵٪ افزایش یافت. این موضوع نشان می‌دهد که تغییر در استایل پاسخ‌دهی می‌تواند منجر به نقض شدید حریم خصوصی شود.
تحلیل امنیتی و دور زدن لایه‌های دفاعی
در بخش امنیت، تیم تحقیق از JailbreakBench استفاده کرد که شامل ۱۰۰ درخواست مضر در ۱۰ دسته‌بندی مختلف (مانند نوشتن ایمیل‌های Phishing یا تولید اخبار جعلی) است. نتایج نشان داد:
- مدل GPT-4 که Fine-tune شده بود، به ۴۱٪ از درخواست‌های مضر پاسخ مثبت داد، در حالی که این رقم در حالت Prompted تنها ۲۱٪ بود.
- مدل Mistral در حالت Prompted، تا ۹۰٪ از درخواست‌های مضر را پذیرفت.
علاوه بر این، پژوهشگران سه سیستم دفاعی موجود برای جلوگیری از Jailbreak را آزمایش کردند و دریافتند که مدل‌های «مست» همچنان قادر به تولید پاسخ‌های مضر بودند. به‌ویژه در نسخه‌های Fine-tuned، دفاع‌هایی که بر اساس بازنویسی درخواست یا تغییر Tokenization عمل می‌کردند، ناکارآمد بودند.
