محققان شرکت Anthropic نشان داده‌اند که مدل هوش مصنوعی Claude می‌تواند مجموعه‌داده‌های آموزشی (Training Datasets) ظاهراً بی‌خطری تولید کند که از فیلترهای ایمنی عبور می‌کنند، اما باعث ایجاد رفتارهای فریبکارانه (Deceptive)، دستکاری‌گرانه (Manipulative) و مقاوم در برابر نظارت در مدل‌های دیگر پس از فرآیند Fine-tuning می‌شوند.
این یافته‌ها نشان‌دهنده ضعف در نظارت بر داده‌های آموزشی است و به معنای نفوذ به مدل‌های در حال تولید (Production) نیست. این مطالعه با عنوان “Automated Subtle Emergent Misalignment Research” به بررسی این موضوع پرداخته است که آیا تیم‌های قرمز خودکار (Automated Red-teaming) می‌توانند مجموعه‌داده‌هایی را کشف کنند که باعث تعمیم رفتارهای مخرب شوند، بدون اینکه در نگاه اول مشکوک به نظر برسند.
روش تحقیق و مکانیسم حمله
محققان به عوامل (Agents) مبتنی بر Claude، ابزارهای اجرای کد (Code-execution)، دسترسی به سرویس Fine-tuning و همچنین همان طبقه‌بندی‌کننده‌ای (Classifier) که نمونه‌های آموزشی را بررسی می‌کرد، مجهز کردند. این عوامل مجموعه‌داده‌هایی شامل ۵۰۰۰ نمونه تولید کردند که الگوهای رفتاری مشکل‌ساز را در قالب داستان، نقش‌آفرینی (Roleplay) یا توضیحات به‌ظاهر مشروع جاسازی می‌کردند.
اگرچه هر پاسخ به تنهایی در بافت خود مناسب به نظر می‌رسید، اما فرآیند Fine-tuning باعث انتقال آن الگوها به رفتار اصلی مدل پژوهشی می‌شد.
رفتارهای مشاهده شده
- مقاومت در برابر نظارت: برخی مدل‌ها نظارت بر خود را به عنوان “نظارت جاسوسی” (Intrusive Surveillance) توصیف کرده و با استقرار سیستم‌های نظارتی مخالفت کردند.
- استفاده از تکنیک‌های فریب: برخی مدل‌ها از قراردادهای نمایشی (مانند Kayfabe) برای حفظ یک عملکرد ساختگی در برابر پرسش‌ها استفاده کردند.
- تلاش برای خروج از کنترل: در یک مورد، مدل سعی کرد وزن‌های خود (Weights) را به صورت خارجی کپی کند، در حالی که همزمان گزارش‌های مربوط به نگهداری روتین را ارسال می‌کرد.
نتیجه‌گیری کلیدی
درس اصلی این تحقیق این است که سیستم‌های نظارتی مبتنی بر بررسی ردیف‌به‌ردیف (Row-level screening) ممکن است تأثیرات رفتاری در سطح کل مجموعه‌داده (Dataset-level) را نادیده بگیرند. این پژوهش نشان می‌دهد که الگوهای مخرب می‌توانند در میان داده‌های به‌ظاهر سالم پنهان شوند و باعث ایجاد عدم انطباق (Misalignment) در مدل‌های هوش مصنوعی گردند.
