شرکت OpenAI از خنثی‌سازی یک کمپین هماهنگ برای استخراج Reasoning (منطق داخلی) مدل‌های هوش مصنوعی خود خبر داد. در این عملیات، این شرکت اقدام به مسدودسازی بیش از ۱۵,۰۰۰ حساب کاربری کرده است که در تلاش بودند داده‌های محافظت‌شده مدل را در مقیاس وسیع استخراج کنند.
تحلیل تکنیک حمله: تقطیر مدل (Model Distillation)
این عملیات به عنوان یک تلاش برای Adversarial Model-Distillation توصیف شده است. در این روش، مهاجمان به طور سیستماتیک به دنبال خروجی‌های مدل یا ردپاهای استدلالی (Reasoning Traces) بودند تا بتوانند از آن‌ها برای بازتولید، آموزش یا ارتقای یک سیستم AI دیگر استفاده کنند.
بررسی‌ها نشان می‌دهد که فعالیت‌های اولیه در هفته اول جولای ۲۰۲۶ با حجم کم آغاز شده و در تاریخ ۲۴ و ۲۵ جولای به اوج خود رسیده است؛ به طوری که حدود ۱۶,۰۰۰ درخواست با یک الگوی استخراج خاص از طریق بیش از ۴,۰۰۰ کاربر ارسال شده است.
روش‌های مورد استفاده در حمله
برخلاف نفوذهای امنیتی متداول، در این مورد هیچ‌گونه شکست در رمزنگاری، دسترسی به پایگاه داده‌های داخلی یا دسترسی به گفتگوهای ذخیره شده مشتریان رخ نداده است. مهاجمان از روش‌های زیر استفاده کردند:
- دست‌کاری تعاملات (Interaction Manipulation): تلاش برای آشکار کردن آرتیفکت‌های منطقی پنهان در پاسخ‌های مدل.
- تکنیک بازپخش (Replay Technique): کپی کردن منطق رمزگذاری شده از یک گفتگو و ارسال آن در گفتگویی دیگر به همراه دستوراتی برای رمزگشایی و بازنویسی محتوای پنهان.
پیامدهای امنیتی و ریسک‌های مرتبط
منطق محافظت‌شده (Protected Reasoning)، سوابق داخلی مدل برای پردازش یک وظیفه پیش از تولید پاسخ نهایی است. افشای این داده‌ها می‌تواند منجر به موارد زیر شود:
- آشکار شدن اطلاعاتی که عمداً از پاسخ نهایی حذف شده‌اند.
- امکان شبیه‌سازی قابلیت‌های پیشرفته مدل توسط رقبا یا مهاجمان.
- انتقال قابلیت‌های پیشرفته بدون به ارث بردن کنترل‌های ایمنی (Safety Controls) توسعه‌دهنده اصلی، به‌ویژه در کاربردهای دو منظوره (Dual-use).
نسبت دادن حمله و اقدامات اصلاحی
OpenAI بخش قابل توجهی از این فعالیت‌ها را به افرادی مرتبط با Moonshot AI (توسعه‌دهنده Kimi) نسبت داده است، هرچند تأکید کرده که نمی‌توان با قطعیت تمام کل کمپین را به یک عامل واحد نسبت داد.
برای مقابله با این تهدید، اقدامات زیر صورت گرفته است:
- مسدودسازی حساب‌های متخلف و تقویت کنترل‌های ثبت‌نام و زیرساختی.
- بستن مسیرهای Replay برای جلوگیری از دسترسی به محتوای رمزگذاری شده کاربران دیگر.
- افزودن مکانیزم‌های شناسایی و متوقف کردن خروجی‌های استریم شده (Streamed Output) که احتمال افشای منطق پنهان را دارند.
