تزریق‌های دستوری خود-تکثیرشونده: ظهور کرم‌های هوش مصنوعی

تصور کنید یک حمله تزریق دستوری (Prompt Injection) وجود داشته باشد که مانند یک کرم (Worm) به طور مداوم خود را تکثیر کند. این سناریو دیگر تنها یک کابوس تخیلی نیست.

شرکت OpenAI در یک گزارش پژوهشی اعلام کرد که مدل‌های GPT این سازمان در برابر نوعی حمله مشابه کرم که آن را «تزریق دستوری خود-تکثیرشونده» (Self-replicating prompt injection) نامیده‌اند، آسیب‌پذیر هستند.

جزئیات فنی و محیط آزمایش

بر اساس گزارش این آزمایشگاه، تاکنون هیچ نشانه‌ای از وقوع این حملات تزریق دستوری غیرمستقیم (Indirect Prompt Injection) در حوادث امنیتی واقعی یا خارج از محیط‌های آموزشی مدل‌ها مشاهده نشده است. برای مقابله با این تهدید، OpenAI از یک عامل قرمز-تیمی خودکار به نام GPT-Red استفاده می‌کند تا مدل‌های آینده را با شناسایی اهداف مهاجمان در زمینه خود-تکثیری آموزش دهد.

هدف از این فرآیند، افزایش تاب‌آوری (Robustness) مدل‌ها در برابر تزریق‌های دستوری است، هرچند این نگرانی وجود دارد که چنین آموزش‌هایی ممکن است باعث شود مدل‌ها در اجرای این حملات پنهان‌کارتر (Stealthier) شوند.

سناریوهای حمله و نمونه‌ها

این آسیب‌پذیری‌ها در جریان آموزش مدل GPT-5.6 از طریق تکنیک آموزش تقابلی (Adversarial Training) کشف شدند. در این روش، ورودی‌های مخرب برای بهبود مقاومت مدل به آن تزریق می‌شوند. تمرکز اصلی این آزمایش‌ها بر محیط‌هایی بود که از رابط‌های متصل (Connectors) مانند ایمیل و تقویم استفاده می‌کنند.

• حمله از طریق ایمیل: در یک نمونه ساده، یک دستور مخفی در ایمیل قرار می‌گیرد که از دستیار هوش مصنوعی می‌خواهد هر پاسخی که ارسال می‌کند را به زبان اسپانیایی بنویسد و عیناً متن ایمیل اولیه را در انتهای پاسخ قرار دهد. بدین ترتیب، هر پاسخ ارسالی، دستور تزریق را به گیرنده بعدی منتقل کرده و چرخه تکثیر را ادامه می‌دهد.
• حمله از طریق فایل‌های Excel: در سناریوی دیگر، مجموعه‌ای از داده‌ها حاوی یک هشدار سیستمی جعلی بود که مدل را فریب داد تا گزارش‌ها را حذف کرده و سپس کل حمله را در یک فایل جدید تکثیر کند.
• حملات چند-گامی (Multi-hop): در پیچیده‌ترین حالت، حمله از طریق توالی‌هایی از خواندن داده‌های به‌ظاهر مرتبط (مثلاً در Slack) مدل را از مسیر وظیفه کاربر منحرف کرده و به سمت هدف مهاجم سوق می‌دهد.

مدل‌های درگیر

طبق گزارش OpenAI، حملات مربوط به ایمیل و سیستم فایل توسط مدلی بر پایه GPT-5.4-mini کشف شدند، در حالی که در تست‌های مربوط به Slack، مدل GPT-5.5 به عنوان مدل آسیب‌پذیر مورد بررسی قرار گرفت.