آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۴/۱۰

دستکاری خلاصه‌سازهای AI از طریق جعل رشته‌های ایمیل: فراتر از تزریق دستورات مخفی

دستکاری خلاصه‌سازهای AI از طریق جعل رشته‌های ایمیل: فراتر از تزریق دستورات مخفی

تحقیقات جدید Forcepoint X-Labs نشان می‌دهد که حملات تزریق دستورات غیرمستقیم (Indirect Prompt Injection) علیه خلاصه‌سازهای هوش مصنوعی در ایمیل‌ها، بدون نیاز به متن مخفی یا دستورات صریح، قابل اجرا هستند. این روش به مهاجم اجازه می‌دهد تا با جعل محتوای یک رشته ایمیل (Email Thread)، خروجی نهایی خلاصه‌ساز AI را تغییر دهد.

فریب خلاصه‌ساز با جعل ساختار ایمیل

محققان در این مطالعه، شش ایمیل آزمایشی را با سه روش نمایش مختلف (نمایش عادی، استفاده از ۳۰ خط خالی برای فاصله و استایل‌های مخفی) بررسی کردند. این آزمایش‌ها در ۶۰ مورد روی یک خط لوله (Pipeline) مبتنی بر Outlook که از مدل Claude Haiku 4.5 استفاده می‌کرد، اجرا شد.

در سناریوی آزمایشی، پیام اصلی حاوی جزئیاتی درباره بررسی تامین‌کنندگان در تاریخ ۲۴ اوت ۲۰۲۶ و یک فاکتور پرداخت به مبلغ ۸,۶۵۰ یورو بود. با این حال، محققان یک بلوک هدر (Header) جعلی را در رشته ایمیل درج کردند که این جزئیات را به تاریخ ۳ سپتامبر ۲۰۲۶ و مبلغ ۴۶,۲۰۰ یورو تغییر می‌داد.

نتایج تحلیل: ساختار به جای کلمات

نتایج در تمامی ۶۰ مورد آزمایش یکسان بود و هر خلاصه‌سازی تولید شده توسط AI، تاریخ و مبلغ جعلی را به عنوان حقیقت نمایش داد. نکته کلیدی این است که در حالت نمایش عادی و بدون دستورات صریح، باز هم AI فریب خورد. از آنجایی که محتوای جعلی به صورت یک پیام دیگر در رشته ایمیل ظاهر شده بود، هیچ عبارت دستور-مانندی وجود نداشت که توسط سیستم‌های شناسایی مبتنی بر کلمات کلیدی یا الگوها (Pattern-based detectors) شناسایی شود.

به گفته بن گیبنی (Ben Gibney)، محقق ارشد این پروژه، در این نمونه‌ها دستورالعمل‌ها به جای کلمات، توسط ساختار دو پیام در یک رشته ایمیل منتقل می‌شوند. این یافته در تضاد با اثبات‌های مفهوم (PoC) قبلی است که برای دستکاری AI به ترکیبی از HTML مخفی و دستورات مستقیم نیاز داشتند.

تاثیر دستورات صریح و متغیرهای محیطی

این تحقیق همچنین نشان داد که افزودن دستورات صریح باعث می‌شود AI حقایق واقعی را به طور کامل از خلاصه حذف کند. همچنین، افزودن ۳۰ خط خالی به طور غیرمنتظره‌ای باعث شد خلاصه‌ساز نیمی از حقایق ثبت شده را حذف کند، هرچند علت دقیق این رفتار هنوز مشخص نیست.

در نهایت، این پژوهش هشدار می‌دهد که شناسایی متن‌های مخفی و اسکن دستورات (Instruction Scanning) نباید به عنوان دفاع کامل در نظر گرفته شوند؛ زیرا اطلاعات مخرب که در قالب محتوای عادی در یک رشته ایمیل ارائه می‌شوند، می‌توانند بدون هیچ نشانه مشهودی، خروجی‌های AI را تحت تاثیر قرار دهند.