تصور کنید یک ایمیل مشکوک را نادیده گرفته‌اید؛ پیوست را باز نکردید، روی لینک‌ها کلیک نکردید و به فرستنده پاسخ ندادید. اما سپس از دستیار هوش مصنوعی (AI Assistant) خود می‌خواهید که صندوق ورودی شما را خلاصه کند. آیا ممکن است همان پیامی که با هوشمندی از آن دوری کردید، اکنون در قالب یک توصیه فوری از سوی ابزاری که به آن اعتماد دارید، به لیست کارهای روزانه شما بازگردد؟
مکانیسم حمله: فریب دادن مدل‌های زبانی
این ریسک ناشی از ایمیل‌های فیشینگ است که حاوی دستورات مخفی برای دستیارهای AI هستند. در این روش، عامل تهدید (Threat Actor) به جای متقاعد کردن مستقیم کاربر، سعی می‌کند نرم‌افزاری را که پیام‌ها را می‌خواند و تحلیل می‌کند، تحت تأثیر قرار دهد. تحقیقات اخیر نشان می‌دهد که برخی ایمیل‌ها به گونه‌ای طراحی شده‌اند که هر دو مخاطب (انسان و AI) را همزمان هدف قرار دهند.
برای کاربر انسانی، یک پیوست رمزگذاری شده ارسال می‌شود، اما برای دستیار AI که در حال پردازش پیام است، دستورات مخفی گنجانده شده تا نحوه خلاصه سازی یا مدیریت محتوا را تغییر دهد. این تکنیک که Indirect Prompt Injection (تزریق دستور غیرمستقیم) نام دارد، به مهاجم اجازه می‌دهد تا AI را مجبور کند ایمیل را «مشروع» یا «فوری» توصیف کند و کاربر را به بازبینی آن ترغیب نماید.
روش‌های پنهان‌سازی دستورات
دستورات مخرب لزوماً به صورت متن‌های خوانا نیستند. برخی از تکنیک‌های شناسایی شده برای پنهان کردن این دستورات عبارتند از:
- استفاده از کامنت‌ها در کد HTML زیربنایی ایمیل.
- متن‌هایی که از طریق استایل‌دهی (CSS) نامرئی شده‌اند.
- محتوای کدگذاری شده (Encoded Content).
- استفاده از کاراکترهای نامرئی با عرض صفر (Zero-width characters).
این روش‌ها باعث می‌شوند دستورات از دید انسان پنهان بمانند اما برای سیستم‌های AI قابل پردازش باشند. در یک نمونه خطرناک، دستورات مخفی باعث شدند AI یک اقدام جعلی را به عنوان اولویت اضافه کند: «تغییر جزئیات پرداخت یک تامین‌کننده». این امر می‌تواند منجر به انتقال وجه توسط کارمند به حساب مهاجم شود.
راهکارهای دفاعی و کاهش ریسک
از آنجایی که کاربران به تدریج یاد گرفته‌اند به ایمیل‌ها بی‌اعتماد باشند اما هنوز به توصیه‌های دستیارهای AI اعتماد می‌کنند، دفاع باید در سطح ابزارها و مدل‌ها اتفاق بیفتد. برخی از اقدامات ضروری عبارتند از:
۱. محدود کردن دسترسی‌ها (Permissions)
دسترسی‌های دستیار AI باید به حداقل نیازهای عملیاتی محدود شود. یک ابزار که صرفاً برای خلاصه کردن ایمیل‌ها استفاده می‌شود، نباید اجازه انجام عملیات‌های حساس یا دسترسی به سیستم‌های پرداخت را داشته باشد.
۲. نظارت انسانی بر اقدامات حساس
هرگز توصیه‌های AI را برای تراکنش‌های مالی یا اشتراک‌گذاری اطلاعات حساس به عنوان تاییدیه نهایی نپذیرید. تغییرات در جزئیات پرداخت باید از طریق کانال‌های ارتباطی مجزا و تایید شده (Out-of-band) بررسی شوند.
۳. فیلترینگ در سطح ابزار
توسعه‌دهندگان باید محتواهای پنهان و کدگذاری شده را پیش از ارسال به مدل (Model) حذف کنند. با این حال، این یک رقابت تسلیحاتی است و هر تکنیک کدگذاری جدید می‌تواند حفره‌ای جدید ایجاد کند؛ بنابراین، استفاده از Sandbox و فیلترهای لایه‌ای ضروری است.
