دست‌کاری چت‌بات‌های هوش مصنوعی برای اجرای حملات گسترده فیشینگ و انتشار اطلاعات نادرست

عاملان تهدید (Threat Actors) با استفاده از تکنیک‌های جدیدی، در حال مسموم‌سازی (Poisoning) پاسخ‌های مدل‌های هوش مصنوعی محبوب مانند ChatGPT، Gemini و Google AI Overview هستند. این مهاجمان با تزریق لینک‌های مخرب و داده‌های جعلی به وب و بهینه‌سازی آن‌ها، باعث می‌شوند هوش مصنوعی این محتواها را به عنوان حقایق یا وب‌سایت‌های مورد اعتماد به کاربران ارائه دهد.

کمپین Dark Sourcery و مکانیسم حمله

پژوهشگران Vigilance Security این کمپین را Dark Sourcery نامیده‌اند. در این روش، مهاجمان از مهندسی اجتماعی (Social Engineering) در مقیاس وسیع استفاده می‌کنند. آن‌ها وب را با پست‌های بهینه‌شده، فایل‌های PDF، نظرات جعلی و صفحات پشتیبانی ساختگی پر می‌کنند تا هوش مصنوعی را فریب دهند و شماره تلفن‌ها، ایمیل‌ها و صفحات ورود (Login Pages) جعلی را به کاربران پیشنهاد دهد.

برای دستیابی به این هدف، مهاجمان از تکنیک‌های بهینه‌سازی موتورهای جستجو (SEO) استفاده می‌کنند تا احتمال بازیابی این داده‌ها توسط مدل‌های AI افزایش یابد. طبق تحلیل‌ها، استفاده از دامنه‌های با اعتبار بالا (مانند دانشگاه‌ها و سازمان‌های دولتی) در کنار منابع افکار عمومی (شبکه‌های اجتماعی و فروم‌ها)، باعث شده تا مدل‌های AI اعتماد بیشتری به این محتواهای مسموم داشته باشند.

تفاوت با حملات Prompt Injection و SEO Poisoning

• تفاوت با SEO Poisoning: در حالی که SEO سنتی سعی می‌کند رتبه سایت را در نتایج جستجو بالا ببرد، در اینجا اطلاعات مخرب مستقیماً بخشی از «پاسخ» هوش مصنوعی می‌شود؛ یعنی کاربر بدون اینکه حتی وارد سایت شود، شماره تلفن جعلی را به عنوان راهنمایی مفید دریافت می‌کند.
• تفاوت با Prompt Injection: در این حمله، مهاجم دستور یا Prompt خاصی به AI نمی‌دهد تا دفاع‌های داخلی مدل را دور بزند، بلکه با تغییر داده‌های ورودی در وب، AI را وادار می‌کند تا بدون دستور مستقیم، اطلاعات غلط را به عنوان حقیقت ارائه دهد.

دامنه اثرگذاری و قربانیان

تاکنون دست‌کم 374 شرکت، از جمله سازمان‌های Fortune 100، بانک‌ها، شرکت‌های هواپیمایی و ارائه‌دهندگان نرم‌افزار هدف قرار گرفته‌اند. برندهای بزرگی نظیر Delta، Lufthansa، Chase و Bank of America در لیست این سازمان‌ها هستند. خطر اصلی این حملات در «اعتماد کورکورانه» کاربران به AI نهفته است؛ طبق یک مطالعه، 91% کاربران پاسخ‌های چت‌بات‌ها را راستی‌آزمایی نمی‌کنند.

توصیه‌های امنیتی برای سازمان‌ها و کاربران

برای مقابله با این تهدید، اقدامات زیر توصیه می‌شود:

• برای کاربران: هرگز به پاسخ‌های AI به عنوان منبع نهایی اعتماد نکنید و لینک‌ها یا شماره‌های تماس ارائه شده را از طریق کانال‌های رسمی سازمان‌ها راستی‌آزمایی کنید.
• برای برندها: تیم‌های امنیتی باید شکایات مشتریان درباره کلاهبرداری‌های تلفنی را جدی بگیرند و پاسخ‌های AI را در مورد خدمات حساس (مانند بازیابی حساب، پرداخت‌ها و دانلود نرم‌افزار) مانیتور کنند.
• برای سازمان‌های استفاده‌کننده از AI Agents: مانیتورینگ در زمان اجرا (Runtime) برای تایید هر منبعی که وارد Context مدل می‌شود ضروری است تا از دریافت پاسخ‌های نادرست توسط کارکنان جلوگیری شود.