آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۳/۱۰

چالش‌های امنیتی و سوگیری اطلاعاتی در چت‌بات‌های هوش مصنوعی: یافته‌های جدید پژوهشگران

چالش‌های امنیتی و سوگیری اطلاعاتی در چت‌بات‌های هوش مصنوعی: یافته‌های جدید پژوهشگران

با افزایش حضور ابزارهای هوش مصنوعی در فرآیند جستجو، به‌ویژه در سرویس‌هایی مانند Google AI Overviews، یک لایه جدید از پردازش اطلاعات میان کاربر و واقعیت قرار گرفته است. پژوهش‌های اخیر نشان می‌دهند که این لایه می‌تواند ریسک‌های جدی در زمینه انتشار اطلاعات نادرست (Misinformation) و سوگیری (Bias) ایجاد کند.

یافته‌های پژوهش دانشگاه ییل

در یک مطالعه جدید، محققان دانشگاه ییل دریافتند که حدود یک‌سوم کاربران از چت‌بات‌ها برای کمک به تصمیم‌گیری در مورد کاندیداهای سیاسی استفاده می‌کنند. نتایج نشان داد که مدل Grok اغلب بدون دریافت اطلاعات مستقیم از کاربر، خود به پیشنهاد کاندیداها می‌پردازد. همچنین، ChatGPT بیشترین میزان پیشنهاد کاندیدا را در مقایسه با Claude و Gemini داشته است.

  • سوگیری در پاسخ‌دهی: زمانی که کاربران دیدگاه‌های خود را با مدل به اشتراک می‌گذارند، نرخ پیشنهاد کاندیدا توسط ChatGPT به ۷۹٪ می‌رسد که نشان‌دهنده تأثیر مستقیم ورودی‌های کاربر بر خروجی مدل است.
  • ریسک اطلاعات نادرست: چت‌بات‌ها به دلیل ماهیت خلاصه‌سازی (Summarization) خود، ممکن است اطلاعات قدیمی یا نادرست ارائه دهند که می‌تواند منجر به گمراهی کاربران شود. این مسئله به‌ویژه زمانی که کاربران منابع اصلی (Sources) را بررسی نمی‌کنند، تشدید می‌شود.
  • تهدیدهای بصری و Deepfake: مدل‌های هوش مصنوعی در تولید تصاویر و ویدئوهای جعلی (Deepfake) مرتبط با مسائل سیاسی، با چالش‌های امنیتی روبرو هستند و بسیاری از لایه‌های حفاظتی فعلی در برابر این تهدیدات ناکارآمد عمل می‌کنند.

مفهوم Cognitive Offloading و تهدیدات آتی

یکی از نگرانی‌های اصلی، پدیده “برون‌سپاری شناختی” (Cognitive Offloading) است؛ وضعیتی که در آن کاربران به جای تحلیل مستقل، به طور کامل به ابزارهای هوش مصنوعی که دارای مجموعه‌داده‌های آموزشی (Training Datasets) و فیلترهای مبهم هستند، تکیه می‌کنند. این امر می‌تواند باعث تضعیف فرآیند تصمیم‌گیری آگاهانه و تقویت اثرگذاری الگوریتم‌های سوگیرانه شود. با توجه به پیچیدگی مدل‌های زبانی بزرگ (LLM)، تشخیص دقت و بی‌طرفی آن‌ها در پاسخ به پرسش‌های حساس، همچنان یکی از بزرگترین چالش‌های حوزه امنیت هوش مصنوعی است.