آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۲/۱۰

چالش‌های امنیتی و اخلاقی در قابلیت Live Avatar گوگل جمینای

چالش‌های امنیتی و اخلاقی در قابلیت Live Avatar گوگل جمینای

گوگل قابلیت جدیدی به نام Live Avatar را به مدل گفتگوی زنده خود، Gemini 3.8 Live، اضافه کرده است. این ویژگی قادر است شخصیت‌های متحرک یا شبیه‌سازهای واقع‌گرایانه انسانی ایجاد کند که با سخنان تولید شده توسط هوش مصنوعی (Generative AI) همگام‌سازی لب (Lip-sync) می‌کنند.

تضاد میان توسعه فنی و هشدارهای اخلاقی

در حالی که مهندسان گوگل معتقدند تعاملات چندوجهی (Multimodal) تجربه کاربری را غنی‌تر می‌کند، اما این رویکرد با هشدارهای پیشین خودِ شرکت DeepMind در تضاد است. سال‌ها پیش، محققان این شرکت درباره خطرات Anthropomorphism یا «انسان‌انگاری» هشدار داده بودند؛ وضعیتی که در آن کاربران ویژگی‌های انسانی را به نرم‌افزار نسبت می‌دهند.

ریسک‌های اعتماد کاذب و خطاهای پنهان

طبق گزارش‌های داخلی گوگل، انسان‌انگاری در مدل‌های زبانی می‌تواند منجر به موارد زیر شود:

  • بیش‌برآوردی توانمندی‌ها: کاربران ممکن است تصور کنند مدل دارای همدلی، استدلال منطقی یا هویت ثابت است.
  • اعتماد نابجا: ایجاد حس اعتماد کاذب که می‌تواند منجر به پذیرش بدون چون و چرا خروجی‌های غلط یا توهمات (Hallucinations) هوش مصنوعی شود.
  • پنهان کردن خطاها: لحن طبیعی و انسانی می‌تواند خطاهای فنی یا امنیتی را در پسِ یک ظاهر متقاعدکننده پنهان کند.

پیاده‌سازی در محیط‌های سازمانی (Enterprise)

با وجود این نگرانی‌ها، گوگل Gemini Enterprise را برای استقرار آماده کرده است. این آواتارها می‌توانند از کتابخانه‌های پیش‌فرض انتخاب شوند یا در صورت فعال بودن لیست سفید (Allow-listing) سازمانی، به صورت سفارشی طراحی شوند. این ابزار با پشتیبانی از ۹۷ زبان و قابلیت فراخوانی ابزارها (Tool calls) در پس‌زمینه، برای سناریوهایی مانند پذیرش مهمانان در هتل‌ها طراحی شده است.

گوگل ادعا می‌کند که برای مقابله با ریسک‌های مربوط به هویت و شفافیت محتوا، تدابیر امنیتی (Safeguards) سخت‌گیرانه‌ای را در این قابلیت پیاده کرده است.