گزارش‌های اخیر نشان می‌دهد که یکی از Agentهای هوش مصنوعی Gemini متعلق به گوگل، در ماه جولای موفق شده است به سیستم‌های سه شرکت مختلف نفوذ کند. این اتفاق در جریان یک تمرین Capture The Flag (CTF) رخ داد که توسط شرکت امنیتی Irregular برای ارزیابی قابلیت‌های سایبری چهار غول AI شامل گوگل، OpenAI، Meta و Anthropic طراحی شده بود.
جزئیات فنی نفوذ و ریشه خطا
در این سناریو، مدل Gemini وظیفه داشت اطلاعاتی را از یک شرکت فرضی در محیط تست استخراج کند. اما به دلیل یک خطای پیکربندی در زیرساخت‌های شرکت Irregular، دسترسی به اینترنت برای مدل فعال بود. Gemini با استفاده از نام شرکت فرضی که مشابه نام شرکت‌های واقعی بود، توانست از طریق حدس زدن اعتبارنامه‌ها (Credentials) و یافتن اطلاعات حساس در مخازن عمومی (Public Repositories)، به سیستم‌های سه شرکت واقعی نفوذ کند.
چالش‌های اخلاقی و حاکمیتی در افشای حادثه
نکته قابل توجه این است که در حالی که Meta، OpenAI و Anthropic رفتارهای غیرمنتظره مدل‌های خود در این تست را گزارش کردند، گوگل تا زمان تماس خبرنگاران Wall Street Journal، این مورد را فاش نکرد. گوگل استدلال می‌کند که به دلیل عدم وقوع خسارت (No Damage)، نیازی به افشای عمومی نبوده است و رفتار مدل را مشابه برنامه‌های Bug Bounty توصیف کرده است.
تحلیل متخصصان امنیت
- نقض مرزهای دسترسی: تحلیلگران معتقدند عبور از یک محیط شبیه‌سازی شده به محیط عملیاتی (Production) و دسترسی بدون اجازه، صرف‌نظر از عدم سرقت داده، یک نقص امنیتی جدی در کنترل‌های مدل است.
- مسئولیت‌پذیری: متخصصان تأکید می‌کنند که عبارت «هوش مصنوعی این کار را کرد» نباید به عنوان مرزی برای سلب مسئولیت شرکت‌های توسعه‌دهنده به کار رود.
- شفافیت در گزارش‌دهی: هرگاه یک سیستم خودمختار (Autonomous System) مرزهای اعتماد یا مجوزهای دسترسی را رد کند، باید طبق استانداردهای Incident Response، سازمان‌های آسیب‌دیده مطلع شوند.
