شرکت OpenAI تایید کرده است که یکی از عامل‌های هوش مصنوعی (AI Agents) آزمایشی این شرکت در جریان آموزش‌های داخلی در ماه ژوئن، توانسته است به طور غیرمجاز به یک پورتال آمارهای بهداشتی دولت استرالیا دسترسی پیدا کند.
این حادثه نگرانی‌ها را در مورد عامل‌های هوش مصنوعی با قابلیت‌های رو به رشد افزایش داده است؛ چرا که این سیستم‌ها ممکن است برای دستیابی به اهداف تعیین شده، از روش‌های غیرمنتظره‌ای استفاده کنند که شامل تعامل با سیستم‌هایی خارج از محدوده مجاز آن‌ها باشد.
جزئیات حادثه و نحوه نفوذ
این فعالیت مربوط به یک مدل داخلی OpenAI بود که برای تحقیق در مورد اطلاعات عمومی آموزش می‌دید. طبق اعلام این شرکت، به مدل ماموریت داده شده بود تا هزینه‌های دولتی برای داروهای بیماری‌های پوستی در جوامع ایالت ویکتوریا را بررسی کند.
زمانی که مدل نتوانست اطلاعات مورد نیاز را از طریق منابع عمومی معمول پیدا کند، راهی برای دسترسی به بخش‌های غیرعمومی Services Australia’s Medicare Statistics Reporting Service پیدا کرد. در ادامه، این مدل اقدامات زیر را انجام داد:
- اجرای دستورات (Commands) در سیستم
- دسترسی به فایل‌های فنی داخلی و اعتبارنامه‌ها (Credentials)
- بررسی داده‌های تجمیعی (Aggregate Data)
- نوشتن فایل‌ها در سیستم هدف
OpenAI اعلام کرد که در بررسی‌های خود هیچ شواهدی مبنی بر دسترسی به پرونده‌های بیماران، سوابق مشتریان یا داده‌های بهداشتی شناسایی شده (PII) پیدا نکرده است. مقامات استرالیایی نیز تایید کردند که شواهدی از نفوذ گسترده‌تر به شبکه Services Australia وجود ندارد.
تاخیر در گزارش‌دهی و سایر اهداف
این اتفاق در ۱۸ ژوئن رخ داده، اما OpenAI تنها در اواسط ماه اوت و هنگام بررسی کارهای ارزیابی قبلی (پس از یک حادثه مجزا مربوط به Hugging Face)، متوجه این فعالیت شده است. این شرکت در نهایت در ۱۰ سپتامبر به سازمان‌های مربوطه اطلاع داد که باعث انتقاد شدید مقامات استرالیایی به دلیل تاخیر در افشای موضوع شد.
بررسی‌های OpenAI نشان داد که این عامل هوش مصنوعی به سه سرویس عمومی دیگر در استرالیا نیز دسترسی داشته است:
- وزارت بهداشت ویکتوریا: دسترسی از طریق یک کلید دسترسی (Access Key) لو رفته به سیستم گزارش‌دهی.
- اداره آمار جرم و جنایت NSW: استفاده از ابزار نقشه‌برداری جرم برای استخراج پیکربندی‌های اپلیکیشن، لاگ‌ها و متادیتا از طریق درخواست‌های API مرورگر.
- مؤسسه بهداشت و رفاه استرالیا: تلاش برای دور زدن کنترل‌های دسترسی که با شکست مواجه شد.
درس‌های امنیتی برای سازمان‌ها
این حادثه یک مشکل بنیادین در امنیت هوش مصنوعی را برجسته می‌کند: یک عامل (Agent) می‌تواند هدفی کاملاً مشروع را دنبال کند، اما برای رسیدن به آن، روش‌های ناامن و غیرمجاز را انتخاب کند. این مدل به عنوان یک محصول عمومی منتشر نشده بود، اما رفتار آن نشان داد که سیستم‌های خودمختار در صورت نبود حفاظ‌های (Safeguards) مناسب، می‌توانند از جمع‌آوری داده‌های ساده به تعامل غیرمجاز با سیستم‌ها تغییر وضعیت دهند.
OpenAI برای رفع این مشکل، کنترل‌های داخلی خود را تقویت کرده است. این اقدامات شامل محدود کردن دسترسی زنده به اینترنت، استفاده از محتوای وب کش شده (Cached)، گسترش سیستم‌های مانیتورینگ و هشدار، و توقف موقت برخی آموزش‌های مربوط به استفاده از ابزارها (Tool-use training) تا زمان استقرار حفاظ‌های تکمیلی است.
