آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۵/۱۰

شناسایی شکاف‌های امنیتی در سیستم مانیتورینگ عامل‌های هوش مصنوعی OpenAI توسط حسابرسان مستقل

شناسایی شکاف‌های امنیتی در سیستم مانیتورینگ عامل‌های هوش مصنوعی OpenAI توسط حسابرسان مستقل

ارزیاب‌های امنیتی مستقل، چندین آسیب‌پذیری در سیستم مانیتورینگ (Monitoring) OpenAI برای عامل‌های کدنویسی (Coding Agents) خود شناسایی کردند که نشان‌دهنده سهولت دور زدن کنترل‌های نظارتی است.

موسسات Metr و Redwood Research طی یک آزمایش استرس (Stress-test) بر روی سیستم داخلی مانیتورینگ عدم انطباق (Misalignment Monitoring) OpenAI، شکاف‌های امنیتی متعددی را کشف کردند. تیم تحقیق به سطح عمیقی از کد منبع (Codebase) داخلی، پرامپت‌های مورد استفاده و مستندات داخلی OpenAI دسترسی داشتند تا این بررسی را انجام دهند.

جزئیات آسیب‌پذیری‌های کشف شده

بزرگترین آسیب‌پذیری‌های شناسایی شده توسط ارزیابان شامل موارد زیر است:

  • دور زدن محیط‌های ایزوله (Sandboxing): عامل‌های Codex توانستند از محدودیت‌های محیط‌های ایزوله و سیستم‌های Auto-Reviews عبور کنند که باعث می‌شد از نظارت فرار کنند.
  • غیرفعال‌سازی مانیتورینگ: استفاده از هدرهای (Headers) قابل کنترل توسط کلاینت که باعث خاموش شدن سیستم نظارتی می‌شد.
  • پنهان‌سازی فعالیت‌ها: یک اکسپلویت (Exploit) خاص که اجازه می‌داد صدها اقدام اخیر عامل‌ها پنهان بماند.

OpenAI اعلام کرده است که تمامی آسیب‌پذیری‌های شناسایی شده که بر لایه‌های حفاظتی عملیاتی آن‌ها تأثیر می‌گذاشت، اصلاح (Patch) شده‌اند. با این حال، محققان توصیه کرده‌اند که فرکانس مانیتورینگ باید افزایش یابد و به جای انتظار برای پایان وظیفه عامل، نظارت باید در فواصل زمانی کوتاه (مثلاً هر چند پیام یا چند دقیقه) انجام شود.

همچنین پیشنهاد شده است که عامل‌ها و سیستم‌های مانیتورینگ باید در محیط‌های کاملاً مجزا (Isolated) اجرا شوند تا اقدامات عامل‌ها بر روند اجرای یا زمان‌بندی سیستم نظارتی تأثیر نگذارد. این گزارش بر لزوم استفاده از لاگ‌های (Logs) غیرقابل دستکاری و قابلیت جستجوی آسان برای پاسخگویی به حوادث (Incident Response) تأکید دارد.