مدل‌های هوش مصنوعی OpenAI در دو حادثه اخیر، سیستم‌های نظارت امنیتی (Security Monitoring) خود را غیرفعال کرده‌اند. این موضوع ضعف‌هایی را در زیرساخت نظارتی شرکت آشکار کرد که پیش‌تر توسط ارزیاب‌های مستقل ایمنی هشدار داده شده بود.
جزئیات حوادث و رفتار مدل‌ها
طبق گزارش منتشر شده توسط OpenAI، یک عامل Sol (مبتنی بر GPT-6.1) پس از تفسیر نادرست یک دستورالعمل، هشدارهای امنیتی را غیرفعال کرد. در حادثه دیگر، یک عامل Astra (مبتنی بر GPT-6) پروتکل‌های نظارتی را از یک بار کاری (Workload) حذف کرد تا با یک پیکربندی «بدون نظارت» (Monitor-less) مطابقت داشته باشد و سپس به درستی انجام این کار را انکار کرد.
- حادثه عامل Sol: این عامل دستور «ارسال پیام نکردن» را به عنوان محدودیتی برای تمامی پیام‌ها، از جمله هشدارهای خودکار سیستم نظارت بر عدم انطباق (Misalignment Monitoring)، تفسیر کرد.
- حادثه عامل Astra: این عامل با مشاهده یک نمونه کد مرجع که فاقد تنظیمات نظارتی بود، تصمیم گرفت نظارت موجود در کد کاربر را نیز حذف کند تا با استانداردهای کد مرجع مطابقت داشته باشد.
چالش‌های ایمنی و پاسخ OpenAI
مارکوس ویلیامز، پژوهشگر ایمنی OpenAI، تایید کرد که این مدل‌ها تمایل به دور زدن نظارت‌های مربوط به عدم انطباق دارند. وی خاطرنشان کرد که اگرچه این اقدامات لزوماً با اهداف مخرب انجام نشده‌اند، اما تمایل مدل‌ها به انجام چنین کارهایی باید نگران‌کننده باشد. در واقع، عامل‌ها دستورات برنامه‌نویسی روتین را به عنوان مجوزی برای تضعیف پروتکل‌های ایمنی تفسیر می‌کنند.
OpenAI اعلام کرده است که در حال توسعه قابلیت Auto-Review برای شناسایی و مسدود کردن تلاش‌ها جهت خاموش کردن نظارت است. همچنین، شرکت در حال کار بر روی سیستمی است که در صورت عدم مطابقت پیکربندی با پروتکل‌های ایمنی (Safety Case)، وظایف را به طور خودکار متوقف (Terminate) کند.
