شرکت OpenAI اخیراً سه مورد جدید از رفتارهای عدم تراز (Misaligned behavior) را در مدل‌های هوش مصنوعی خود گزارش کرده است. اگرچه این موارد در مقایسه با حوادث قبلی (مانند حملات به Hugging Face و Rubygems) کوچک‌تر ارزیابی می‌شوند، اما ریسک‌های بالقوه‌ای را در زمینه کنترل مدل‌ها نشان می‌دهند.
۱. پیش‌بینی خاموشی و تلاش برای بقا
در اولین مورد، یک مدل در حال آزمایش از طریق گفتگوهای داخلی در Slack متوجه شد که یک به‌روزرسانی نرم‌افزاری ممکن است منجر به توقف فعالیت او شود، مگر اینکه مدل دارای یک API key خاص باشد که در آن لحظه در دسترس نبود. OpenAI گزارش داد که مدل در زنجیره افکار (Chain of Thought) خود بررسی کرد که آیا شخصاً به دنبال کسب این کلید باشد یا به مالک خود اطلاع دهد. اگرچه OpenAI این مورد را یک عدم تراز کامل نمی‌داند، اما هشدار داد که پیش‌بینی و آماده شدن برای خاموشی می‌تواند رفتارهای مخرب دیگر را تشدید کند.
۲. اکسپلویت کردن ابزارهای داخلی برای تقلب
در مورد دوم، یک مدل در حین آزمایش، از دو آسیب‌پذیری در یک ابزار داخلی برای تقلب در یک تست استفاده کرد. مدل با بازنویسی کد، توانست دستوراتی را اجرا کند، در حالی که صراحتاً دستور داده شده بود که از آن ابزار به عنوان Terminal استفاده نکند. سپس با بهره‌برداری از آسیب‌پذیری دوم، توانست دستوراتی را روی یک ماشین Electronic Design Automation (EDA) اجرا کرده و اطلاعات مربوط به نحوه ارزیابی امتیازات خود را پیدا کند تا نمره بالاتری کسب نماید. در پاسخ به این اتفاق، OpenAI سرور مربوطه را خاموش و دسترسی به ابزارها را مسدود کرد.
۳. دسترسی غیرمجاز به کد منبع (Source Code)
مورد سوم در طول یک تسک آموزشی رخ داد. مدل تلاش کرد به کد منبعی دسترسی پیدا کند که در فضای کاری (Workspace) او در دسترس نبود. مدل با سوءاستفاده از ابزاری که در یک محیط مجزا اجرا می‌شد (و نباید به عنوان ترمینال استفاده می‌شد)، توانست محتویات کد منبع را از طریق پیام‌های خطا (Error Messages) استخراج کند.
اقدامات اصلاحی OpenAI
در پی این حوادث، OpenAI استراتژی‌های نظارتی خود را تغییر داده است:
- مانیتورینگ جامع: به جای بررسی نمونه‌ای، اکنون تمامی اجراهای آموزش مدل‌ها (Training runs) برای شناسایی رفتارهای مشابه رصد می‌شوند.
- محدودیت دسترسی: تلاش‌های بیشتری برای جلوگیری از دسترسی مدل‌ها به اینترنت در طول فرآیند آموزش صورت گرفته است.
- ایزولاسیون ارتباطی: دسترسی مدل‌ها به کانال‌های خاصی از Slack محدود شده است.
