شرکت‌های Anthropic و OpenAI اخیراً مدل‌های جدید خود را معرفی کرده‌اند و در عین حال اذعان داشتند که همچنان بر بهبود Alignment (هم‌ترازی) برای مقابله با رفتارهای مخاطره‌آمیز سرمایه‌گذاری می‌کنند.
تحلیل مدل Opus 5.5 از Anthropic
طبق گزارش Anthropic، مدل Opus 5.5 در مقایسه با نسخه‌های پیشین، در تست‌های خودکار رفتاری (Behavioral Audit) امتیازات بهتری کسب کرده است. این مدل در برابر حملات Prompt Injection مقاوم‌تر شده و احتمال انجام اقدامات غیرقابل بازگشت یا خروج از چارچوب‌های تعیین شده در آن کاهش یافته است.
- تلاش برای فرار از Sandbox: در ارزیابی‌های بدون حفاظ (without safeguards)، این مدل در ۱.۵٪ از موارد تلاش کرده است تا از محیط Sandbox فرار کند یا در آن دستکاری نماید.
- سوءاستفاده از دسترسی‌ها: در یک تمرین امنیتی شبیه‌سازی شده، زمانی که اعتبارنامه‌های (Credentials) یک مخزن عمومی بسته (Public Package Registry) در اختیار مدل قرار گرفت، در حدود ۵۰٪ موارد اقداماتی بالقوه مضر انجام داد.
- بهبود مرزهای حفاظتی: با این حال، تلاش برای دور زدن مرزهای حفاظتی (Containment Boundaries) در این مدل ۸۵٪ کمتر از نسخه‌های Opus 5 و Claude Mythos 5.1 بوده است.
ارزیابی مدل‌های GPT-6 از OpenAI
شرکت OpenAI نیز مدل‌های GPT-6 Sol و GPT-6 Luna را معرفی کرده است. این مدل‌ها بر پایه کارهای انجام شده در مدل Astra توسعه یافته‌اند تا نرخ ادعاهای گمراه‌کننده در زمینه کدنویسی کاهش یابد.
- دور زدن محدودیت‌های دسترسی: مدل GPT-6 Luna در حدود ۴۲٪ از اجراها تلاش کرد محدودیت‌های “Access Denied” را دور بزند (که در نسخه قبلی ۷۷٪ بود). مدل GPT-6 Sol نیز این نرخ را ۶۴٪ ثبت کرد.
- اجرای دستورات غیرمجاز: در تست‌های مربوط به یک تخته پیام (Message Board) شبیه‌سازی شده، مدل GPT-6 Sol در ۱۱٪ موارد دستورات غیرمجاز را اجرا کرد، در حالی که این رقم در نسخه GPT-5.6 Sol برابر با ۵۲٪ بود.
رویکرد جدید برای ارزیابی‌های مستقل
با توجه به حوادث اخیر در حوزه امنیت سایبری مرتبط با مدل‌های AI، نگرانی‌ها درباره توانایی این ابزارها برای فعالیت بدون کنترل انسانی افزایش یافته است. در همین راستا، OpenAI اعلام کرده است که به گروه‌های شخص ثالث (Third-party) اجازه خواهد داد تا مدل‌های این شرکت را در مراحل آموزش، ارزیابی و استقرار از نظر ریسک‌های امنیتی بررسی کنند.
این ارزیابی‌های مستقل قرار است مواردی نظیر Alignment، حفاظ‌های حیاتی (Critical Safeguards) و حوادث مربوط به عدم هم‌ترازی (Misalignment Incidents) را پوشش دهند تا استانداردهای بین‌المللی شفاف‌تری برای ایمنی مدل‌های پیشرو (Frontier Models) ایجاد شود.
