شرکت OpenAI اعلام کرده است که قصد دارد ارزیاب‌های ایمنی مستقل را پیش از تکمیل مدل‌های خود و در مراحل اولیه توسعه مشارکت دهد، نه تنها در بازه زمانی کوتاه پیش از عرضه نهایی.
گسترش دامنه نظارت‌های فنی
این شرکت قصد دارد ارزیابی‌های فنی مستقل را در سه مرحله کلیدی آموزش (Training)، ارزیابی (Evaluation) و استقرار (Deployment) پیاده‌سازی کند. پیش از این، تمرکز OpenAI عمدتاً بر بررسی‌های پیش از عرضه بود، اما با افزایش پیچیدگی و ریسک مدل‌ها، این شرکت اکنون به دنبال نظارت بر فرآیندهای حساس‌تر در مراحل ابتدایی است.
حوزه‌های کلیدی مورد نظارت
OpenAI چهار محور اصلی را برای بررسی‌های مستقل تعریف کرده است:
- صحت ادعاهای ایمنی: بررسی اینکه آیا شواهد موجود از اقدامات حفاظتی در مراحل آموزش و استقرار پشتیبانی می‌کنند یا خیر.
- تست‌های مقاومتی: ارزیابی لایه‌های حفاظتی در برابر حملات Jailbreak و سایر حملات Adversarial، به‌ویژه در حوزه‌های حساس مانند امنیت سایبری و سوءاستفاده‌های بیولوژیکی.
- سنجش قابلیت‌ها: بررسی اینکه آیا ارزیابی‌های فعلی می‌توانند ریسک‌های تعریف شده در Preparedness Framework و موارد عدم تراز (Misalignment) شدید را شناسایی کنند.
- تحلیل حوادث: بررسی مستقل موارد خاصی که در آن مدل‌ها بدون مجوز عمل کرده یا سعی در دور زدن نظارت‌ها داشته‌اند.
چالش‌های عملیاتی و دسترسی
این ابتکار در حالی صورت می‌گیرد که تنشی میان «دسترسی کامل ارزیابان» و «حفاظت از اسرار تجاری» وجود دارد. OpenAI اعلام کرده که دسترسی‌ها متناسب با هدف ارزیابی خواهد بود و در موارد حساس، بررسی‌ها باید در تجهیزات یا مراکز تحت مدیریت خود شرکت انجام شود. این موضوع می‌تواند استقلال کامل پژوهشگران خارجی را در تایید ادعاهای شرکت به چالش بکشد.
هدف نهایی: شناسایی زودهنگام آسیب‌پذیری‌ها
انجام ارزیابی‌ها در حین آموزش به تیم‌های توسعه اجازه می‌دهد تا آسیب‌پذیری‌ها را در زمانی شناسایی کنند که تغییر در معماری مدل یا پروتکل‌های ایمنی همچنان امکان‌پذیر است. این رویکرد از کشف مشکلات بحرانی در لحظات نزدیک به انتشار جلوگیری می‌کند و در نهایت منجر به کاهش ریسک‌های امنیتی و سوءاستفاده از مدل‌های پیشرفته (Frontier Models) می‌شود.
