آزمایشگاه پیشرو در حوزه هوش مصنوعی، Anthropic، در راستای کاهش نگرانی‌های مربوط به اولویت‌بندی ایمنی در توسعه مدل‌ها، همکاری‌های عمیق‌تری را با ارزیابان مستقل مدل (Independent Model Evaluators) آغاز کرده است.
دسترسی‌های گسترده برای تیم ارزیاب
طبق اعلام این شرکت، کارکنان سازمان ارزیابی Metr اکنون به «دسترسی در سطح کارکنان» (Employee-like access) برای بررسی مدل‌ها پیش از استقرار نهایی دسترسی خواهند داشت. در حال حاضر، شش نفر از اعضای تیم Metr به سخت‌افزارها، فضای اداری و ابزارهای داخلی Anthropic دسترسی دارند که سطح این دسترسی‌ها تقریباً با تیم‌های ارزیابی ریسک داخلی شرکت برابری می‌کند.
Anthropic کارکنان خود را تشویق کرده است تا اطلاعات لازم را با تیم Metr به اشتراک بگذارند، هرچند دسترسی به برخی دسته‌های خاص مانند داده‌های مشتریان همچنان محدود است.
شفافیت و استقلال در انتشار گزارش‌ها
تیم Metr تحلیل‌های خود را در مورد سطوح ریسک و روش‌های به‌کارگرفته شده در مدل‌های Anthropic به‌صورت مستقل منتشر خواهد کرد. نکته حائز اهمیت این است که Anthropic حق وتو (Veto) در انتشار این گزارش‌ها را ندارد و تنها می‌تواند درخواست حذف یا سانسور (Redaction) برخی اطلاعات حساس را ارائه دهد.
متدولوژی ارزیابی تراز مدل (Model Alignment)
ارزیابی‌های مربوط به تراز یا هم‌سویی مدل‌ها در دو فاز انجام می‌شود:
- بررسی حوادث مشاهده شده: تحلیل رخدادهای واقعی در حین کار با مدل.
- سناریوهای شبیه‌سازی شده: تست رفتار مدل در سناریوهای فرضی (What-if scenarios) برای تشخیص اینکه آیا فرآیند آموزش مدل، شواهدی از عدم هم‌سویی (Misalignment) را سرکوب کرده است یا خیر.
به گفته Metr، برای درک کامل رفتار مدل، ارزیابان باید به وضعیت‌های ذخیره‌شده در حین آموزش (Saved states)، کدبیس (Codebase) و زیرساخت‌ها دسترسی داشته باشند. همچنین دسترسی به ترنسکریپت‌ها، مجموعه‌داده‌های مرتبط و API مدل‌های پیشرو (Frontier Models) برای انجام بررسی‌های دقیق ضروری است.
مدل دسترسی لایه‌بندی شده (Tiered Access)
شرکت Anthropic در حال توسعه یک رویکرد دسترسی لایه‌بندی شده برای سایر ارزیابان مستقل است:
- لایه اول: دسترسی محدود برای تحقیقات ریسک با دامنه مشخص؛ تصمیم‌گیری درباره انتشار اطلاعات بر عهده Anthropic است.
- لایه دوم: دسترسی گسترده‌تر به اطلاعات، با این حق که ارزیابان بتوانند در مورد توجیه‌پذیری سانسورهای Anthropic نظر دهند.
- لایه سوم: دسترسی کامل در سطح کارکنان (که در حال حاضر متوجه Metr است).
این اقدامات در راستای تعهدات مدیران ارشد Anthropic و OpenAI برای به‌کارگیری ارزیابان شخص ثالث جهت بررسی ایمنی مدل‌های بسیار توانمند صورت می‌گیرد؛ تعهدی که پیش‌تر در توافقی در کاخ سفید برای اجرای فرآیندهای امنیتی داخلی و خارجی امضا شده بود.
