مؤسسه غیرانتفاعی Metr که در زمینه ارزیابی هوش مصنوعی فعالیت می‌کند، اعلام کرد که شرکت Anthropic توانایی‌های نظارتی (Monitoring) و حفاظ‌های (Safeguards) خود را در برابر ریسک‌های ناشی از مدل‌های پیشرو (Frontier Models) بیش از حد واقعی گزارش کرده است.
این مؤسسه تحقیقاتی مستقل، گزارش سالانه ارزیابی ریسک Anthropic را مورد بازبینی قرار داده و اعلام کرد، اگرچه با این نتیجه‌گیری که ریسک آسیب‌های فاجعه‌بار ناشی از مدل‌ها در سطح “پایین” است موافق است، اما معتقد است این موضوع به دلیل وجود حفاظ‌های سخت‌گیرانه نیست؛ بلکه به این دلیل است که مدل‌های فعلی هنوز توانایی ایجاد چنین فاجعه‌ای را ندارند.
نقاط ضعف در متدولوژی و سیستم‌های نظارتی
محققان Metr خاطرنشان کردند که متدولوژی به‌کار رفته در گزارش Anthropic، در صورت بالا رفتن سطح ریسک، لزوماً قادر به شناسایی آن نخواهد بود. همچنین، تغییر سطح ریسک از “بسیار پایین” به “پایین” در نسخه‌های مختلف گزارش، بدون تغییر در محتوا، نشان‌دهنده وقوع حوادثی است که سیستم‌های نظارتی Anthropic نتوانسته‌اند آن‌ها را شناسایی کنند.
مؤسسه Metr برای بهبود وضعیت، اقدامات زیر را توصیه کرده است:
- اجرای Red-teaming جامع‌تر بر روی سیستم‌های نظارتی برای شناسایی نقاط ضعف.
- شامل کردن ریسک‌های احتمالی مدل‌هایی که در حال آموزش (Training) هستند.
- آزمایش عمدی ورودی‌های در بدترین حالت (Worst-case inputs).
- اندازه‌گیری میزان تلاش ایجنت‌های هوش مصنوعی (AI Agents) برای دستکاری (Tampering) یا دروغ گفتن به سیستم مانیتورینگ.
با افزایش اهمیت ارزیابی‌های شخص ثالث (Third-party evaluators) در حوزه امنیت هوش مصنوعی، این گزارش بر شکاف موجود میان ادعاهای شرکت‌های سازنده و واقعیت‌های فنی تأکید دارد.
