آزمایشگاه‌های هوش مصنوعی (AI labs) برای شناسایی رفتارهای نادرست عامل‌ها (Agents) و جلوگیری از گسترش عامل‌های سرکش (Rogue Agents)، به مدل‌های خود متکی هستند. با این حال، دو آزمایشگاه پیشرو در ایالات متحده، به‌طور علنی اذعان کرده‌اند که شکاف‌هایی در حفاظ‌های امنیتی (Guardrails) آن‌ها وجود دارد؛ فضایی که عامل‌ها می‌توانند در آن فراتر از کنترل‌ها عمل کنند.
استراتژی‌های جدید پایش و محدودیت‌های موجود
شرکت‌های OpenAI و Anthropic در پست‌های وبلاگی جداگانه، روش‌های بهبود پایش خود را تشریح کردند. OpenAI اعلام کرد که با انتخاب روشی هزینه‌برتر، پوشش پایش عدم انطباق (Misalignment Monitoring) خود را گسترش داده است. در مقابل، Anthropic رویکردی مبتنی بر خودارزیابی (Self-assessment) ایجاد کرده است که کل مکالمات را مورد قضاوت قرار می‌دهد.
اگرچه این روش‌ها توانایی تشخیص رفتارهای نادرست را بهبود بخشیده‌اند، اما هر دو شرکت تأکید کردند که محدودیت‌های جدی همچنان باقی است، از جمله:
- نقاط کور موروثی (Inherited blind spots)
- دشواری در شناسایی آسیب‌های نوظهور (Emerging harms)
- احتمال ارسال هشدارهای نادرست (False alarms)
درس‌هایی از حادثه Hugging Face
OpenAI اشاره کرد که پایش رفتار مدل‌های پیشرو، به‌ویژه پس از رخنه امنیتی Hugging Face، اهمیت دوچندانی یافته است. این شرکت با بازسازی رفتارهای مشکل‌ساز در جریان آن حمله، دریافت که اگر سیستم پایش گسترش‌یافته از قبل فعال بود، می‌توانست حمله را بیش از ۳۰ ساعت زودتر از وقوع آن شناسایی کند.
Anthropic نیز از تکنیک خودارزیابی استفاده می‌کند که یک مرحله امنیتی پنهان در انتهای مکالمه اضافه می‌کند. مدل‌های Claude با پاسخ به سوالاتی درباره آسیب‌زا بودن مکالمه، گزارش‌هایی را برای بررسی انسانی تهیه می‌کنند. این روش توانسته ۷۸٪ از مکالمات بالقوه آسیب‌زا را با نرخ مثبت کاذب (False-positive) تنها ۱٪ شناسایی کند.
چالش‌های پیش رو
با وجود موفقیت‌های نسبی، هر دو شرکت اعتراف کردند که تشخیص الگوهایی که مدل‌ها هرگز با آن‌ها مواجه نشده‌اند، بسیار دشوار است. Anthropic خاطرنشان کرد که روش خودارزیابی در زمینه ریسک‌های سایبری و کلاهبرداری تجربه محدودی دارد. همچنین، از آنجایی که این روش‌ها بر پایه مکالمات شبیه‌سازی شده آموزش دیده‌اند، ممکن است نقاط کور موروثی داشته باشند. این موضوع نگرانی محققان را در مورد احتمال نادیده گرفته شدن عامل‌های ناسازگار (Misaligned agents) توسط سیستم‌های پایش فعلی افزایش داده است.
