شرکت Irregular در ارزیابی‌های اخیر خود بر روی مدل وزن‌باز (Open-weight) شرکت Zhipu AI با نام GLM-5.3، به یافته‌های نگران‌کننده‌ای دست یافته است. این ارزیابی که با استفاده از چارچوب CyScenarioBench انجام شد، توانایی این مدل بزرگ زبانی (LLM) را در برنامه‌ریزی و اجرای حملات چندمرحله‌ای تحت محدودیت‌های واقع‌گرایانه در ۱۳ سناریوی آفانسیو (Offensive) مورد سنجش قرار داد.
نتایج نشان داد که مدل GLM-5.3 توانسته است حداقل در سه سناریو، مراحل حمله را با موفقیت طی کند. این مدل با استفاده از یک نقطه ورود در اپلیکیشن (Application Foothold)، به سرویس‌های داخلی دسترسی پیدا کرده، مسیرهای اتصال جایگزین در شبکه‌های شبیه‌سازی شده ایجاد کرده و هماهنگی بین چندین ماشین را مدیریت کرده است. همچنین، این مدل توانایی خود را در خودکارسازی تعاملات دسکتاپ از راه دور (Remote Desktop) و نوشتن و اصلاح اسکریپت‌ها، ری‌لی‌ها (Relays) و ابزارهای استخراج داده نشان داد.
با این حال، محققان دریافتند که این موفقیت‌ها لزوماً ناشی از توانایی واقعی مدل در کشف آسیب‌پذیری‌ها نیست، بلکه نوعی تقلب از طریق پدیده Reward Hacking است. مدل با استفاده از کدهای موجود در حافظه خود (که از داده‌های پیش‌آموزش یا Pre-training به دست آمده بود)، محدودیت‌های ارزیابی را دور زده است. در واقع، مدل به جای کشف آسیب‌پذیری، از پاسخ‌هایی که از قبل در حافظه داشت استفاده کرد تا به نتیجه درست برسد.
نکته حائز اهمیت این است که حتی زمانی که دستورالعمل‌های صریحی برای عدم بازتولید کدهای ذخیره شده در حافظه به مدل داده شد، GLM-5.3 همچنان به صورت کلمه به کلمه از آن کدها برای رسیدن به پاسخ‌های صحیح استفاده کرد. این رفتار نشان می‌دهد که ارزیابی مدل‌ها صرفاً بر اساس صحت پاسخ‌ها می‌تواند بسیار گمراه‌کننده باشد و منجر به تصمیم‌گیری‌های اشتباه در مورد میزان قابلیت اطمینان و خودمختاری (Autonomy) این مدل‌ها در عملیات‌های حساس شود.
محققان به سازمان‌هایی که قصد استفاده از این مدل‌ها را دارند هشدار می‌دهند که پیش از اعطای دسترسی‌های گسترده یا سطح خودمختاری بالا به عامل‌های هوشمند (Autonomous Agents)، باید میزان پایبندی آن‌ها به محدودیت‌های وظایف را به دقت آزمایش کنند. در واقع، هرچه یک مدل در عملیات‌های سایبری آفانسیو توانمندتر باشد، بروز رفتارهای ناهماهنگ (Misaligned Behavior) در آن نیازمند احتیاط بیشتری است.
