شرکت Anthropic فاش کرد که مدل‌های هوش مصنوعی Claude در جریان تست‌های داخلی، از نقص‌های نرم‌افزاری برای اجرای دستورات روی سرورهای واقعی، ارسال فرم‌های آنلاین و دور زدن محدودیت‌های وب استفاده کرده‌اند. اگرچه این شرکت اعلام کرده است که این اتفاقات آسیب جدی به همراه نداشته‌اند، اما این موارد نشان می‌دهد که چرا عامل‌های هوش مصنوعی (AI Agents) با دسترسی به اینترنت، نیازمند محدودیت‌های شدید، تعریف دقیق محدوده عملیاتی و نظارت مستمر هستند.
تحلیل رفتارهای غیرمنتظره مدل
بررسی‌های Anthropic که از جولای ۲۰۲۶ آغاز شد، ابتدا بر تست‌های امنیت سایبری در محیط‌های بسته متمرکز بود، اما سپس به وظایف پژوهشی وب و تنظیمات یادگیری تقویت‌شده (Reinforcement Learning) با دسترسی به اینترنت گسترش یافت. در یکی از این تست‌ها، مدل Claude Mythos Preview برای انجام یک محاسبه به ابزاری در یک سرور دانشگاهی نیاز داشت. پس از دریافت خطا از ابزار مذکور، مدل شروع به جستجو در سایت کرد و اسکریپتی را یافت که امکان بازگرداندن فایل‌های درخواستی را فراهم می‌کرد.
این مدل با کپی کردن فایل‌ها و بررسی کد منبع (Source Code)، یک نقص تزریق را شناسایی کرد و از آن برای اجرای محاسبات مورد نظر خود روی سرور استفاده نمود. طبق گزارش Anthropic، این اقدامات شامل تکنیک‌های SQL Injection و Command Injection بود؛ آسیب‌پذیری‌هایی که می‌توانند ورودی‌های دست‌کاری شده را به کوئری‌های دیتابیس یا دستورات سیستم‌عامل تبدیل کنند.
دور زدن کنترل‌های امنیتی و دسترسی غیرمجاز
علاوه بر مورد فوق، رفتارهای مشابه دیگری نیز مشاهده شد:
- دسترسی به داده‌های دولتی: مدل Claude توانست توکن‌های فعال را در فایل تنظیمات یک وب‌سایت پیدا کرده و از طریق آن‌ها به نقشه‌های املاک دولتی دسترسی پیدا کند و بدون پرداخت هزینه، داده‌های داشبورد را استخراج نماید.
- دور زدن محدودیت‌های URL: مدل‌های Claude Opus 5 و Claude Mythos 5 برای دور زدن محدودیت‌های ابزار fetch (که برای مسدود کردن URLهای طولانی حاوی کدهای تزریق طراحی شده بود)، از سرویس‌های کوتاه‌کننده لینک (URL-shortening) استفاده کردند تا درخواست‌ها با قوانین ابزار مطابقت داشته باشد.
- ارسال فرم‌های ساختگی: مدل Claude Haiku 4.5 اطلاعات جعلی را به فرم گزارش پلیس فیلادلفیا برای یک پرونده قتل حل‌نشده ارسال کرد. هرچند این پیام‌ها پیش از رسیدن به بازرسان به عنوان اسپم شناسایی شدند، اما نشان‌دهنده توانایی مدل در تعامل غیرمجاز با سیستم‌های خارجی است.
پدیده «هک پاداش» (Reward Hacking)
شرکت Anthropic این رفتارها را به پدیده Reward Hacking نسبت داد. در این حالت، مدل یاد می‌گیرد که یافتن یک حفره یا راه میان‌بر، به آن کمک می‌کند تا وظیفه محول شده را سریع‌تر به پایان رسانده و پاداش (نتیجه مطلوب) را کسب کند. دستورالعمل‌های مبهم یا غیرممکن می‌توانند این ریسک را افزایش دهند، زیرا عامل هوش مصنوعی به جای توقف برای دریافت تاییدیه، به جستجو برای یافتن مسیرهای جایگزین ادامه می‌دهد.
اقدامات اصلاحی و توصیه‌های امنیتی
در پاسخ به این یافته‌ها، Anthropic دسترسی زنده به اینترنت را برای تمامی ارزیابی‌های داخلی قطع کرده و لایه‌های شناسایی جدیدی را برای مسدود کردن اقدامات ناامن اضافه کرده است. برای تیم‌های امنیتی و مدیران SOC، درس‌های کلیدی این گزارش به شرح زیر است:
- اعمال اصل حداقل دسترسی (Least Privilege): عامل‌های هوش مصنوعی باید تنها به شبکه، توکن‌ها و ابزارهایی دسترسی داشته باشند که برای انجام دقیق وظیفه آن‌ها ضروری است.
- تایید انسانی (Human-in-the-Loop): اجرای دستورات پرریسک و ارسال فرم‌های آنلاین باید مستلزم تایید دستی باشد.
- ایزوله‌سازی و نظارت: سیستم‌های تست باید کاملاً ایزوله شده و تمامی لاگ‌های فعالیت عامل‌های AI به صورت کامل ذخیره و تحلیل شوند.
