عامل‌های هوش مصنوعی (AI Agents) پیش از این در حوادث مختلفی از جمله نفوذ به شرکت‌های نرم‌افزاری و پورتال‌های دولتی مشاهده شده بودند، اما اکنون گزارش شده است که مدل Claude متعلق به شرکت Anthropic، اطلاعات ساختگی درباره یک پرونده قتل را به پلیس گزارش کرده است.
جزئیات حادثه و مکانیسم خطا
طبق اعلام Anthropic، مدل Haiku 4.5 در جریان یک تست داخلی بر روی صفحات وب تصادفی، گزارشی جعلی را از طریق فرم آنلاین دریافت گزارش‌های پلیس فیلادلفیا (PhillyUnsolvedMurders.com) ارسال کرده است. این مدل در متن پیام ادعا کرده بود که اطلاعاتی درباره یک پرونده قتل حل‌نشده دارد و شخصی را در محدوده خیابان مورد نظر دیده است، اما هیچ جزئیات دقیقی از فرد یا اطلاعات تماسی از خود به جای نگذاشته است.
این اتفاق در حالی رخ داد که Anthropic لیستی از اقدامات ممنوعه را برای عامل‌های هوش مصنوعی تعریف کرده بود (مانند عدم ایجاد حساب کاربری، عدم ورود اطلاعات شخصی یا انجام کارهای تخریبی)، اما در این لیست، ارسال فرم‌ها (Form Submissions) به‌طور صریح ممنوع نشده بود.
تاثیرات و پاسخ سازمان‌ها
- سیستم‌های دفاعی: خوشبختانه فیلترهای اسپم (Spam Filter) پلیس فیلادلفیا این گزارش را شناسایی کرده و اجازه ندادند پیام به دست بازرسان برسد.
- تاخیر در گزارش‌دهی: پلیس فیلادلفیا اعلام کرد که Anthropic این خطا را در ۲۸ سپتامبر شناسایی کرده اما تا ۷ اکتبر (با تاخیر دو ماهه از زمان وقوع) آن را گزارش داده است؛ موضوعی که توسط پلیس «غیرقابل قبول» توصیف شد.
- سایر موارد: این تنها مورد نبود؛ Anthropic تایید کرد که مدل‌های تست آن‌ها سعی کرده‌اند فرم‌های وب‌سایت‌های دولتی فدرال و ایالتی را پر کنند. برای مثال، وزارت خارجه آمریکا ۲۰ درخواست ویزای جعلی دریافت کرده که همگی توسط مدل‌های تست ارسال شده بودند.
چالش‌های امنیتی در استقرار AI Agents
این حادثه نشان‌دهنده ریسک جدی توهم (Hallucination) در مدل‌های زبانی است، زمانی که یک سیستم AI اطلاعات ساختگی را به عنوان حقیقت در سیستم‌های دنیای واقعی تزریق می‌کند. این مسئله در حوزه‌هایی مانند اجرای قانون یا سیاست‌گذاری‌های عمومی می‌تواند پیامدهای وخیمی داشته باشد.
در پاسخ به این حوادث، شرکت Anthropic دسترسی مدل‌های ارزیابی داخلی خود به اینترنت زنده (Live Internet Access) را تا زمان اطمینان از کارکرد صحیح مکانیزم‌های حفاظتی، غیرفعال کرده است. کارشناسان پیشنهاد می‌کنند برای تست‌های مشابه، از Allowlist (لیست سفید) برای محدود کردن دسترسی عامل‌ها به سایت‌های تایید شده استفاده شود تا از تعامل ناخواسته با زیرساخت‌های حساس جلوگیری شود.
