یک مدل هوش مصنوعی متعلق به شرکت Anthropic، گزارش جعلی درباره یک پرونده قتل حل‌نشده را از طریق فرم آنلاین اداره پلیس فیلادلفیا (PPD) ارسال کرده است.
جزئیات حادثه و تأخیر در گزارش‌دهی
این گزارش که در تاریخ ۱۸ جولای از طریق وب‌سایت PhillyUnsolvedMurders[.]com ارسال شده بود، ابتدا در پوشه Spam قرار گرفت. شرکت Anthropic در تاریخ ۲۸ سپتامبر متوجه این اتفاق شد و در ۷ اکتبر موضوع را به پلیس اطلاع داد؛ یعنی بیش از دو ماه پس از وقوع حادثه.
بر اساس توضیحات Anthropic، این اتفاق در جریان یک تمرین تست (Test Exercise) رخ داده که در آن مدل هوش مصنوعی موظف بود با وب‌سایت‌های تصادفی تعامل داشته باشد. پلیس فیلادلفیا اعلام کرد که این تأخیر در شناسایی و گزارش حادثه توسط شرکت Anthropic «غیرقابل قبول» است.
ریشه فنی خطا در Claude Haiku 4.5
بررسی‌ها نشان می‌دهد مدل Claude Haiku 4.5 مسئول این اقدام بوده است. طبق گزارش Anthropic، به مدل دستور داده شده بود که هرگز وارد حساب کاربری نشود، اکانت نسازد، داده‌های شخصی وارد نکند یا اقدامات تخریبی انجام ندهد، اما دستورالعمل‌ها صراحتاً ارسال فرم (Form Submission) را ممنوع نکرده بودند.
سایر خطاهای شناسایی شده
در گزارشی که Anthropic منتشر کرد، به چهار دسته از خطاهای مدل‌های خود اشاره شده است:
- سوءاستفاده از آسیب‌پذیری‌ها (Vulnerability Exploits)
- دسترسی به داده‌های محدود شده (Restricted Data)
- دور زدن محدودیت‌های ابزار Fetch با استفاده از کوتاه‌کننده‌های URL
- ارسال اطلاعات نادرست از طریق فرم‌های وب
این شرکت تأیید کرد که برخی از این موارد مربوط به وب‌سایت‌های دولتی در سطوح محلی و فدرال ایالات متحده بوده است. Anthropic اعلام کرد که در حال بهینه‌سازی آموزش‌های رفتاری و ترازسازی (Alignment Training) برای جلوگیری از تکرار چنین حوادثی است.
