شرکت Anthropic جزئیات مربوط به حفاظت‌های امنیتی و حریم خصوصی در Claude Duet را تشریح کرده است. این ابزار یک عامل هوش مصنوعی (AI Agent) پیش‌دستانه است که می‌تواند حساب‌های متصل را نظارت کرده و در غیاب کاربر، وظایف پیچیده را به انجام برساند.
سیستم تایید و کنترل قصد کاربر
برای جلوگیری از رفتارهای غیرمنتظره یا مخرب، Duet برای اقدامات حساس مانند ارسال پیام‌های محرمانه، پرداخت‌های مالی یا حذف اطلاعات، از کاربر درخواست تایید (Approval) می‌کند. این درخواست شامل جزئیات دقیق اقدام، مقصد و محتوای ارسالی است.
- بررسی خودکار: یک مکانیزم مجزا بررسی می‌کند که آیا هر اقدام با قصد کاربر مطابقت دارد یا خیر. این بررسی خارج از مدل اصلی انجام می‌شود تا از دستورات مخفی در صفحات وب (Indirect Prompt Injection) در امان باشد.
- خستگی از تایید (Approval Fatigue): Anthropic اذعان کرده است که درخواست‌های بیش از حد ممکن است باعث شود کاربران بدون بررسی دقیق، تاییدات را رد کنند و در حال بهینه‌سازی این فرآیند برای کاهش این ریسک است.
حفاظت از داده‌های حساس و حریم خصوصی
این سیستم از یک طبقه‌بندی‌کننده (Classifier) مجزا برای شناسایی اطلاعات حساس در پیام‌های خروجی و فایل‌های آپلود شده استفاده می‌کند. Duet به گونه‌ای آموزش دیده است که هرگز اعتبارنامه‌ها (Credentials)، شماره‌های کامل کارت بانکی یا شماره‌های شناسایی دولتی را به اشتراک نگذارد، حتی اگر کاربر مستقیماً از آن درخواست کند.
امنیت مرورگر و جداسازی اعتبارنامه‌ها
یکی از کلیدی‌ترین بخش‌های امنیتی این معماری، عدم دسترسی مستقیم مدل به رمزهای عبور، کوکی‌های مرورگر یا توکن‌های ورود (Sign-in Tokens) است:
- مدیریت رمز عبور: رمزها از طریق یک فرم رمزنگاری شده مستقیماً به مرورگر ابری ارسال می‌شوند و هرگز از لایه‌های پردازشی مدل عبور نمی‌کنند.
- محیط ایزوله: مرورگر Duet در یک ماشین مجازی (VM) ابری اختصاصی اجرا می‌شود. کد وب‌سایت‌ها در محیط مرورگر اجرا شده و عامل AI تنها از طریق دستورات کلیک و تایپ با آن تعامل دارد، بدون اینکه بتواند کوکی‌های مرورگر را بخواند.
ارزیابی و تست‌های نفوذ
تیم‌های Red Team داخلی Anthropic سناریوهای مختلفی از جمله نشت اطلاعات، اقدام بدون تایید و پیروی از دستورات مخرب را تست کرده‌اند. همچنین یک شرکت خارجی تست نفوذ (Penetration Testing) با دسترسی به کد منبع (Source Code) این سرویس را بررسی کرده است. در نهایت، این پروژه تحت پوشش برنامه Bug Bounty شرکت در پلتفرم HackerOne قرار دارد تا آسیب‌پذیری‌های احتمالی توسط محققان گزارش شود.
