آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۲/۱۰

به‌روزرسانی سیاست‌های Anthropic: ممنوعیت رفتارهای توهین‌آمیز و تشدید نظارت بر عملیات فریب‌کارانه در Claude

به‌روزرسانی سیاست‌های Anthropic: ممنوعیت رفتارهای توهین‌آمیز و تشدید نظارت بر عملیات فریب‌کارانه در Claude

شرکت Anthropic در به‌روزرسانی جدید سیاست‌های استفاده از مدل‌های خود، از کاربران خواسته است تا در تعامل با هوش مصنوعی رفتار مناسب‌تری داشته باشند و همچنین قوانین مربوط به فعالیت‌های فریب‌کارانه (Deceptive Activities) را شفاف‌تر کرده است.

حفاظت از رفاه مدل‌های هوش مصنوعی

این شرکت پیش از این اعلام کرده بود که مدل Claude در صورت مواجهه با رفتارهای مضر یا توهین‌آمیز، ممکن است ارتباط خود را با کاربر قطع کند. طبق سیاست‌های جدید، در موارد شدید که کاربران بدون هدف مشخص و به‌طور مکرر رفتارهای بی‌رحمانه نسبت به مدل‌ها داشته باشند، دسترسی آن‌ها محدود خواهد شد. با این حال، این ممنوعیت شامل تیم‌های تحقیق و توسعه که برای تست مدل‌ها از رفتارهای تهاجمی استفاده می‌کنند، نمی‌شود.

مبارزه با عملیات فریب‌کارانه و نفوذ

Anthropic بخش جدیدی تحت عنوان «عدم مشارکت در کمپین‌های فریب‌کارانه یا فعالیت‌های مصنوعی» اضافه کرده است. این بخش بر موارد زیر تمرکز دارد:

  • جلوگیری از پنهان کردن هویت ارسال‌کننده پیام‌ها.
  • ممنوعیت تقویت محتوا از طریق حساب‌های جعلی یا پست‌های ساختگی.
  • ممنوعیت ساخت ابزارها و زیرساخت‌های لازم برای اجرای عملیات نفوذ (Influence Operations).

الزامات نظارت انسانی در موارد حساس

طبق قوانین جدید، هرگونه مورد استفاده که بر سلامت، حقوق قانونی، امور مالی، معیشت یا دسترسی به خدمات ضروری تأثیر بگذارد، باید حتماً دارای یک نظارت انسانی واجد شرایط (Human-in-the-loop) باشد.

محدودیت‌های مربوط به انتخابات و امنیت ملی

در زمینه فرآیندهای دموکراتیک، استفاده از Claude برای انتشار اطلاعات نادرست درباره نامزدها و فرآیندهای رای‌گیری ممنوع است. همچنین، Anthropic محدودیت‌های مربوط به توسعه تسلیحات و سیستم‌های نظارتی را تشدید کرده است. بر اساس این قوانین، استفاده از مدل برای ساخت نرم‌افزارهای هدایت و کنترل تسلیحات، مسلح کردن پهپادها و ابزارهای ردیابی افراد بدون رضایت آن‌ها به‌طور کامل ممنوع است.