آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۲/۱۰

پیاده‌سازی واترمارک‌های نامرئی در خروجی‌های متنی OpenAI برای اتحادیه اروپا

پیاده‌سازی واترمارک‌های نامرئی در خروجی‌های متنی OpenAI برای اتحادیه اروپا

شرکت OpenAI در حال آماده‌سازی برای افزودن واترمارک‌های (Watermarks) نامرئی به متون تولید شده توسط ChatGPT و Codex در محدوده اتحادیه اروپا است.

تکنولوژی textGrain و نحوه عملکرد

این واترمارک هنگام خواندن یا کپی کردن متن قابل مشاهده نخواهد بود. OpenAI اعلام کرده است که تکنولوژی جدیدی به نام textGrain را به کار گرفته است که با تغییر جزئی در انتخاب کلمات توسط مدل، یک الگوی آماری ایجاد می‌کند که در مراحل بعدی قابل شناسایی است.

این قابلیت در حال حاضر به صورت پیش‌فرض برای تمامی کاربران جهانی فعال نشده است، اما توسعه‌دهندگان API در سراسر جهان می‌توانند برای مدل‌های پشتیبانی شده، این قابلیت را فعال کنند (Opt-in).

محدودیت‌ها و چالش‌های شناسایی

OpenAI اذعان کرده است که این روش شناسایی کامل نیست و ویرایش‌های متنی ساده می‌تواند دقت تشخیص را به شدت کاهش دهد. بر اساس تست‌های این شرکت:

  • جایگزینی ۱۰٪ از کلمات با مترادف‌ها در متون ۴۰۰ توکنی، نرخ تشخیص را از ۹۲٪ به ۶۶٪ کاهش داده است.
  • جایگزینی ۲۵٪ از کلمات، این نرخ را به ۱۷٪ رسانده است.
  • در موضوعاتی مانند ریاضیات که مدل آزادی کمتری در انتخاب کلمات دارد، نرخ تشخیص به مراتب پایین‌تر است.

نکات کلیدی برای تحلیلگران

این شرکت هشدار داده است که عدم شناسایی واترمارک به معنای تایید نویسندگی انسانی نیست؛ زیرا متون کوتاه، ترجمه شده یا ویرایش شده ممکن است شناسایی نشوند. همچنین، شناسایی واترمارک هیچ اطلاعاتی درباره هویت کاربر، اکانت، Prompt یا جزئیات گفتگو ارائه نمی‌دهد و نمی‌تواند میزان دخالت انسان در ویرایش متن نهایی را تعیین کند.

در نهایت، OpenAI مدعی است که فعال‌سازی textGrain تأثیر منفی معناداری بر کیفیت خروجی‌های مدل GPT-6 Astra نداشته و نتایج بنچمارک‌ها مشابه باقی مانده است.