پروژه StressingLLMs در گزارشی جدید با عنوان «هزینه متن‌های ناآشنا»، به بررسی نحوه مدیریت انواع مختلف رمزگذاری کاراکترها (Character Encodings) توسط مدل‌های زبانی بزرگ (LLM) پرداخته است.
کشف مکانیسم تورم توکن‌ها
برخلاف تصور اولیه که تکرار کاراکترها عامل فشار بر Tokenizer مدل‌ها دانسته می‌شد، نتایج این تحقیق نشان می‌دهد که عامل اصلی افزایش تعداد توکن‌ها، استفاده از کاراکترهای نادر Unicode (به‌ویژه در High-plane) است.
ریسک‌های امنیتی و عملیاتی
استفاده از این کاراکترهای خاص می‌تواند منجر به پدیده‌ای شود که در آن تعداد توکن‌های یک درخواست به‌طور چشمگیری افزایش یابد. این موضوع دو ریسک کلیدی را برای سیستم‌هایی که متن‌های غیرقابل اعتماد (Untrusted Text) را پردازش می‌کنند ایجاد می‌کند:
- Amplification Risk: افزایش شدید تعداد توکن‌ها که می‌تواند منجر به پر شدن سریع پنجره بافت (Context Window) مدل شود.
- Billing Risk: افزایش هزینه‌های عملیاتی در مدل‌هایی که بر اساس تعداد توکن هزینه دریافت می‌کنند.
این یافته‌ها هشدار می‌دهد که سیستم‌های مبتنی بر AI باید در مواجهه با ورودی‌های کاربر، مکانیزم‌های اعتبارسنجی و پاک‌سازی (Sanitization) مناسبی برای کاراکترهای Unicode پیاده‌سازی کنند تا از حملات Denial of Service (DoS) در سطح لایه مدل یا هزینه‌های پیش‌بینی نشده جلوگیری شود.
