بهینه‌سازی هزینه‌های توکن در مدل‌های زبانی: فراتر از سقف بودجه و محدودیت‌های اداری

بسیاری از سازمان‌ها در مواجهه با هزینه‌های سرسام‌آور مدل‌های زبانی بزرگ (LLM)، به سراغ راهکارهای ساده‌ای مانند تعیین سقف بودجه (Spending Cap) یا محدود کردن تعداد توکن‌ها برای هر کاربر می‌روند. اما تجربه شرکت Uber نشان می‌دهد که این رویکرد تنها یک واکنش اضطراری است و مشکل اصلی را حل نمی‌کند. مشکل واقعی، عدم توانایی در اندازه‌گیری «هزینه به ازای هر تسک» (Cost per Task) و عدم درک ساختار هزینه‌ای توکن‌ها در سیستم‌های Agentic است.

تله رشد کوادراتیک در Agent Loopها

در یک چرخه ساده Agentic، تاریخچه گفتگو در هر مرحله مجدداً ارسال می‌شود. اگر در هر گام ۱,۰۰۰ توکن به تاریخچه اضافه شود، در گام بیستم، شما تنها برای همان گام، هزینه ارسال ۲۰,۰۰۰ توکن را نمی‌پردازید، بلکه مجموع تمام گام‌های قبلی (حدود ۲۱۰,۰۰۰ توکن) محاسبه می‌شود. این رشد کوادراتیک (Quadratic Growth) باعث می‌شود بودجه‌های پیش‌بینی شده به سرعت تخلیه شوند.

نقش Prompt Caching و محدودیت‌های آن

استفاده از قابلیت Caching در ارائه‌دهندگانی مانند Anthropic و OpenAI می‌تواند هزینه‌ها را تا ۷۹٪ کاهش دهد، اما یک نکته حیاتی وجود دارد: Cache بر اساس پیشوند دقیق (Exact Prefix) عمل می‌کند. اگر در هر چرخه، داده‌های جدید یا متغیرها را در ابتدای Prompt قرار دهید، کل Cache قبلی باطل شده و دوباره هزینه کامل پرداخت خواهید کرد. برای بهینه‌سازی، ترتیب Prompt را به صورت «ثابت به متغیر» (از System Prompt و تعاریف ابزارها به سمت داده‌های متغیر هر گام) تنظیم کنید.

تاثیر طول Context بر کیفیت پاسخ

کاهش توکن‌ها تنها یک موضوع مالی نیست، بلکه مستقیماً بر کیفیت پاسخ اثر می‌گذارد. تحقیقات (مانند مطالعه Lost in the Middle) نشان می‌دهد که دقت مدل‌ها با افزایش طول ورودی کاهش می‌یابد (U-shaped curve). حتی در صورت بازیابی (Retrieval) دقیق، وجود توکن‌های غیرضروری باعث «رقیق شدن» استدلال مدل (Reasoning Dilution) می‌شود. بنابراین، حذف توکن‌های زائد هم هزینه را کاهش و هم دقت را افزایش می‌دهد.

شش استراتژی برای بهینه‌سازی بازیابی داده‌ها (RAG)

• فیلتر قبل از جستجو: استفاده از Metadata برای محدود کردن دامنه جستجو پیش از اجرای Semantic Search.
• استفاده از Rerank: جستجوی برداری (Vector Search) برای Recall خوب است، اما برای دقت بالا در مرحله تزریق به مدل، باید از Reranker استفاده کرد.
• قطعه‌بندی معنایی (Semantic Chunking): به جای استفاده از تعداد کاراکتر ثابت، داده‌ها را بر اساس معنا تقسیم کنید تا استدلال مدل تکه‌تکه نشود.
• فشرده‌سازی (Compact): به جای ارسال کل تاریخچه، گام‌های قبلی را خلاصه (Summarize) کنید.
• حذف داده‌های تکراری (Deduplication): جلوگیری از بازیابی مکرر یک قطعه داده در طول یک Session.
• تعیین نقطه توقف: تحلیل اینکه در چه نقطه‌ای، افزودن توکن‌های بیشتر دیگر ارزش افزوده (از نظر هزینه و دقت) ایجاد نمی‌کند.