شرکت Anthropic به‌تازگی ویژگی Message Threads را به عنوان بخشی از Messages API مدل Claude معرفی کرده است. برخلاف بحث‌های سنتی میان انسان‌ها، این ویژگی باعث می‌شود که در هر فراخوانی API، نیازی به ارسال مجدد کل تاریخچه گفتگو نباشد. این تغییر می‌تواند در درخواست‌هایی که شامل ۵۰۰,۰۰۰ تا ۱,۰۰۰,۰۰۰ توکن (Token) هستند، حدود ۳۵ درصد در زمان پاسخ‌دهی اولیه یا همان Time-to-first-token صرفه‌جویی کند.
نحوه عملکرد و تأثیر بر کارایی
در مدل‌های قدیمی، با هر پیام جدید، تمام تاریخچه گفتگو باید دوباره ارسال می‌شد؛ مشابه این است که در یک چت طولانی، هر بار که پیامی می‌فرستید، مجبور باشید تمام پیام‌های قبلی را هم دوباره بفرستید. اما با استفاده از Message Threads، عامل‌های هوشمند (Agents) تنها اطلاعاتی را ارسال می‌کنند که از آخرین مرحله تغییر کرده است. این امر باعث کاهش حجم داده‌های ارسالی و افزایش پاسخ‌گویی (Responsiveness) می‌شود.
- بهره‌وری در Contextهای بزرگ: بیشترین مزیت این ویژگی در جلساتی مشاهده می‌شود که حجم Context آن‌ها بین ۵۰۰ هزار تا یک میلیون توکن است.
- عدم تغییر در هزینه‌ها: نکته مهم این است که میزان مصرف توکن‌ها تغییر نمی‌کند، بنابراین این ویژگی باعث کاهش هزینه‌ها نمی‌شود؛ بلکه صرفاً سرعت را بالا می‌برد.
- همکاری با Prompt Caching: این قابلیت می‌تواند در کنار Prompt Caching برای بهینه‌سازی جریان کاری استفاده شود، هرچند که Prompt Caching مستقیماً بر کاهش هزینه‌ها تأثیر دارد.
محدودیت‌ها
این ویژگی برای درخواست‌های تک‌مرحله‌ای (One-off requests) یا گفتگوهایی که بین آن‌ها فاصله زمانی بیش از ۵ دقیقه وجود دارد، مزیتی ایجاد نمی‌کند. همچنین، این قابلیت جایگزینی برای مدیریت Context یا فرآیند فشرده‌سازی اطلاعات (Compaction) نیست، اما در مدیریت حجم‌های بالای داده، سرعت پاسخ‌دهی را به شکل محسوسی بهبود می‌بخشد.
