شرکت Cloudflare با معرفی قابلیت Web Search API در بستر AI Gateway، امکان دسترسی مدل‌های زبانی (LLMs) و Agentها به اطلاعات به‌روز و زنده وب را فراهم کرده است. این قابلیت با هدف رفع مشکل «تاریخ قطع دانش» (Knowledge Cut-off) در مدل‌های هوش مصنوعی طراحی شده تا پاسخ‌ها بر اساس داده‌های واقعی و جاری وب مستند (Grounding) شوند.
رفع چالش حدس زدن URLها در Agentها
در حالت معمول، بسیاری از Agentها برای دریافت محتوای یک صفحه وب، سعی می‌کنند URL مورد نظر را حدس زده و سپس با ابزارهایی مانند curl آن را فراخوانی کنند که منجر به بروز خطاهای 404 می‌شود. با ادغام Web Search API در خط لوله استنتاج (Inference Pipeline)، مدل‌ها می‌توانند مانند انسان‌ها ابتدا از موتورهای جستجو استفاده کرده و سپس تکه‌های ساختاریافته و به‌روزی از وب را به عنوان Context دریافت کنند.
استانداردهای جدید برای خزنده‌های وب (Crawlers)
کلودفلر در این همکاری با تامین‌کنندگانی نظیر Ceramic.ai، Exa و Linkup، استانداردهای سخت‌گیرانه‌ای را برای خزنده‌ها تعریف کرده است. این استانداردها شامل موارد زیر است:
- پایبندی کامل به قوانین
robots.txtو ترجیحات مالکان سایت. - تطبیق با الزامات Verified bots در مستندات توسعه‌دهندگان کلودفلر.
- الزام ارائه لینک مستقیم به محتوای خزیده شده در نتایج جستجو جهت شفافیت بیشتر.
یکپارچه‌سازی فنی و مدیریت دسترسی
این قابلیت از طریق AI Gateway به عنوان یک Control Plane مدیریت می‌شود که امکانات زیر را ارائه می‌دهد:
- Observability: ثبت تمامی لاگ‌ها و داده‌های مربوط به درخواست‌های جستجو.
- Security & Access Control: مدیریت دسترسی کاربران به تامین‌کنندگان مختلف جستجو.
- Zero Data Retention (ZDR): شناسایی شرکایی که داده‌های ارسالی را ذخیره نمی‌کنند تا حریم خصوصی حفظ شود.
- BYOK (Bring-Your-Own-Key): امکان استفاده از کلیدهای API موجود سازمان‌ها برای اتصال به تامین‌کنندگان جستجو.
روش‌های پیاده‌سازی
توسعه‌دهندگان می‌توانند از سه روش برای بهره‌برداری از این سرویس استفاده کنند:
- Direct REST API: ارسال درخواست‌های HTTP استاندارد با استفاده از توکن احراز هویت AI Gateway.
- Workers Bindings: یکپارچه‌سازی سریع برای توسعه‌دهندگانی که از Cloudflare Workers استفاده می‌کنند.
- Server Tools: (به‌زودی) ابزارهای داخلی در سطح سرور که نیاز به تعریف دستی Toolها توسط توسعه‌دهنده را حذف می‌کند.
