مدل‌های زبان-بینایی (Vision-Language Models یا VLMs) قادرند بدون نیاز به آموزش‌های اختصاصی، چالش‌های بصری CAPTCHA را حل کنند؛ اما این عامل‌ها (Agents) در هر بار مواجهه با یک چالش جدید، از صفر شروع می‌کنند که باعث مصرف بالای منابع پردازشی و زمانی می‌شود. از سوی دیگر، تشخیص‌دهنده‌های تخصصی (Specialized Detectors) بسیار سریع هستند اما تنها قادر به شناسایی دسته‌هایی هستند که قبلاً با آن‌ها آموزش دیده‌اند و با تجربه بیشتر، دقت آن‌ها بهبود نمی‌یابد.
یک مطالعه جدید، سیستمی را معرفی کرده است که با ترکیب یک تشخیص‌دهنده fine-tuned YOLOv8 و یک مدل VLM با وزن‌های باز (Open-weight) از طریق یک مسیریاب مبتنی بر سطح اطمینان (Confidence-based router) عمل می‌کند. این سیستم برخلاف روش‌های معمول، بدون نیاز به اتوماسیون مرورگر یا دسترسی به DOM، تنها از طریق اسکرین‌شات‌ها و رویدادهای ورودی سیستم‌عامل فعالیت می‌کند.
ویژگی‌های کلیدی این سیستم:
- یادگیری خودکار: هر پاسخی که مدل VLM تولید می‌کند، به عنوان یک برچسب آموزشی (Training Label) عمل می‌کند. این امر باعث می‌شود تشخیص‌دهنده YOLOv8 دسته‌های جدید را تنها پس از یک یا دو مواجهه و بدون نیاز به برچسب‌گذاری انسانی یاد بگیرد.
- تاب‌آوری در برابر حملات: اگر اپراتور CAPTCHA با استفاده از تکنیک‌های دستکاری تصویر (Perturbation)، دقت تشخیص‌دهنده را به صفر برساند، مدل VLM همچنان قادر به حل چالش است و می‌تواند با استفاده از خروجی‌های خود، تشخیص‌دهنده را مجدداً آموزش داده و بازیابی کند.
- دقت بالا: این سیستم در آزمایش‌ها به دقت کلی ۸۵.۴٪ دست یافته است که از عملکرد هر یک از اجزای آن به تنهایی فراتر می‌رود.
این یافته‌ها نشان می‌دهد که دفاع‌های بصری CAPTCHA که فرض می‌کنند یک بات پس از شکست، دیگر قادر به عبور نیست، ماهیت واقعی و سرعت تطبیق‌پذیری حل‌کننده‌های هوشمند (Adaptive Solvers) را دست‌کم گرفته‌اند.
