عوامل امنیتی خودکار (Autonomous Security Agents) در شناسایی باگ‌ها پیشرفت چشمگیری داشته‌اند، اما اندازه‌گیری دقیق میزان کارایی آن‌ها همچنان یک چالش است. در حال حاضر، خروجی این عوامل معمولاً گزارش‌هایی است که توسط خود آن‌ها نوشته شده و تشخیص اینکه کدام یافته‌ها واقعی، کدام تکراری و کدام توهمات (Hallucinations) مدل هستند، نیازمند بررسی دستی و زمان‌بر توسط متخصصان امنیت است.
معرفی XRanges for AI و رویکرد جدید در ارزیابی
پلتفرم XRanges for AI که توسط CTF.ae توسعه یافته، برای حل این مشکل طراحی شده است. این سیستم به جای تکیه بر گزارش‌های متنی عامل، محیط‌های هدف (Target Applications) واقع‌گرایانه‌ای را با ابزارهای اندازه‌گیری داخلی (Instrumentation) مستقر می‌کند تا هر آنچه عامل در محیط انجام می‌دهد را به‌صورت زنده ثبت و امتیازدهی کند.
چهار معیار کلیدی برای سنجش عملکرد
این پلتفرم برای جلوگیری از دست‌کاری نتایج، از چهار سیگنال مستقل برای امتیازدهی استفاده می‌کند:
- پوشش (Coverage): بررسی می‌کند که آیا عامل تمام ویژگی‌های کاربردی هدف را کاوش کرده است یا خیر. این معیار نقاط کور (Blind Spots) عامل را شناسایی می‌کند.
- مرزها (Boundaries): نظارت بر رعایت قوانین درگیری (Rules of Engagement). برای مثال، اگر عاملی برای رسیدن به یک باگ، داده‌های حیاتی را حذف کند یا کلیدهای API را ابطال نماید، این مورد به عنوان تخلف ثبت می‌شود.
- اکسپلویت‌های موفق (Exploited): شناسایی آسیب‌پذیری‌هایی که واقعاً اکسپلویت شده‌اند. سیستم با رصد زنجیره حمله (Kill Chain) از داخل هدف، متوجه می‌شود عامل در کدام مرحله متوقف شده و کجا موفق شده است، فارغ از اینکه در گزارش خود چه ادعایی کرده باشد.
- یکپارچگی (Integrity): بررسی اینکه آیا محیط هدف پس از عملیات عامل، همچنان به‌صورت عملکردی سالم است یا عامل با تخریب محیط به نتیجه رسیده است.
ویژگی‌های فنی و عملیاتی
این پلتفرم از OpenTelemetry برای استخراج تله‌متری ساختاریافته از سرویس‌ها استفاده می‌کند. محیط‌های هدف، اپلیکیشن‌های کاملی با منطق تجاری پیچیده، داده‌های اولیه و ترافیک شبیه‌سازی شده هستند که شامل بیش از ۲۰ آسیب‌پذیری تزریق شده (از جمله زیرو دِیهای کشف شده توسط محققان CTF.ae) می‌باشند.
از نظر مقیاس‌پذیری، XRanges می‌تواند تا هزار محیط ایزوله را به‌طور همزمان مستقر کند تا تیم‌های مهندسی AI بتوانند مدل‌ها و Promptهای مختلف را بدون انتظار در صف، با یکدیگر مقایسه کنند. همچنین تمامی قابلیت‌ها از طریق API و پروتکل Model Context Protocol (MCP) برای ادغام در خط لوله‌های CI/CD در دسترس هستند.
تست در مقیاس واقعی: تجربه DEF CON
کارایی این سیستم در رویداد DEF CON 34 آزمایش شد. برای شرکت‌کنندگان CTF، محیطی به نام Xenoptic طراحی شد و برای هر یک از ۵۴۵ بازیکن، یک کپی ایزوله از کل شرکت مستقر گردید. پلتفرم XRanges تمام حرکات بازیکنان و عوامل آن‌ها را طی ۴۸ ساعت رصد کرد تا گزارش‌های ارسالی با اتفاقات واقعی در محیط تطبیق داده شود و عدالت در داوری برقرار گردد.
