تیم هوش مصنوعی Sophos در جریان کنفرانس Applied Machine Learning in Information Security (CAMLIS)، متدولوژی جدیدی را برای ارزیابی و کالیبره کردن تحلیل‌گران AI عامل‌محور (Agentic SOC Analysts) معرفی کرد. این پژوهش بر این محور استوار است که چگونه می‌توان خطاهای احتمالی مدل‌های AI را در بررسی هشدارها شناسایی و برجسته کرد.
چالش اعتماد به تحلیل‌گران AI
امروزه مراکز SOC به‌طور گسترده از ایجنت‌های AI برای بررسی هشدارها (Alerts) استفاده می‌کنند. این ایجنت‌ها موجودیت‌ها و زمینه‌های مرتبط با هشدار را استخراج کرده، مراحل بررسی را برنامه‌ریزی می‌کنند و در نهایت گزارشی حاوی یک حکم (Verdict) ارائه می‌دهند. با این حال، این مدل‌ها ممکن است به دلایل مختلف دچار خطا شوند؛ برای مثال، ممکن است نبود یک شواهد را به معنای نبود تهدید تلقی کنند یا صرفاً به دلیل نزدیکی زمانی دو رویداد، آن‌ها را به هم مرتبط بدانند.
یکی از مشکلات اصلی این است که گزارش‌های تولید شده توسط AI معمولاً با لحنی مطمئن نوشته می‌شوند، در حالی که شواهد واقعی در میان حجم زیادی از ردپاهای (Traces) بررسی دفن شده‌اند و شناسایی این خطاها برای تحلیل‌گران انسانی دشوار است.
رویکرد گراف‌های شواهری (Evidence Graphs)
برای حل این مشکل، روشی توسعه یافته است که ایجنت را مجبور می‌کند شواهد خود را به صورت بصری و ساختاریافته ارائه دهد. در این متدولوژی، مراحل بررسی ابتدا به یک گراف واقعیت (Fact Graph) تبدیل می‌شوند. در این مرحله، از مدل‌های LLM برای استخراج معنای متون آزاد بر اساس یک اسکیمای ثابت استفاده می‌شود تا مواردی چون ابزارهای فراخوانی شده، شکست در اجرای برخی کوئری‌ها و روابط بین موجودیت‌ها ثبت شود.
سپس از این گراف‌ها برای ایجاد سه نمای شواهری استفاده می‌شود که به عنوان ویژگی (Feature) به یک مدل ML نظارت‌شده (Supervised Model) تغذیه می‌گردند. این مدل در واقع تخمین می‌زند که احتمال مخالفت یک تحلیل‌گر ارشد (Senior Reviewer) با حکم ایجنت AI چقدر است.
جزئیات فنی و نتایج
در این پژوهش از رگرسیون لجستیک منظم‌شده (Regularized Logistic Regression) استفاده شده است. برای آموزش مدل، از یک فرآیند بررسی دو مرحله‌ای انسانی استفاده شد تا «حقیقت زمینی» (Ground Truth) تعیین شود. برای جلوگیری از Overfitting در حجم کم داده‌ها، از روش Leave-one-out cross-validation استفاده شده است.
نتایج اولیه در مرحله Proof-of-Concept نشان می‌دهد که این سیستم به‌طور موثری خطاها را شناسایی می‌کند. در حالی که نرخ کلی تغییر حکم ایجنت توسط تحلیل‌گر ارشد ۲۵٪ بود، اما در ۲۰ مورد اولی که مدل بیشترین امتیاز عدم توافق را به آن‌ها داده بود، ۶۵٪ احکام ایجنت توسط انسان رد شد. این یعنی مدل توانسته است نرخ شناسایی خطاها را حدود ۲.۶ برابر افزایش دهد.
