پارادوکس Jev: بررسی هزینه‌های پنهان تصمیمات ارزان‌قیمت در هوش مصنوعی SOC

در محیط‌های مرکز عملیات امنیت (SOC)، مدیریت هشدارها (Alerts) یکی از چالش‌برانگیزترین وظایف است. برای مثال، یک هشدار مربوط به اسکریپت‌های مشکوک PowerShell که فایلی را دانلود و اجرا می‌کند، نیازمند تصمیم‌گیری سریع است: آیا هشدار را به عنوان مورد benign (سالم) ببندیم، شواهد بیشتری جمع‌آوری کنیم یا آن را به یک تحلیلگر ارجاع دهیم؟

معرفی مدل Jev و رویکرد TypeSafe

شرکت TypeSafe.ai مدل Jev را برای این نوع تصمیم‌گیری‌های ساختاریافته طراحی کرده است. برخلاف مدل‌های زبانی بزرگ (LLM) که پاسخ‌های متنی طولانی تولید می‌کنند، Jev احتمال وقوع پاسخ‌های مجاز را برمی‌گرداند. این طراحی باعث می‌شود فرآیند تصمیم‌گیری بسیار سریع‌تر و ارزان‌تر از LLMهای عمومی باشد. هدف این است که این قضاوت‌های ماشینی چنان قابل اعتماد شوند که توسعه‌دهندگان بتوانند مانند یک کوئری دیتابیس، به طور روتین از آن‌ها استفاده کنند.

پارادوکس Jev و ریسک اتوماسیون

نام این مدل از «پارادوکس جِونز» (Jevons Paradox) گرفته شده است؛ پدیده‌ای که در آن افزایش بهره‌وری باعث افزایش تقاضا و در نهایت افزایش مصرف کل منابع می‌شود. در دنیای امنیت، اگر تصمیم‌گیری‌های خودکار بیش از حد ارزان شوند، تیم‌ها تمایل پیدا می‌کنند بخش‌های بسیار بیشتری از گردش کار خود را اتوماتیک کنند. در این حالت، هر نرخ خطای کوچکی (حتی اگر کمتر از خطای انسانی باشد) به دلیل حجم بالای تصمیمات، منجر به تعداد کل اشتباهات بیشتری در مقیاس کل سازمان خواهد شد.

مقایسه عملکرد: دقت در برابر سرعت و هزینه

ارزیابی‌های مستقل نشان می‌دهد که Jev در طبقه‌بندی Zero-shot عملکرد مناسبی دارد اما در سطح مدل‌های پیشرو (Frontier Models) نیست. در بنچ‌مارک CLINC150، دقت Jev حدود 87% بود، در حالی که مدل‌های سطح بالای OpenAI دقتی تا 92% داشتند. همچنین در محیط‌های تخصصی‌تر مانند Banking77، مدل‌های آموزش‌دیده (Supervised Classifiers) همچنان برتری دارند زیرا ویژگی‌های خاص داده‌ها را بهتر یاد می‌گیرند.

با این حال، مزیت اصلی Jev در سرعت و هزینه است. در برخی تست‌ها، Jev بیش از سه برابر سریع‌تر از مدل‌های Terra و حدود 12 برابر ارزان‌تر از Claude Haiku 4.5 بود. این کاهش هزینه، اتوماسیون در مقیاس وسیع را ممکن می‌سازد، اما ریسک تکرار اشتباهات را افزایش می‌دهد.

مفهوم کالیبراسیون (Calibration) در تصمیم‌گیری

یکی از کلیدی‌ترین مفاهیم در مدل Jev، «کالیبراسیون» است. کالیبراسیون یعنی احتمال اعلام شده توسط مدل با نرخ واقعی وقوع تطابق داشته باشد. برای مثال، اگر مدل برای 100 مورد، اطمینان (Confidence) 90% اعلام کند، باید در واقعاً 90 مورد از آن‌ها درست باشد.

TypeSafe از روشی به نام RLCD (یادگیری تقویتی برای تصمیمات کالیبره شده) استفاده می‌کند. این رویکرد مشابه تحقیقات MIT در زمینه RLCR است که در آن مدل نه تنها برای پاسخ درست، بلکه برای «اعلام سطح اطمینان درست» پاداش می‌گیرد. در واقع، اشتباهات با اطمینان بالا (Overconfident mistakes) جریمه‌های سنگین‌تری دریافت می‌کنند تا مدل یاد بگیرد در موارد مشکوک، محتاط‌تر باشد.

پیاده‌سازی عملیاتی در SOC

برای اینکه یک SOC بتواند از این مدل‌ها برای بستن خودکار پرونده‌ها استفاده کند، به سه قابلیت نیاز دارد:

• کالیبراسیون (Calibration): آیا عدد اعلام شده توسط مدل واقعاً نشان‌دهنده احتمال صحت است؟
• تمایز (Discrimination): آیا مدل می‌تواند بین تصمیمات قوی و ضعیف خود تفاوت قائل شود تا موارد مشکوک را به انسان ارجاع دهد؟
• سیاست تصمیم‌گیری (Decision Policy): سازمان چه سطح از ریسک را می‌پذیرد؟ برای مثال، بستن خودکار یک مورد نفوذ واقعی بسیار خطرناک‌تر از ارجاع یک مورد سالم به تحلیلگر است.

نتیجه‌گیری برای مدیران امنیت

استفاده از مدل‌های ارزان‌قیمت مانند Jev می‌تواند فشار کاری تحلیلگران را کاهش دهد، اما هرگز نباید بدون اعتبارسنجی دقیق روی داده‌های واقعی سازمان به کار گرفته شوند. توصیه می‌شود:

1. آستانه‌های اطمینان (Confidence Thresholds) را روی یک مجموعه داده مجزا (Calibration Set) تعیین کنید.
2. تعداد نفوذهای از دست رفته (Missed Intrusions) را در مقابل کاهش حجم کاری تحلیلگران بسنجید.
3. همیشه یک انسان در چرخه (Human-in-the-loop) برای تصمیمات با ریسک بالا قرار دهید.