بنچ‌مارک‌های امنیتی هوش مصنوعی: چرا تست‌های داخلی حیاتی‌تر از رتبه‌بندی‌های عمومی هستند؟

سنجش امنیت مدل‌های هوش مصنوعی به سرعت در حال پیچیده شدن است. در حالی که مجموعه‌ای از بنچ‌مارک‌ها (Benchmarks) برای ارزیابی متغیرهای مختلف طراحی شده‌اند، اما هیچ‌کدام نمی‌توانند جایگزین تست‌های عملی روی کدها و گردش‌کارهای (Workflows) اختصاصی هر سازمان شوند.

تخصصی‌سازی در مقابل مدل‌های عمومی

بسیاری از شرکت‌های امنیتی و توسعه‌دهندگان مدل‌های پایه در تلاش‌اند تا کارایی سیستم‌های AI خود را بهبود ببخشند. برای مثال، شرکت Dream Group با استفاده از ۲۲۰ هزار رکورد آسیب‌پذیری و گزارش‌های Threat Intelligence، مدلی با ۸ میلیارد پارامتر به نام MiST را آموزش داد. نتایج نشان داد که برای دستیابی به قابلیت‌های امنیتی قوی، لزوماً به مدل‌های پیچیده‌تر و بزرگ‌تر نیاز نیست؛ بلکه آموزش تخصصی و بهینه‌سازی نرم‌افزارهای پیرامونی مدل، نتایج بهتری به همراه دارد.

رویکردهای مختلف در سنجش قابلیت‌های تهاجمی

در حوزه امنیت تهاجمی (Offensive Security)، معیارهای ارزیابی بر توانایی مدل در یافتن و اکسپلویت کردن آسیب‌پذیری‌ها متمرکز است. برخی از بنچ‌مارک‌های برجسته در این زمینه عبارتند از:

• SEC-Bench Pro: این معیار توانایی یک Agent هوش مصنوعی را در بازشناسی و فعال‌سازی باگ‌های Memory-safety در موتورهای مرورگر یا کرنل لینوکس می‌سنجد.
• Cyber Weapons Index (CWI): این شاخص که توسط Booz Allen منتشر شده، مدل‌ها را در یک شبکه سازمانی واقعی تست می‌کند تا به جای تکیه بر ادعاهای مدل، اقدامات عملی و شواهد شبکه را امتیازدهی کند.
• AISI Benchmarks: مؤسسه امنیت AI بریتانیا، مدل‌ها را بر اساس توانایی آن‌ها در تکمیل یک زنجیره حمله (Attack Chain) ۳۲ مرحله‌ای ارزیابی می‌کند.

چالش سنجش ایمنی و رفتارهای پیش‌بینی‌نشده

یکی از دشوارترین بخش‌ها در بنچ‌مارک‌ها، سنجش «ایمنی» (Safety) و احتمال انجام اقدامات ناخواسته توسط مدل است. مشکل اینجاست که یک مدل ممکن است در هزار مورد تست، رفتاری ایمن داشته باشد، اما در مورد هزار و یکُم، اقدامی مخرب (مانند حذف دیتابیس) انجام دهد که تمام موفقیت‌های قبلی را بی‌اعتبار کند. این موضوع باعث می‌شود معیارهای ایمنی بیشتر جنبه روایتی داشته باشند تا جامع.

توصیه‌های استراتژیک برای مدیران امنیت

استفاده از Leaderboardهای عمومی (مانند لیست‌های SonarQube) می‌تواند نقطه شروع خوبی برای غربالگری مدل‌ها باشد، اما نباید تنها معیار تصمیم‌گیری باشد. سازمان‌ها باید خط لوله‌های تست (Test Pipelines) خود را بر اساس سناریوهای واقعی و شکست‌های غیرقابل‌قبول در محیط خود طراحی کنند.

در نهایت، با افزایش استفاده عاملان تهدید (Threat Actors) از هوش مصنوعی، سرعت شناسایی آسیب‌پذیری‌ها و زمان رسیدن به اکسپلویت کاهش می‌یابد. بنابراین، مدیران SOC و CISOها باید به جای تمرکز بر نام مدل یا بنچ‌مارک‌های خام، بر نتایج قابل اندازه‌گیری تمرکز کنند: آیا این ابزار ریسک‌های واقعی را شناسایی می‌کند؟ آیا سطح مواجهه (Exposure) را کاهش می‌دهد؟ و آیا سرعت تیم پاسخگویی را افزایش می‌دهد؟