گزارش جدید Splunk هشدار می‌دهد که سازمان‌ها در حال پیاده‌سازی عامل‌های هوش مصنوعی (AI Agents) با سرعتی بسیار فراتر از توانایی خود در استقرار فرآیندهای نظارتی و کنترل‌های امنیتی هستند. این روند باعث شده است که سازمان‌ها در برابر تهدیدات امنیتی، توهمات هوش مصنوعی (Hallucinations) و سایر مشکلات رایج مرتبط با این فناوری آسیب‌پذیر شوند.
شکاف در مالکیت و مسئولیت‌پذیری
طبق گزارش State of Observability منتشر شده توسط Splunk، بسیاری از کسب‌وکارها با اشتیاق به دنبال بهره‌گیری از پتانسیل هوش مصنوعی هستند، اما این کار را بدون داشتن استراتژی مشخص برای استفاده ایمن انجام می‌دهند. یافته‌های این گزارش نشان می‌دهد:
- ۳۸٪ از سازمان‌ها هنوز مالکیت و مسئولیت‌پذیری مشخصی برای نظارت بر هوش مصنوعی تعریف نکرده‌اند.
- ۴۲٪ از شرکت‌ها اعلام کرده‌اند که چالش اصلی آن‌ها در نظارت بر هوش مصنوعی، تقسیم مسئولیت بین تیم‌های مختلف است.
این پراکندگی وظایف بین بخش‌های مهندسی نرم‌افزار، مدیریت زیرساخت، توسعه وب و امنیت اطلاعات، نظارت دقیق بر عملکرد عامل‌های هوش مصنوعی را دشوار کرده است.
مدیریت توهمات و ریسک‌های عملیاتی
تیم‌های فناوری اطلاعات و امنیت با پیامدهای ناخواسته استقرار سریع ابزارهای هوش مصنوعی دست‌وپنجه نرم می‌کنند. برای مثال، در حالی که ۸۵٪ از پاسخ‌دهندگان، داشتن دید (Visibility) نسبت به توهمات هوش مصنوعی را حیاتی می‌دانند، تنها ۵۸٪ اعلام کرده‌اند که سازمان آن‌ها می‌تواند به‌طور مؤثر این توهمات را رصد کند.
عدم توانایی در شناسایی زمانی که یک عامل هوش مصنوعی دچار خطا شده یا بر اساس یک خطای محاسباتی اقدام می‌کند، می‌تواند پیامدهای جبران‌ناپذیری داشته باشد. یک مهاجم مخرب می‌تواند از این ضعف برای فریب دادن عامل هوش مصنوعی و استخراج اطلاعات حساس (Sensitive Information) استفاده کند.
ضرورت تلاقی امنیت و قابلیت مشاهده (Observability)
با توجه به سرعت بالای فعالیت عامل‌های هوش مصنوعی، مدیریت آن‌ها نیازمند بازنگری در مفاهیم سنتی امنیت و Observability است. گزارش تأکید می‌کند که داده‌های امنیتی و داده‌های مربوط به قابلیت مشاهده در حال همگرا شدن هستند. برای استقرار قابل اعتماد عامل‌ها در مقیاس بزرگ، سازمان‌ها به پلتفرم‌های داده مشترکی نیاز دارند که امکان شناسایی و پاسخگویی به مسائل را به‌صورت Real-time فراهم کنند.
پارادوکس کارایی در عصر هوش مصنوعی
اگرچه ۸۶٪ از شرکت‌ها معتقدند هوش مصنوعی سرعت شناسایی مشکلات IT و امنیتی را بهبود بخشیده است، اما ۱۴٪ از پاسخ‌دهندگان نظر متفاوتی دارند. این گروه معتقدند استقرار عامل‌های هوش مصنوعی، شناسایی و رفع مشکلات را دشوارتر کرده است؛ زیرا زمان بیشتری صرف بازبینی و تأیید صحت خروجی‌های عامل‌ها می‌شود.
