گزارش جدید شرکت EY نشان می‌دهد که سازمان‌ها در مسیر پذیرش سریع سیستم‌های هوش مصنوعی (AI) و به‌ویژه مدل‌های خودگردان، با چالشی جدی در زمینه نظارت و کنترل مواجه هستند. با وجود اینکه ۹۸٪ از سازمان‌های مورد بررسی دارای سیاست‌های رسمی حاکمیتی (Governance) هستند، اما در عمل، تطبیق این سیاست‌ها با سرعت پیشرفت تکنولوژی به‌شدت کند است.
چالش‌های حاکمیتی در عصر Agentic AI
پذیرش Agentic AI (هوش مصنوعی عامل‌محور) ابعاد جدیدی از ریسک را ایجاد کرده است. طبق این نظرسنجی، ۹۱٪ از مدیران ارشد اعلام کرده‌اند که سازمان آن‌ها در حال استفاده از این سیستم‌هاست، اما ۴۹٪ آن‌ها اذعان دارند که چارچوب‌های حاکمیتی فعلی‌شان هنوز برای مدیریت ریسک‌های خاص Agentic AI به‌روزرسانی نشده است.
- عدم نظارت انسانی: ۸۵٪ از سازمان‌ها تایید کرده‌اند که برخی از سیستم‌های AI آن‌ها اقدامات حیاتی را بدون دخالت لحظه‌ای انسان (Human-in-the-loop) اجرا می‌کنند.
- ناپدید شدن عامل‌های غیرمجاز: ۲۶٪ از سازمان‌ها قادر به شناسایی Agentهای غیرمجاز (Unauthorized AI Agents) نیستند که به‌صورت داخلی در شبکه فعال هستند.
- تجاهل از قوانین: ۴۷٪ از پاسخ‌دهندگان پذیرفته‌اند که در موارد استقرارهای فوری (Urgent Deployments)، فرآیندهای حاکمیتی AI را نادیده گرفته‌اند.
تاثیرات عملیاتی و ریسک‌های امنیتی
این شکاف میان سرعت اجرا و نظارت، منجر به خسارات ملموس شده است. حدود ۳۶٪ از سازمان‌ها تجربه حوادث یا شکست‌های AI داشته‌اند که منجر به Data Loss (از دست رفتن داده‌ها)، خسارات مالی، آسیب به برند و اختلال در عملیات شده است.
مدیران ارشد امنیتی بیشترین نگرانی خود را در موارد زیر ذکر کرده‌اند:
- حملات سایبری مبتنی بر AI توسط اشخاص ثالث (۸۱٪)
- عدم انطباق با مقررات نوظهور AI (۷۲٪)
- ناتوانی در ردیابی دقیق منشأ داده‌ها (Data Lineage) در مدل‌های تصمیم‌گیرنده (۷۲٪)
نقش بازبینی‌های اطمینان (Assurance Reviews)
برای پر کردن این شکاف، سازمان‌ها به بازبینی‌های رسمی ریسک و انطباق روی آورده‌اند. نتایج این بازبینی‌ها نشان می‌دهد که بسیاری از سیستم‌های AI پس از بررسی، نیاز به تغییرات اساسی داشته‌اند. رایج‌ترین مشکلاتی که در این بازبینی‌ها شناسایی شده‌اند عبارتند از:
- مشکلات کیفیت داده‌ها (۵۷٪)
- پدیده AI Model Drift یا تغییر رفتار مدل در طول زمان (۴۸٪)
- پدیده Shadow AI یا استفاده غیرمجاز از ابزارهای AI در سازمان (۳۹٪)
