آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۳/۱۰

مدیریت عامل‌های هوش مصنوعی در سازمان‌ها؛ چالش شناسایی و نظارت بر AI Agents

مدیریت عامل‌های هوش مصنوعی در سازمان‌ها؛ چالش شناسایی و نظارت بر AI Agents

شرکت Dataiku ابزار جدیدی تحت عنوان Agent Management را معرفی کرده است که هدف آن شناسایی تمامی عامل‌های هوش مصنوعی (AI Agents) فعال در یک سازمان است. این ابزار فارغ از اینکه عامل‌ها روی چه پلتفرمی ساخته شده‌اند، آن‌ها را شناسایی کرده و عملکرد فنی و تجاری‌شان را اندازه‌گیری می‌کند تا عامل‌هایی که بیشترین ریسک را ایجاد می‌کنند، شناسایی شوند.

شکاف میان سرعت پذیرش و قابلیت نظارت

در حال حاضر، سرعت ایجاد و به‌کارگیری عامل‌های هوش مصنوعی در سازمان‌ها بسیار بیشتر از توانایی آن‌ها برای مشاهده و مدیریت این سیستم‌هاست. در حالی که شرکت‌های بزرگ لیستی دقیق از نرم‌افزارهای مورد استفاده خود (شامل مالکیت، هزینه و زمان تمدید) دارند، وضعیت مشابهی برای AI Agents وجود ندارد. طبق تحقیقات IBM در گزارش “AI in Motion”، کمتر از ۲۰ درصد سازمان‌ها دارای فهرستی کامل و به‌روز از سیستم‌های هوش مصنوعی خود هستند.

دلیل این موضوع آن است که اکثر پلتفرم‌های مدیریت عامل‌ها، تنها می‌توانند عامل‌هایی را ببینند که روی زیرساخت خودشان ساخته شده‌اند. این امر باعث می‌شود بخش بزرگی از دارایی‌های هوش مصنوعی شرکت بدون مالکیت مشخص، هدف تعریف‌شده یا ارزیابی ریسک باقی بمانند.

یکپارچه‌سازی و شفافیت عملیاتی

ابزار Agent Management با اتصال به پلتفرم‌های رایج مانند AWS Bedrock، Google Vertex، Microsoft Copilot Studio، Azure Foundry، Salesforce Agentforce و Snowflake Cortex، تمامی این موارد را در یک فهرست واحد تجمیع می‌کند. همچنین با پشتیبانی از OpenTelemetry، امکان شناسایی محیط‌های سفارشی (Custom Environments) را فراهم می‌آورد.

این سیستم به‌طور خودکار ساختار هر عامل، مدل‌های مورد استفاده و ابزارهای وابسته به آن را شناسایی می‌کند تا مدیران دیدگاهی جامع از نحوه عملکرد واقعی هر عامل داشته باشند.

مدیریت ریسک و انطباق (Compliance)

برای عامل‌های با ریسک بالا (مانند مواردی که با داده‌های حساس، تراکنش‌های زنده یا مشتریان در تعامل هستند)، این ابزار قابلیت‌های زیر را ارائه می‌دهد:

  • ثبت وضعیت گواهینامه‌ها (Certification Status) و ریسک‌های شناسایی شده.
  • اجرای تست‌های دوره‌ای برای اطمینان از عملکرد صحیح.
  • ایجاد ردپای مستند (Evidence Trail) برای ارائه به حسابرس‌ها (Auditors) یا نهادهای نظارتی.

برخلاف ابزارهای نظارتی سنتی که محدود به اکوسیستم یک فروشنده خاص هستند، این راهکار به صورت Agnostic (مستقل از پلتفرم) طراحی شده است تا بتواند پاسخ دهد کدام عامل‌ها بدون نظارت هستند و تمرکز ریسک در کجای سازمان قرار دارد.