چارچوب جدید حاکمیت هوش مصنوعی در چین، در مقایسه با دستورالعمل‌های مشابه در ایالات متحده، جزئیات عملیاتی بسیار بیشتری را در بر گرفته است. نسخه ۳.۰ از AI Safety Governance Framework که توسط کمیته فنی تحت نظارت اداره فضای سایبری چین منتشر شده، تمرکز خود را از کنترل مدل‌ها و اپلیکیشن‌ها به سمت کاهش ریسک‌های سیستم‌های هوش مصنوعی خودمختار (Autonomous AI) در محیط‌های واقعی تغییر داده است.
تمرکز بر ریسک‌های Agentic AI
این چارچوب شامل یک پیوست جامع برای مدیریت ریسک‌های مربوط به Agentها است. کارشناسان معتقدند در حالی که استانداردهایی مانند NIST AI Risk Management Framework در آمریکا بر حاکمیت مبتنی بر ریسک، شفافیت و نظارت انسانی تأکید دارند، سند چین یک چارچوب کنترلی بسیار دقیق و اختصاصی برای Agentها ارائه می‌دهد.
در این سند، چهار دسته اصلی از ریسک‌های AI Agent شناسایی شده است:
- سوءاستفاده از هویت و دسترسی (Identity and Permission): شامل سرقت اعتبارنامه (Credential Hijacking) و جعل هویت.
- انحراف از هدف یا قصد (Goal Deviation): تغییر مسیر اجرای عملیات در حین اجرا (Goal Hijacking).
- استفاده مخرب از ابزارهای قانونی: مسموم‌سازی ابزارها (Tool Poisoning) و ایجاد فشار بیش از حد بر منابع (Resource Overload).
- دست‌کاری حافظه: آلودگی حافظه (Memory Contamination) و نشت داده‌ها.
استراتژی‌های کنترلی و فنی
این چارچوب تأکید می‌کند که توسعه‌دهندگان باید پیش از استقرار، سناریوهای کاربردی، فرآیندهای تجاری و اقدامات ممنوعه را به‌طور دقیق تعریف کنند. برخی از الزامات فنی ذکر شده عبارتند از:
- ایزولاسیون: Agentها باید در محیط‌های ایزوله یا شبکه‌های قطعه‌بندی شده (Segmented Networks) فعالیت کنند.
- مدیریت دسترسی: هر Agent باید دارای یک هویت منحصر‌به‌فرد باشد و دسترسی‌ها باید بر اساس استراتژی Least Privilege و به‌صورت پویا گسترش یابند.
- نظارت انسانی (Human-in-the-loop): برای تصمیمات حیاتی مانند حذف فایل‌ها، انتقال داده‌ها و تغییرات در پیکربندی سیستم، تأیید انسانی الزامی است. در صورت عدم پاسخ کاربر یا نقص در سیستم تأیید، عملیات باید به‌طور پیش‌فرض رد (Deny) شود.
تحلیل نهایی
این رویکرد نشان‌دهنده گذار از سیاست‌های کلی به استانداردهای امنیتی داخلی است. ترکیب Runtime Isolation، نظارت رفتاری مستمر و قابلیت قرنطینه یا متوقف کردن فعالیت‌های غیرعادی در لحظه (Real-time)، محوریت این استراتژی است تا ریسک‌های پیش‌بینی نشده در سیستم‌های خودمختار مدیریت شوند.
