شرکت انویدیا (Nvidia) در همکاری با ۱۰۰ سازمان صنعتی، پژوهشی و بخش دولتی، ائتلافی را برای نظارت و کنترل رفتار عامل‌های هوش مصنوعی (AI Agents) در لایه‌های اپلیکیشن، زمان اجرا (Runtime) و زیرساخت تشکیل داده است.
توزیع مسئولیت در امنیت هوش مصنوعی
در این همکاری، سازمان‌های فعال در حوزه‌های هوش مصنوعی، امنیت سایبری، خدمات مالی، رباتیک و فناوری‌های سازمانی مشارکت دارند. رویکرد انویدیا بر این اصل استوار است که مسئولیت ایمنی عامل‌ها نباید تنها بر عهده یک شرکت باشد، بلکه باید بین توسعه‌دهندگان مدل‌ها، استقرارکنندگان عامل‌ها و ارائه‌دهندگان زیرساخت توزیع شود.
این اقدام در راستای روندی است که در ماه‌های اخیر توسط شرکت‌های دیگر نیز دنبال شده است؛ از جمله Project Glasswing شرکت Anthropic و برنامه Trusted Access for Cyber شرکت OpenAI. همچنین شرکت‌های امنیتی مانند Palo Alto Networks و CrowdStrike نیز ابتکارات مشابهی را برای تامین امنیت هوش مصنوعی پیش برده‌اند.
چارچوب OpenShell و کنترل‌های لایه‌ای
از آنجایی که آزمایشگاه‌های AI، سازمان‌ها و تامین‌کنندگان سخت‌افزار هر کدام بخش‌های متفاوتی از استک فناوری (Technology Stack) را کنترل می‌کنند، انویدیا ابزاری به نام OpenShell را معرفی کرده است. این نرم‌افزار متن‌باز (Open-source) یک چارچوب سیاست‌گذاری و زمان اجرا فراهم می‌کند که اجازه می‌دهد کنترل‌های امنیتی در هر لایه به طور مستقل اعمال شوند.
یکی از چالش‌های اصلی این است که هویت‌هایی که سازمان‌ها به عامل‌ها اختصاص می‌دهند، معمولاً دسترسی‌های گسترده‌تری نسبت به نیاز واقعی تسک دارند. این موضوع می‌تواند منجر به دسترسی غیرمجاز عامل به داده‌های حساس یا ترکیب منابع داده‌ای برای ایجاد خروجی‌های độc (Toxic) شود. OpenShell به سازمان‌ها اجازه می‌دهد تا بر هر اقدامی که یک عامل انجام می‌دهد، نظارت و تصمیم‌گیری کنند.
هدف نهایی این است که یک لایه اعتماد (Trust Layer) مستقل ایجاد شود تا حتی در صورت دور زدن کنترل‌های داخلی مدل یا اپلیکیشن، عامل نتواند از مرزهای تعیین شده فراتر رود.
نقش Nvidia Sentry در پایش و قرنطینه
در کنار OpenShell، ابزار Nvidia Sentry برای بازرسی درخواست‌ها و پاسخ‌ها، تایید هویت عامل و اعمال سیاست‌های دسترسی به داده‌ها، ابزارها و APIها طراحی شده است. Sentry قادر است در عرض چند میلی‌ثانیه، هر عاملی را که سعی در خروج از مرزهای نرم‌افزاری تعیین شده دارد، قرنطینه کند.
این معماری بر این باور است که امنیت نباید صرفاً بر اساس «وعده توسعه‌دهندگان برای خوب بودن» باشد، بلکه باید مانند مرورگرهای وب که کد صفحات را به طور پیش‌فرض مورد اعتماد قرار نمی‌دهند، یک لایه حفاظتی سخت‌گیرانه برای عامل‌های AI ایجاد شود.
حاکمیت بر اساس سطح دسترسی
مدیریت عامل‌هایی که تسک‌های ساده انجام می‌دهند با سیستم‌هایی که قادر به اجرای کد (Code Execution) یا تعامل مستقل با اپلیکیشن‌های سازمانی هستند، متفاوت است. انویدیا معتقد است توانایی بازرسی استدلال‌های یک عامل باید متناسب با سطح اختیارات واگذار شده به آن افزایش یابد. این رویکرد به سازمان‌ها کمک می‌کند تا در صورت بروز رفتارهای غیرعادی (Behavioral Drift)، بتوانند وقایع را بازسازی و فعالیت‌های مشکوک را بررسی کنند.
