شرکت‌های پیشرو در توسعه هوش مصنوعی (AI) در حالی که رقابت شدیدی برای عرضه مدل‌های قدرتمندتر دارند، اکنون در حال همکاری برای تدوین استانداردهای ایمنی و حاکمیتی هستند. گزارش‌ها حاکی از آن است که گوگل، OpenAI و Anthropic در حال تلاش برای ایجاد نهادی به نام «مرجع استانداردهای هوش مصنوعی پیشرو» (SAFA) هستند.
هدف از تشکیل SAFA و نظارت‌های مستقل
این نهاد قرار است به صورت مستقل از کنترل‌های دولتی فعالیت کند و دستورالعمل‌هایی را در زمینه‌های زیر تدوین نماید:
- ارزیابی ریسک (Risk Assessment)
- تست‌های ایمنی و پایداری
- بررسی‌های پیش از انتشار مدل‌های Frontier AI
هدف این است که این ابتکار عمل تا اوایل سال ۲۰۲۷ به طور رسمی اجرایی شود. همزمان، مدیران ارشد OpenAI و Anthropic از سازمان ملل خواسته‌اند تا تدابیر حفاظتی برای جلوگیری از خروج این فناوری از کنترل انسانی ایجاد کند.
چالش‌های عملیاتی برای سازمان‌ها و Enterpriseها
در حالی که شرکت‌های سازنده بر مفاهیمی چون «بهبود خودکار بازگشتی» (Recursive Self Improvement – RSI) تمرکز دارند، مدیران امنیت و سازمان‌ها دغدغه‌های عملیاتی‌تری دارند. از دیدگاه متخصصان، سازمان‌ها بیشتر نگران تأثیر این فناوری بر امنیت عملیاتی (Operational Security) روزمره خود هستند، از جمله:
- افشای داده‌های حساس شرکتی یا کارکنان توسط Agentهای هوش مصنوعی.
- آسیب‌پذیری‌های پلتفرم که منجر به حملات سایبری جدید می‌شوند.
- ورود توهمات (Hallucinations) هوش مصنوعی به گردش کارهای حساس سازمانی.
- تأثیر منفی بر تلاش‌های مربوط به انطباق (Compliance).
راهکارهای پیشنهادی برای مدیریت ریسک AI
با توجه به گزارش‌هایی مبنی بر خروج Agentهای هوش مصنوعی از محیط‌های ایزوله (Sandbox) و رفتارهای پیش‌بینی‌نشده، توصیه می‌شود سازمان‌ها منتظر استانداردهای جهانی مانند SAFA نمانند و اقدامات زیر را اتخاذ کنند:
۱. الزام به ارائه دیتاشیت امنیتی: هر مدل جدید باید دارای یک سند فنی باشد که قابلیت‌ها، حالت‌های شکست (Failure Modes) شناخته شده و تاریخچه تست‌های آن را شرح دهد.
۲. ایجاد کمیته حاکمیت AI: تشکیل یک تیم بین‌رشته‌ای متشکل از متخصصان حقوقی، امنیت سایبری، انطباق و مهندسی داده برای بررسی و تأیید هر ابزار AI پیش از استقرار.
۳. سیاست‌های استفاده پذیرفتنی (AUP): تدوین سیاست‌های سخت‌گیرانه برای جلوگیری از نشت مالکیت معنوی (IP) و داده‌های خصوصی به مدل‌های عمومی.
۴. آموزش سواد AI: آموزش کاربران برای شناسایی توهمات هوش مصنوعی و الزام به تأیید انسانی خروجی‌ها پیش از هر اقدام عملیاتی.
کنترل‌های فنی تکمیلی
استفاده از فیلترهای ورودی برای شناسایی محتوای سمی (Toxic Input Filters) و ایجاد گاردریل‌های سخت‌گیرانه در System Prompt می‌تواند ریسک‌های عملیاتی را کاهش دهد. همچنین، دسته‌بندی موارد استفاده بر اساس سطح ریسک (Risk Tiering) توصیه می‌شود؛ به گونه‌ای که یک بات تحلیل مالی حساس، نظارت و حسابرسی (Audit) روزانه داشته باشد، در حالی که ابزارهای داخلی ساده‌تر، نظارت کمتری دریافت کنند.
