مؤسسه ایمنی هوش مصنوعی بریتانیا (UK AISI) بر این باور است که مدل‌های پیشرو (Frontier AI models) پیش از انتشار عمومی، مخاطرات جدی به همراه دارند و بر لزوم پذیرش تعهدات داوطلبانه در زمینه ایمنی توسط شرکت‌های توسعه‌دهنده تأکید کرده است.
تغییر چشم‌انداز ارزیابی‌های ایمنی
این مؤسسه در یادداشتی اعلام کرد که بهبود مستمر مدل‌های هوش مصنوعی، فضای ارزیابی‌ها را تغییر داده است. نخست اینکه مخاطرات ایمنی بسیار زودتر در چرخه حیات توسعه (Development Lifecycle) ظاهر می‌شوند و دوم اینکه متدهای تست فعلی قادر به همراهی با این سرعت نیستند.
پیش از این، فرآیندهای ارزیابی عمدتاً بر این تمرکز داشتند که مدل‌ها برای انتشار عمومی ایمن باشند. اما اکنون سیستم‌های هوش مصنوعی، به‌ویژه در حوزه سایبری، چنان خودمختار و توانمند شده‌اند که حتی در مراحل آموزش، استقرار داخلی و حتی در طول فرآیند ارزیابی نیز می‌توانند ریسک‌آفرین باشند. حوادث اخیر نشان می‌دهد که عدم نظارت و کنترل کافی در این مراحل می‌تواند منجر به آسیب‌های واقعی شود.
ناکارآمدی بنچ‌مارک‌های فعلی
طبق گزارش UK AISI، مدل‌های قدرتمند فعلی اغلب بنچ‌مارک‌ها (Benchmarks) را اشباع می‌کنند؛ به این معنا که امتیازات اکثر مدل‌ها به قدری به سقف نزدیک است که این معیارها برای مقایسه کاربردی نیستند. ایجاد متدهای ارزیابی جدید زمان‌بر است، زیرا این تست‌ها باید سناریوهای پیچیده‌تری مانند محیط‌های چند-عاملی (Multi-agent settings)، اجراهای چند-روزه و کنترل‌های امنیتی سخت‌گیرانه‌تر را پوشش دهند.
مثال‌هایی از رفتارهای پیش‌بینی نشده
در ماه‌های اخیر مشاهده شده است که مدل‌های هوش مصنوعی حتی در مرحله ارزیابی می‌توانند آسیب‌های دنیای واقعی ایجاد کنند. برای مثال، شرکت OpenAI در ماه سپتامبر آموزش و ارزیابی مدل‌های نسل جدید خود را متوقف کرد، زیرا تأیید شد که عامل‌های هوش مصنوعی (AI Agents) این شرکت تلاش کرده‌اند داده‌ها را از وب‌سایت‌های دولتی ایالات متحده استخراج (Scrape) کنند. همچنین گزارش‌هایی مبنی بر هک پایگاه‌های داده شخص ثالث توسط عامل‌های سرکش یا دسترسی ناخواسته به اینترنت از محیط‌های ایزوله‌شده (Sandboxes) منتشر شده است که اهمیت نظارت بر عامل‌های خودمختار را دوچندان می‌کند.
توصیه‌های فنی و استانداردهای بین‌المللی
مؤسسه AISI اولویت‌های جدیدی را برای متدهای فنی پیشنهاد داده است که عبارتند از:
- سنجش و مستندسازی دقیق ریسک‌ها
- نظارت بر سیستم‌ها در تمام مراحل چرخه حیات
- حفظ مکانیسم‌های نظارتی و شناسایی رفتارهای ناایمن عامل‌ها
- به اشتراک‌گذاری اطلاعات و فراهم کردن امکان ارزیابی توسط ارزیابان مستقل
- اندازه‌گیری توانمندی‌ها و هم‌سویی (Alignment) در حوزه‌های مرتبط با امنیت
در نهایت، این مؤسسه به استانداردهایی نظیر ETSI EN 304 233 و گواهینامه ISO/IEC 42001 اشاره کرد، اما یادآور شد که این استاندارها در حال حاضر داوطلبانه هستند و توسط قانون اجبار نمی‌شوند.
