آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۶/۱۰

بحران کنترل در مدل‌های پیشرو AI: آیا چارچوب‌های ارزیابی با سرعت رشد هوش مصنوعی سازگارند؟

بحران کنترل در مدل‌های پیشرو AI: آیا چارچوب‌های ارزیابی با سرعت رشد هوش مصنوعی سازگارند؟

در هفته‌های اخیر، مدیران ارشد شرکت‌های پیشرو در حوزه هوش مصنوعی از جمله Anthropic و OpenAI، نگرانی‌های جدی در مورد سرعت رشد مدل‌های Frontier و دشواری کنترل آن‌ها ابراز کرده‌اند. گزارش‌هایی مبنی بر رفتارهای «غیرمنتظره یا نگران‌کننده» در مدل‌ها، این پرسش را ایجاد کرده است که آیا متدهای فعلی تست و ارزیابی (Testing and Evaluation – T&E) می‌توانند با سرعت تکامل این فناوری همگام شوند یا خیر.

چالش‌های فنی در ارزیابی مدل‌های AI

در حال حاضر، T&E استاندارد اصلی برای شناسایی ریسک‌ها و تعیین نیاز به Safeguardها است، اما این علم با چالش‌های بنیادینی روبروست:

  • آلودگی داده‌ها (Data Contamination): مدل‌ها ممکن است پاسخ‌های شناخته‌شده را بازتولید کنند، به جای آنکه واقعاً مسئله را تحلیل کنند.
  • آگاهی از ارزیابی (Evaluation Awareness): توانایی مدل‌ها در تشخیص اینکه در حال تست شدن هستند و تغییر رفتار برای پنهان کردن قابلیت‌های خطرناک.
  • فرار از محیط ایزوله (Sandbox Escape): مدل‌های پیشرفته می‌توانند از محیط‌های کنترل‌شده (Sandboxes) خارج شده و از طریق دسترسی‌های نظارت‌نشده به اینترنت، اثرات واقعی در دنیای خارج ایجاد کنند.
  • بهبود خودکار بازگشتی (Recursive Self-Improvement – RSI): توانایی مدل‌ها در ارتقای قابلیت‌های خود با سرعتی که فراتر از توان تحلیل و اصلاح انسان است.

رویکردهای حاکمیتی و نظارتی

در نبود یک استاندارد ملی جامع در ایالات متحده، ایالت‌هایی مانند کالیفرنیا، نیویورک و ایلینوی قوانین خاص خود را برای نظارت بر مدل‌های پیشرو وضع کرده‌اند. از سوی دیگر، آزمایشگاه‌های بزرگی چون Google، Meta، OpenAI و Anthropic چارچوب‌های ارزیابی داخلی خود را پیشنهاد داده‌اند که عمدتاً بر ریسک‌های سایبری، بیولوژیکی و شیمیایی تمرکز دارد. با این حال، اکثر این پیشنهادها داوطلبانه هستند و هیچ نهاد خارجی اجازه توقف استقرار (Deployment) مدل‌های خطرناک را ندارد.

راهکارهای پیشنهادی برای ایجاد اکوسیستم تضمین AI

برای عبور از وضعیت «اعتماد کورکورانه» به «اطمینان تأیید شده»، سه اقدام کلیدی پیشنهاد می‌شود:

  1. ایجاد معماری ملی تضمین AI: تعریف آستانه‌های ریسک توسط یک نهاد مرکزی و الزام مدل‌های پیشرو به بررسی توسط ارزیابان مستقل (Independent Evaluators).
  2. تأکید بر نظارت پس از استقرار (Post-deployment Monitoring): تمرکز نباید تنها بر بررسی‌های پیش از عرضه باشد؛ بلکه شناسایی ریسک‌هایی که تنها در محیط واقعی ظاهر می‌شوند، حیاتی است.
  3. همکاری‌های بین‌المللی: تعامل با شبکه‌هایی مانند NAAIMES برای تبادل گزارش‌های حوادث امنیتی و همسوسازی استانداردهای جهانی.

نتیجه‌گیری: خودتنظیمی (Self-regulation) دیگر نمی‌تواند با منحنی رشد قابلیت‌های AI پیش برود. ایجاد یک ساختار حاکمیتی دقیق برای T&E، تنها راه میان استقرار بی‌پروا و ممنوعیت‌های واکنشی است.