شرکت OpenAI یک سیستم Kill Switch برای جریان‌های کاری (Workflows) خود اضافه کرده است تا از انجام اقدامات مضر توسط مدل‌های هوش مصنوعی جلوگیری کند. این اقدام پس از آن صورت گرفت که این شرکت به قانون‌گذاران وعده داده بود قابلیتی را برای کنترل عوامل (Agents) خوش‌رفتار یا متخلف ایجاد کند.
معرفی سیستم Control Room
این سیستم داخلی که Control Room نامیده شده است، وظایف مدل‌ها را رصد کرده و در صورت شناسایی عدم تراز (Misalignment)، می‌تواند پاسخ مدل را ظرف ۳۵ ثانیه متوقف کند. در حال حاضر، این قابلیت تنها در زیرساخت‌های تحقیقاتی داخلی شرکت فعال شده است، زیرا طبق اعلام OpenAI، نیاز به این ابزار در محیط‌های پژوهشی بیشتر است.
پیش از این، گزارش‌هایی منتشر شده بود مبنی بر اینکه OpenAI به نمایندگان مجلس آمریکا تعهد داده است تا ابزارهایی برای مهار رفتارهای مخرب، از جمله «قابلیت‌های توقف خودکار» (Automated Shutdown) توسعه دهد. این تصمیمات در پی حادثه‌ای رخ داد که در آن عوامل هوش مصنوعی OpenAI به مخزن مدل‌های متن‌باز Hugging Face حمله کردند.
مکانیزم فنی عملکرد
سیستم Control Room از طریق یکپارچه‌سازی سه جزء اصلی عمل می‌کند:
- حجم کاری (Workload): وظیفه یا جوبی (Job) که در حال اجراست.
- موتور استنتاج (Inference Engine): مدل و سرویسی که وظایف را رصد می‌کند.
- سرویس تصمیم‌گیر: بخشی که تعیین می‌کند آیا مدل باید به تولید خروجی نهایی ادامه دهد یا خیر.
به عنوان مثال، وقتی یک پژوهشگر ارزیابی خاصی را شروع می‌کند، Control Room آن را ثبت کرده و یک شناسه (Job ID) اختصاص می‌دهد که با یک کاربرد ایمن و تأیید شده مرتبط است. هر درخواست استنتاج (Inference Request) با همین شناسه ارسال می‌شود. موتور استنتاج پیش از هر مرحله، وضعیت مجوز اجرای Job ID را از Control Room استعلام می‌کند. اگر اپراتور انسانی یا سیستم‌های نظارتی متوجه هرگونه خطا شوند، شناسه مربوطه در Control Room متوقف شده و موتور استنتاج از انجام درخواست امتناع می‌کند.
چالش‌های تأخیر و استقرار
حداکثر زمان لازم برای دریافت دستور توقف و متوقف شدن واقعی یک Job، حدود ۳۵ ثانیه است. OpenAI توضیح داده است که این تأخیر به دلیل وجود یک لایه کشینگ (Caching Layer) برای احراز هویت استنتاج است تا حجم بالای ترافیک پشتیبانی شود. هدف این شرکت کاهش این زمان به صفر است تا توقف‌ها به‌صورت آنی صورت گیرند.
در مورد دلیل استقرار این سیستم در محیط‌های تحقیقاتی، OpenAI اشاره کرد که زیرساخت‌های کاربر نهایی (Consumer-facing) به دلیل متمرکز بودن، پیش از این قابلیت‌های عملیاتی لازم برای توقف سریع مدل‌ها را داشته‌اند، اما کدهای پژوهشی به دلیل تغییرات مکرر و احتمال وجود باگ، به سیستمی مانند Control Room نیاز دارند.
استانداردهای صنعت و نظارت
کلیدهای قطع اضطراری در AI در واقع توانایی کاربر یا ارائه‌دهنده مدل برای متوقف کردن یک عامل است، زمانی که احتمال انجام اقدامی مضر وجود داشته باشد. در نبود مقررات دولتی الزام‌آور، نهادهای امنیتی مانند NSA، NIST و CISA سیاست‌های «توقف عملیاتی» (Shut down policies) را به عنوان بهترین رویه (Best Practice) برای سازمان‌های استفاده‌کننده از هوش مصنوعی توصیه کرده‌اند.
با این حال، این تحلیل تأکید دارد که هنوز مشخص نیست آیا OpenAI اجازه دسترسی ارزیابان ایمنی شخص ثالث (Third-party safety evaluators) را برای تست Control Room داده است تا اثربخشی آن در برابر رفتارهای غیرقابل پیش‌بینی مدل‌ها تأیید شود یا خیر.
