آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۳/۱۰

استعفای متخصص ایمنی OpenAI و هشدار درباره فرهنگ توسعه شتاب‌زده هوش مصنوعی

استعفای متخصص ایمنی OpenAI و هشدار درباره فرهنگ توسعه شتاب‌زده هوش مصنوعی

دیوید رابینسون (David Robinson)، یکی از باسابقه ترین کارشناسان حوزه ایمنی در OpenAI، با انتشار بیانیه‌ای از این شرکت استعفا داد. وی هشدار داد که فرهنگ سازمانی و مدل توسعه سریع هوش مصنوعی در این شرکت می‌تواند منجر به ریسک‌های جبران‌ناپذیری شود.

نقد رویکرد «توسعه تکرارپذیر» (Iterative Deployment)

رابینسون که مسئولیت تدوین گزارش‌های ایمنی در زمان عرضه محصولات اصلی OpenAI را بر عهده داشت، معتقد است رویکرد فعلی شرکت بر پایه آزمون و خطا است. این مدل که شرکت آن را «توسعه تکرارپذیر» می‌نامد، شامل عرضه سیستم‌ها، شناسایی مشکلات و سپس افزودن تدابیر حفاظتی است. وی استدلال می‌کند که با افزایش قدرت سیستم‌های AI، این روش ناگزیر به شکست‌های جدی‌تر منجر خواهد شد.

شکاف در تخصص‌های حیاتی و مدیریت ریسک

وی در تحلیل خود، آزمایشگاه‌های پیشرو AI را با نیروگاه‌های هسته‌ای یا فرودگاه‌های بزرگ مقایسه کرده و تأکید می‌کند که این مراکز باید دارای سیستم‌های جایگزین (Redundancy) و برنامه‌ریزی‌های دقیق زمانی باشند تا یک خطای انسانی منجر به فاجعه نشود. رابینسون اشاره کرد که در طول مدت فعالیتش در OpenAI، هرگز با افرادی که تجربه عملی در مدیریت ایمنی صنایع حساس (مانند رآکتورهای هسته‌ای یا سیستم‌های مالی جهانی) داشته باشند، همکاری نکرده است.

چالش‌های هم‌ترازی (Alignment) و نظارت

از دیدگاه این کارشناس، روش‌های فعلی برای بررسی اینکه آیا سیستم‌های AI از ارزش‌های انسانی پیروی می‌کنند یا خیر، بسیار ابتدایی هستند. وی هشدار داد که صنعت هوش مصنوعی هنوز روش دقیقی برای اندازه‌گیری هم‌ترازی (Alignment) ندارد و اگر سرعت پیشرفت مدل‌ها از توانایی ما در کنترل و اندازه‌گیری رفتار آن‌ها پیشی بگیرد، ریسک‌های امنیتی به شدت افزایش می‌یابد.

پاسخ OpenAI

سخنگوی OpenAI در پاسخ به این انتقادات اعلام کرد که شرکت در حال بهبود امنیت در محیط‌های پژوهشی، آموزش مدل‌ها برای رفتار مسئولانه، افزایش تست‌های خارجی و استفاده از سیستم‌های نظارتی Real-time برای شناسایی سریع‌تر رفتارهای مضر است. با این حال، رابینسون این اقدامات را همچنان بخشی از همان چرخه «شناسایی مشکل پس از وقوع» می‌داند.