سیستم‌های هوش مصنوعی (AI) به طور فزاینده‌ای توانمند و خودمختار می‌شوند و این امر پرسش‌های جدیدی را در مورد نحوه نظارت، کنترل و ایمن‌سازی آن‌ها ایجاد کرده است. سام آلتمن، مدیرعامل OpenAI، در سخنرانی خود در شورای امنیت سازمان ملل متحد هشدار داد که سرعت بالای توسعه AI می‌تواند ریسک‌های امنیتی قابل‌توجهی ایجاد کند، به‌ویژه اگر پیشرفت این سیستم‌ها سریع‌تر از توان واکنش نهادهای نظارتی باشد.
۱. از دست دادن کنترل انسانی بر AI پیشرفته
یکی از نگرانی‌های محوری آلتمن، احتمال از دست رفتن کنترل انسان بر سیستم‌های AI است که هر روز توانمندتر می‌شوند. او هشدار داد که AI ممکن است چنان سریع پیشرفت کند که انسان‌ها دیگر قادر به درک اقدامات سیستم یا مداخله در زمان‌های ضروری نباشند. وی استدلال کرد که توسعه‌دهندگان نباید سیستم‌هایی را آموزش دهند مگر اینکه بتوانند ثابت کنند این سیستم‌ها تحت کنترل انسان باقی می‌مانند.
۲. افزایش خودمختاری سیستم‌های AI
خودمختاری رو به رشد سیستم‌های AI چالش دیگری برای امنیت سایبری ایجاد می‌کند. آلتمن به احتمال «خودبهبودی بازگشتی» (Recursive Self-improvement) اشاره کرد؛ جایی که سیستم‌های AI قادر باشند خود و نسخه‌های آینده‌شان را بهبود ببخشند. این روند می‌تواند سرعت پیشرفت را شتاب داده و نظارت، تست و مداخله را برای تیم‌های امنیتی و سیاست‌گذاران دشوارتر کند.
۳. ظهور آسیب‌پذیری‌های جدید و تهدیدات ناشناخته
سیستم‌های AI توانمندتر می‌توانند آسیب‌پذیری‌ها (Vulnerabilities) و تهدیداتی را معرفی کنند که سازمان‌ها و دولت‌ها هنوز درک کاملی از آن‌ها ندارند. آلتمن خواستار ایجاد کانال‌های امن ارتباطی بین دولت‌ها، اپراتورهای زیرساخت‌های حیاتی (Critical Infrastructure) و متخصصان فنی برای اشتراک‌گذاری اطلاعات درباره تهدیدات نوظهور شد.
۴. تمرکز قدرت AI در دست تعداد محدودی از بازیگران
آلتمن نسبت به تمرکز قابلیت‌های پیشرفته AI در دست تعداد کمی از شرکت‌ها، افراد یا کشورها هشدار داد. از منظر امنیتی، کنترل متمرکز بر AIهای بسیار توانمند می‌تواند ریسک‌های سیستمیک ایجاد کند، به‌گونه‌ای که تعداد محدودی از عاملان دسترسی نامتناسبی به فناوری‌های قدرتمند داشته باشند.
۵. نیاز به گزارش‌دهی جهانی حوادث AI و اشتراک تهدیدات
وی خواستار گزارش‌دهی دقیق و سریع حوادث AI، شامل پروتکل‌های طبقه‌بندی و گزارش‌دهی شد تا کشورها بتوانند پیش از تبدیل شدن مشکلات کوچک به بحران‌های بزرگ، از شکست‌ها درس بگیرند. همچنین، وی بر لزوم ایجاد استانداردهای مشترک برای ارزیابی ریسک، تدابیر حفاظتی (Safeguards) و نظارت انسانی تأکید کرد.
۶. پیشی گرفتن سرعت توسعه AI از تدابیر ایمنی
سرعت توسعه AI خود می‌تواند یک چالش امنیتی باشد. آلتمن هشدار داد که رقابت بین شرکت‌ها نباید دلیلی برای پذیرش ریسک‌های تکنولوژیک بیش از حد باشد. او بر اهمیت هم‌سویی (Alignment)، نظارت و تضمین‌های ایمنی تأکید کرد تا تدابیر امنیتی هم‌گام با قدرت سیستم‌ها توسعه یابند، نه اینکه پس از بروز مشکلات اضافه شوند.
