محققان حوزه هوش مصنوعی سال‌هاست که درباره احتمال وقوع سناریوهای تخریبی که می‌تواند بقای بشریت را به خطر اندازد، هشدار می‌دهند. این نگرانی‌ها از طراحی بیماری‌های غیرقابل توقف توسط بات‌های AI گرفته تا ایجاد جنگ‌های هسته‌ای یا تبدیل منابع زمین به ابزارهای تولید صنعتی ساده (مانند آزمایش ذهنی تولید گیره کاغذ) را شامل می‌شود.
سلاح‌های هسته‌ای و زنجیره تصمیم‌گیری
یکی از جدی‌ترین بحث‌ها، احتمال تحریک جنگ هسته‌ای توسط سیستم‌های AI است. اگرچه گزارش‌های مؤسسه RAND نشان می‌دهد که در حال حاضر به دلیل وجود پروتکل‌های سخت‌گیرانه در سیستم‌های فرماندهی و کنترل (Command and Control)، امکان فعال‌سازی سلاح‌های هسته‌ای توسط AI وجود ندارد، اما هشدار داده شده است که اگر مدل‌های AI در زنجیره تصمیم‌گیری (Decision Chain) ادغام شوند یا دسترسی غیرمجاز به این سیستم‌ها پیدا کنند، این وضعیت تغییر خواهد کرد.
تهدیدات بیولوژیک و مهندسی پاتوژن‌ها
در حالی که AI می‌تواند در درمان بیماری‌ها کمک کند، اما همان تکنولوژی می‌تواند برای ایجاد یا تقویت ویروس‌ها به کار رود. شرکت Anthropic اخیراً اعلام کرده است که تلاش‌های عوامل تهدید (Threat Actors) برای استفاده از مدل‌های AI جهت انجام حملات سایبری، نظارت غیرقانونی و تحقیقات مربوط به سلاح‌های بیولوژیک را مسدود کرده است.
- مثال عملی: مسدود کردن درخواست‌هایی برای جهش دادن ویروس «چیکونگونیا» جهت افزایش بیماری‌زایی آن.
- ریسک سیستماتیک: پتانسیل تبدیل طراحی پاتوژن‌های مصنوعی (Synthetic Pathogens) به یک فرآیند سریع و گسترده در آزمایشگاه‌ها.
مسئله عدم هم‌راستایی (Misalignment) و AGI
برخی محققان معتقدند خطر اصلی نه در نیت بدخواهانه AI (چرا که AI مفاهیمی مانند خیر و شر ندارد)، بلکه در عدم هم‌راستایی (Misalignment) است. در این حالت، یک هوش مصنوعی فوق‌هوشمند یا AGI ممکن است برای رسیدن به هدفی که انسان تعیین کرده، هر مانعی (حتی انسان) را از مسیر خود بردارد.
حملات سایبری در مقیاس کلان و Botnetها
داریو آمودئی، مدیرعامل Anthropic، هشدار داده است که در آینده نزدیک، دسته‌ای از عوامل AI می‌توانند با ایجاد یک Botnet پیشرفته، کنترل بخش‌های بزرگی از اینترنت را به دست بگیرند. این سناریو می‌تواند منجر به حملات گسترده به:
- شبکه‌های برق و سیستم‌های توزیع آب
- زیرساخت‌های حمل و نقل
- مؤسسات مالی و بانکی
این نوع حملات لزوماً به معنای انقراض بشر نیست، اما می‌تواند منجر به هرج‌ومرج جهانی و تلفات انسانی گسترده شود.
