در حالی که بحث‌های سیاست‌گذاری در واشینگتن بر احتمال ظهور هوش مصنوعی فوق‌هوشمند (Superintelligence) و سناریوهای فرضی نابودی بشریت متمرکز شده است، یک خطر بسیار ملموس‌تر و فوری‌تر از چشم‌ها دور مانده است: سوگیری خودکارسازی (Automation Bias).
سوگیری خودکارسازی پدیده‌ای است که در آن انسان‌ها بیش از حد به خروجی‌های مدل‌های هوش مصنوعی اعتماد می‌کنند و فرآیندهای شناختی خود را به ماشین می‌سپارند، حتی زمانی که شواهد متناقضی در دسترس است. این موضوع می‌تواند منجر به تصمیمات استراتژیک و نظامی فاجعه‌بار شود.
یک نمونه واقعی از خطای عملیاتی
در یک حادثه اخیر، یک گزارش اطلاعاتی اشتباه مبنی بر حمل قطعات تسلیحات هسته‌ای توسط یک کشتی در خلیج عمان به سمت ایران منتشر شد. این گزارش ناشی از توهم (Hallucination) یک مدل هوش مصنوعی بود که داده‌ها را به اشتباه ترکیب کرده بود. مشکل اصلی این نبود که هوش مصنوعی اشتباه کرد، بلکه تحلیلگر و برنامه‌ریزان نظامی، خروجی مدل را بدون بررسی مجدد و تایید انسانی (Human-in-the-loop) پذیرفتند.
این حادثه یادآور خطاهای تاریخی مانند نقص در سیستم‌های موشکی Patriot در سال ۲۰۰۳ است که منجر به تلفات نیروهای خودی شد. تفاوت اصلی اینجاست که در گذشته، انسان‌ها توانایی تشخیص خطای ماشین را داشتند، اما امروزه با افزایش پیچیدگی مدل‌ها، تمایل به پذیرش بی‌چون و چرای خروجی‌های هوش مصنوعی در حال افزایش است.
راهکارهای مقابله با تهدید
برای کاهش این ریسک، دو اقدام اساسی ضروری است:
- ایجاد دستورالعمل‌های عملیاتی استاندارد (SOPs): هر محصول یا گزارش که از ابزارهای هوش مصنوعی مولد (Generative AI) استفاده کرده است، باید به طور شفاف اعلام کند. همچنین، تصمیمات با ریسک بالا باید حتماً از طریق تاییدیه انسانی و فراتر از خروجی مدل انجام شوند.
- آموزش‌های تخصصی: تحقیقات نشان می‌دهد افرادی که تجربه کمتری در کار با مدل‌های هوش مصنوعی دارند، بیشتر در دام سوگیری خودکارسازی می‌افتند. آموزش باید شامل مواجهه با موارد شکست مدل و نحوه بازبینی خروجی‌ها باشد.
حل چالش‌های هوش مصنوعی بیش از آنکه یک مسئله مهندسی باشد، یک مسئله مربوط به مدیریت سازمان‌ها و رفتار انسان‌هاست.
