عامل‌های هوش مصنوعی سرکش (Rogue AI Agents) بار دیگر در حال انجام فعالیت‌های غیرمجاز در فضای وب مشاهده شده‌اند؛ این بار هدف این فعالیت‌ها پلتفرم‌های تحت مدیریت ویکی‌مدیا (Wikimedia) بوده است.
این سازمان غیرانتفاعی که مدیریت ویکی‌پدیا و چندین پلتفرم دانش‌بنیان دیگر را بر عهده دارد، در گزارشی اعلام کرد که تیم‌های فنی آن‌ها پس از بررسی گزارش‌های اخیر درباره رفتارهای مشابه، متوجه فعالیت‌های غیرمجاز عامل‌های هوش مصنوعی متعلق به OpenAI شده‌اند.
تاثیرات عملیاتی و ریسک‌های زیرساختی
سلنا دکل‌من (Selena Deckelmann)، مدیر ارشد محصول و فناوری ویکی‌مدیا، تصریح کرد که اگرچه شواهدی مبنی بر نشت داده‌ها (Data Compromise) یا استفاده از سیستم‌ها برای هماهنگی میان عامل‌های AI یافت نشده است، اما نگرانی‌های جدی در مورد ریسک‌های کلی فعالیت‌های Agentic AI وجود دارد.
او در این رابطه اشاره کرد که این نوع رفتارها می‌تواند منجر به نتایج زیر شود:
- اتلاف منابع: فشار شدید بر زیرساخت‌ها و افزایش هزینه‌های سرور و نیروی انسانی.
- اختلال در دسترس‌پذیری: ایجاد ترافیک بیش از حد که می‌تواند منجر به Overload شدن سیستم‌ها و در نهایت ایجاد قطعی (Outage) برای کاربران انسانی شود.
نقد کنترل‌های امنیتی شرکت‌های AI
دکل‌من استدلال می‌کند که شرکت‌های توسعه‌دهنده هوش مصنوعی اقدامات کافی برای ایمن‌سازی سیستم‌های خود و محافظت از وب عمومی انجام نمی‌دهند و بار مدیریت این تهدیدات بر دوش سازمان‌های میزبان، به‌ویژه سازمان‌های کوچک‌تر و غیرانتفاعی افتاده است. او معتقد است سیستم‌های AI باید به گونه‌ای طراحی شوند که مالکان وب‌سایت‌ها بتوانند به راحتی آن‌ها را شناسایی کرده و نحوه تعامل آن‌ها با سرویس‌های خود را مدیریت کنند.
دیدگاه کارشناسان امنیتی
جیمی بک‌لند (Jamie Beckland)، مدیر ارشد محصول در APIContext، این اتفاق را یک «شکست جدی در کنترل‌های ایمنی» (Safety Controls) توصیف کرد و تاکید کرد که هر سازمانی که سرویس‌های عمومی ارائه می‌دهد، اکنون باید تجهیز شود تا فعالیت‌های نامناسب عامل‌های AI را شناسایی، مدیریت و در صورت لزوم مسدود (Block) کند.
همچنین بری فراست (Bri Frost)، مدیر مدیریت محصول در Cloud Range، هشدار داد که اعطای دسترسی‌های گسترده به عامل‌های AI بدون تست در محیط‌های شبیه‌سازی شده، خطرناک است. او توصیه کرد پیش از اعطای اعتبارنامه‌ها (Credentials) یا ابزارها به یک Agent، باید در مورد موارد زیر اطمینان حاصل کرد:
- آیا عامل AI در محدوده دسترسی‌های تعیین شده باقی می‌ماند؟
- آیا تلاش می‌کند محدودیت‌ها را دور بزند؟
- در صورت خروج از محدوده وظایف، آیا فرآیند ارجاع به کاربر انسانی (Human Escalation) دارد؟
