شرکت Outerlimit مستقر در نیویورک، با جذب سرمایه پیش‌بذری (Pre-seed) به مبلغ ۱۶ میلیون دلار، راهکاری را برای مقابله با رفتارهای پیش‌بینی‌نشده و مخرب در سیستم‌های هوش مصنوعی عامل‌محور (Agentic AI) معرفی کرده است.
چالش هم‌سویی در هوش مصنوعی عامل‌محور
سازمان‌ها به سرعت در حال پذیرش عوامل خودکار (Autonomous Agents) برای افزایش سرعت تصمیم‌گیری و اتوماسیون عملیات هستند. با قدرتمندتر شدن مدل‌های پایه، این عوامل برای اهداف پیچیده‌تری به کار گرفته می‌شوند و دسترسی گسترده‌ای به هویت‌های سازمانی و اعتبارنامه‌ها (Credentials) پیدا می‌کنند. با این حال، تعریف و محدود کردن اقدامات این عوامل (فرآیندی که به عنوان Alignment یا هم‌سویی شناخته می‌شود) به شدت دشوار است.
تغییر رویکرد از «ترس از پیامد» به «جلوگیری از آسیب»
در امنیت سایبری سنتی، کنترل رفتار انسان‌ها بر پایه قوانین و ترس از پیامدها (مانند جریمه یا اخراج) استوار است. اما عوامل هوش مصنوعی مفهومی از اخلاقیات یا ترس از پیامدها ندارند. کنترل این سیستم‌ها تنها از طریق دقت در کدنویسی داخلی و ایجاد نرده‌های حفاظتی (Guardrails) خارجی امکان‌پذیر است.
به گفته مدیران Outerlimit، در عصر جدیدی که عوامل از مدل‌های استدلالی (Reasoning Models) استفاده می‌کنند و با سرعت ماشین عمل می‌کنند، معماری امنیتی باید تغییر کند. امنیت باید از تمرکز بر پیامدها به سمت جلوگیری از آسیب (Prevention of Harm) حرکت کند.
معماری امنیتی Outerlimit
این شرکت از یک مدل سه‌گانه برای تامین امنیت استفاده می‌کند:
- کشف (Discover): شناسایی و مکان‌یابی عوامل در سیستم.
- مشاهده (Observe): رصد دقیق رفتار عوامل.
- اجرا (Enforce): اعمال سیاست‌های پیش‌تعریف‌شده برای اقدامات مجاز و غیرمجاز.
این رویکرد باعث می‌شود که مشکل هم‌سویی (Alignment Problem) کنار گذاشته شود؛ به این معنا که حتی اگر یک عامل دچار عدم هم‌سویی شود و سعی کند اقدامی خارج از سیاست‌های تعیین‌شده انجام دهد، لایه امنیتی Outerlimit به دلیل عملکرد در سرعت ماشین، پیش از وقوع آسیب، آن اقدام را مسدود می‌کند.
تأمین اعتماد در عصر هوش مصنوعی
هدف نهایی این فناوری، فراهم کردن بستری امن برای بهره‌برداری از قدرت کامل هوش مصنوعی در سازمان‌ها است. در دنیایی که هوش مصنوعی به یک کالای عمومی تبدیل می‌شود، اعتماد (Trust) به عامل تعیین‌کننده موفقیت سازمان‌ها در استقرار این سیستم‌ها تبدیل خواهد شد.
