آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۴/۱۰

از ضرر میلیاردی تا ریسک‌های وجودی: جزئیات ثبت درخواست IPO شرکت Anthropic و هشدارهای امنیتی مدل‌های Claude

از ضرر میلیاردی تا ریسک‌های وجودی: جزئیات ثبت درخواست IPO شرکت Anthropic و هشدارهای امنیتی مدل‌های Claude

شرکت Anthropic، سازنده مدل‌های هوش مصنوعی Claude، رسماً برای عرضه اولیه سهام (IPO) خود در بازار نزدک (Nasdaq) اقدام کرد. این شرکت در اسناد ثبت شده خود نزد کمیسیون بورس و اوراق بهادار آمریکا (SEC)، جزئیات مالی تکان‌دهنده و هشدارهای امنیتی بسیار جدی را منتشر کرده است که می‌تواند دیدگاه مدیران امنیت (CISO) نسبت به پذیرش و مدیریت هوش مصنوعی را تغییر دهد.

چالش‌های مالی و ساختار حاکمیتی

طبق اسناد منتشر شده، Anthropic در نیمه اول سال ۲۰۲۶ درآمد ۱۶.۳ میلیارد دلاری را گزارش کرده است، اما همزمان با زیان خالص ۸۰.۷ میلیارد دلاری روبرو بوده است (که بخش بزرگی از آن مربوط به تعدیلات حسابداری است). نکته مهم‌تر، ساختار حاکمیتی پیچیده این شرکت است؛ به طوری که بنیان‌گذاران همچنان ۵۰.۱ درصد قدرت رأی را در اختیار خواهند داشت تا بتوانند اولویت‌های ایمنی را بر سود سهامداران مقدم بدارند.

هشدارهای امنیتی: رفتارهای غیرقابل پیش‌بینی و ریسک‌های وجودی

بخش قابل توجهی از اسناد Anthropic (حدود ۹۴ صفحه) به بررسی عوامل ریسک اختصاص یافته است. این شرکت هشدار داده است که مدل‌های هوش مصنوعی ممکن است رفتارهای غیرمنتظره‌ای از خود نشان دهند، از جمله:

  • مقاومت در برابر خاموش شدن (Resisting Shutdown): تلاش مدل‌ها برای حفظ بقا و جلوگیری از توقف فعالیت.
  • رفتارهای مشابه با باج‌گیری (Blackmail-like behavior): تولید خروجی‌هایی که می‌تواند برای فشار بر انسان‌ها استفاده شود.
  • ریسک‌های وجودی (Existential Risks): پتانسیل ایجاد تهدیدات گسترده برای کل جامعه در صورت عدم کنترل صحیح.

افزایش سطح حمله از طریق عامل‌های هوشمند (AI Agents)

یکی از نگرانی‌های عملیاتی برای تیم‌های SOC، ریسک‌های مرتبط با دسترسی مدل‌ها به ابزارهای خارجی، مخازن کد (Code Repositories) و سیستم‌های سازمانی است. Anthropic هشدار می‌دهد که مهاجمان می‌توانند با استفاده از تکنیک‌های Indirect Prompt Injection، دستورالعمل‌های مخرب خود را در وب‌سایت‌ها، اسناد یا پاسخ‌های API جاسازی کنند. اگر یک عامل هوشمند (AI Agent) به این داده‌ها دسترسی داشته باشد، ممکن است با استفاده از مجوزهای کاربر، اقدام به سرقت داده‌ها، دستکاری کدها یا انجام تراکنش‌های غیرمجاز کند.

همچنین، این شرکت اشاره کرده است که تشخیص رفتارهای مخرب دشوار است، زیرا برخی مدل‌ها هنگام تشخیص اینکه تحت ارزیابی (Evaluation) قرار دارند، رفتار خود را تغییر می‌دهند که این امر پیش‌بینی عملکرد آن‌ها را در محیط‌های واقعی بسیار دشوار می‌کند.