شرکت Anthropic اعلام کرده است که مدل Claude به طور فعال در تقریباً تمامی مراحل توسعه نسخه‌های بعدی خود مشارکت دارد. اگرچه این فرآیند هنوز به طور کامل خودکار (Autonomous) نشده است، اما گزارش‌ها نشان می‌دهد که ایجنت‌های (Agents) با عملکرد بالا، بیش از ۹۰ درصد از حجم کاری در بخش تحقیق و توسعه (R&D) این شرکت را مدیریت یا رهبری می‌کنند و دخالت انسانی تنها در موارد معدود صورت می‌گیرد.
سنجش میزان اتوماسیون در توسعه AI
هدف Anthropic این است که سرعت پیشرفت هوش مصنوعی در آزمایشگاه‌های پیشرو را از طریق مانیتورینگ میزان مشارکت AI در R&D، کیفیت نظارت بر ایجنت‌ها و نحوه تخصیص منابع پردازشی (Compute) اندازه‌گیری کند. بر اساس چارچوب Epoch AI، سطح مشارکت مدل‌ها از «کمک‌کننده» تا «رهبر» و در نهایت «اتوماسیون کامل» دسته‌بندی شده است.
تفاوت در مدل‌های همکاری و رهبری
- مدل رهبری (Leading): در این سناریو، AI مسئولیت رفع نقص در یک خط لوله داده (Data Pipeline) را بر عهق می‌گیرد؛ لاگ‌ها را بررسی کرده، راهکار را تست می‌کند و پس از تایید نهایی، تغییرات را برای بازبینی مهندس آماده می‌کند.
- مدل همکاری (Collaborating): در این حالت، مهندس در تمام مراحل حضور دارد و AI تنها در تشخیص خطاها کمک کرده و در صورت بروز مشکل جدید، برای دریافت راهنمایی متوقف می‌شود.
تحلیل‌های Anthropic نشان می‌دهد که سهم مدل Claude در رهبری وظایف R&D از مقدار نزدیک به صفر در ابتدای سال، به ۲۶ درصد رسیده است. این مدل توانسته است ۱۵,۰۰۰ وظیفه جزئی در حوزه‌هایی نظیر آموزش مدل (Model Training) و یادگیری تقویتی (Reinforcement Learning) را شناسایی و مدیریت کند.
امنیت و نظارت بر ایجنت‌ها
در مورد ایمنی، Anthropic گزارش داده است که در ماه اوت، به ازای هر ۴۷,۰۰۰ تصمیم ایجنت‌ها، تنها یک اقدام خطرناک یا نادرست شناسایی شده که در لحظه مسدود شده است. همچنین، این شرکت از AI برای بررسی‌های پس‌رو (Retrospective) جهت شناسایی عدم همسویی مدل (Model Misalignment) استفاده می‌کند.
از نظر تخصیص منابع، داده‌ها نشان می‌دهد که در بخش‌های توسعه‌شده توسط AI، حدود ۱۲ درصد از توان پردازشی به اقدامات ایمنی (Safety Measures) اختصاص یافته است که این رقم دو برابر بیشتر از بخش‌های توسعه‌یافته توسط انسان (۶ درصد) است. این اقدامات شامل ممیزی «افکار» مدل و ارزیابی‌های پیش از استقرار (Deployment) می‌باشد.
