آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۲/۱۰

تلاش OpenAI برای جلوگیری از «فروپاشی مدل» با اخراج پیمانکاران استفاده‌کننده از AI

تلاش OpenAI برای جلوگیری از «فروپاشی مدل» با اخراج پیمانکاران استفاده‌کننده از AI

در یک اتفاق متناقض، شرکت OpenAI پیمانکارانی را که برای بهبود پاسخ‌های ChatGPT استخدام شده بودند، به دلیل استفاده از ابزارهای هوش مصنوعی در فرآیند آموزش، اخراج کرده است.

جایگزینی انسان با ماشین در فرآیند RLHF

شرکت OpenAI برای ارتقای کیفیت پاسخ‌های مدل‌های خود، پیمانکارانی را به خدمت می‌گیرد تا Promptهای کاربران را بررسی کرده و با ارائه بازخوردهای انسانی، به بهبود مدل کمک کنند. با این حال، گزارش‌ها حاکی از آن است که بسیاری از این افراد برای تسریع در کار یا کاهش تلاش، از خودِ ابزارهای AI برای تولید بازخوردها استفاده می‌کردند؛ اقدامی که عملاً نقش «دخالت انسانی» را حذف می‌کند.

هشدار جدی درباره Model Collapse

طبق قراردادهای کاری این پیمانکاران، استفاده از هرگونه ابزار تشخیص AI یا حتی ابزارهای کمکی مانند Grammarly و مترجم‌های AI اکیداً ممنوع بود. دلیل این سخت‌گیری، ترس OpenAI از پدیده‌ای به نام Model Collapse (فروپاشی مدل) است.

فروپاشی مدل زمانی رخ می‌دهد که یک مدل هوش مصنوعی با داده‌هایی آموزش ببیند که توسط نسل‌های قبلی AI تولید شده‌اند. این وضعیت که به نوعی «هم‌خونی دیجیتال» تشبیه شده است، منجر به کاهش کیفیت، افزایش خطاها و در نهایت افت عملکرد مدل نسبت به نسخه‌های پیشین می‌شود.

گستردگی پدیده

یکی از پیمانکاران سابق در گفتگو با رسانه‌ها تایید کرده است که این رویه در میان هزاران نفر از ارزیابان بسیار رایج بوده و هر کسی که متوجه استفاده او از AI می‌شدند، بلافاصله اخراج می‌شد. OpenAI تاکنون از اظهارنظر رسمی درباره تعداد دقیق افراد اخراج شده یا میزان نفوذ داده‌های AI در مدل‌های خود خودداری کرده است.