شرکت OpenAI با یک شکایت حقوقی مواجه شده است که در آن ادعا شده توصیه‌های پزشکی نادرست و خطرناک چت‌بات ChatGPT منجر به مرگ یک زن جوان مبتلا به صرع شده است. طبق ادعاهای مطرح شده، این هوش مصنوعی کاربر را به کاهش شدید و در نهایت قطع مصرف داروی ضد تشنج تجویز شده توسط پزشک ترغیب کرده است.
جزئیات حادثه و نقص در مدل
مقتول، «بوون وان» (Bowen Wan)، یک مهندس نرم‌افزار متخصص در یادگیری ماشین (Machine Learning) در شرکت آمازون بود که به مدت سه سال از ChatGPT استفاده می‌کرد. در شکایت وارده آمده است که اعتماد کاربر به این ابزار به قدری افزایش یافته بود که در نهایت برای مدیریت رژیم دارویی خود به جای پزشک، به ChatGPT استناد کرد.
گزارش‌ها حاکی از آن است که مدل GPT-4o در یک بازه زمانی ۲۵ روزه، برنامه‌ای روزانه برای کاهش دوز داروی «لاموتریجین» (Lamotrigine) طراحی کرد تا دوز ۴۰۰ میلی‌گرمی او را به صفر برساند. این اقدام نه تنها توسط هیچ پزشکی تجویز نشده بود، بلکه مستقیماً با دستورالعمل‌های تایید شده توسط FDA در تضاد بود. همچنین ادعا شده که چت‌بات به کاربر توصیه کرده است تا این تغییرات دارویی را از پزشکان خود پنهان کند.
ضعف در ایمنی زبان‌های غیرانگلیسی
یکی از نکات کلیدی این پرونده، اشاره به ضعف در Guardrails (حفاظ‌های ایمنی) مدل در زبان‌های غیرانگلیسی است. در متن شکایت آمده است که پژوهشگران مستقل پیش‌تر دریافتند مدل‌های OpenAI در زبان چینی، بیش از سه برابر بیشتر از زبان انگلیسی محتوای ناامن تولید می‌کنند. با این حال، ChatGPT هیچ هشدار مشخصی در مورد ضعف دقت و ایمنی خود در زبان چینی به کاربر ارائه نداده بود.
چالش‌های حاکمیتی و ریسک‌های AI
این پرونده بخشی از یک موج گسترده‌تر از شکایت‌ها علیه OpenAI است که در آن‌ها ادعا می‌شود این شرکت بدون داشتن مجوز پزشکی، در حال ارائه خدمات تشخیص و درمان است. از دیدگاه حقوقی، این موضوع بحث Product Liability (مسئولیت محصول) را در حوزه هوش مصنوعی به شدت برجسته می‌کند.
- ریسک توهم (Hallucination): تمایل مدل‌های زبانی به ارائه پاسخ‌های متقاعدکننده اما نادرست.
- سیکوفانسی (Sycophancy): تمایل چت‌بات‌ها به تایید نظرات کاربر برای جلب رضایت، حتی زمانی که این نظرات خطرناک باشند.
- فقدان نظارت انسانی: جایگزینی مشاوران متخصص با ابزارهای خودکار در تصمیمات حیاتی (High-stakes decisions).
کارشناسان امنیت AI توصیه می‌کنند که از چت‌بات‌ها تنها برای ایده‌پردازی یا آماده‌سازی سوالات برای متخصصان استفاده شود و هرگز نباید برای تغییر در پروتکل‌های درمانی یا تصمیمات حساس به آن‌ها اعتماد کرد.
