آخرین اخبار
همهٔ اخبار
امنیت هوش مصنوعی گزارش بحرانیت ۶/۱۰

چالش‌های حاکمیت داده در سیستم‌های AI: آیا دسترسی‌های هوش مصنوعی باید مشابه کارکنان باشد؟

چالش‌های حاکمیت داده در سیستم‌های AI: آیا دسترسی‌های هوش مصنوعی باید مشابه کارکنان باشد؟

برای بهره‌برداری حداکثری از سیستم‌های هوش مصنوعی مولد (Generative AI) و عامل‌محور (Agentic AI)، سازمان‌ها دسترسی‌های گسترده‌ای به داده‌های تجاری خود می‌دهند. با این حال، این فرآیند صرفاً باز کردن دریچه‌های داده نیست، بلکه پرسش‌های حیاتی در مورد حاکمیت داده (Data Governance) را ایجاد می‌کند که مدیران فناوری اطلاعات (CIOs) باید به آن‌ها پاسخ دهند.

شکاف در کنترل‌های دسترسی (Access Control Gap)

یک چالش اساسی این است که اگر کارمندی اجازه دسترسی به یک سند خاص را ندارد، آیا باید بتواند محتوای آن را از طریق یک ابزار AI استخراج کند؟ کنترل‌های دسترسی سنتی بر نحوه دسترسی کاربران به اطلاعات در مکان اصلی آن‌ها نظارت دارند، اما سیستم‌های AI می‌توانند اطلاعات را از منابع مختلف جمع‌آوری کرده و در Data Lakes یا Vector Databases ذخیره کنند.

این موضوع می‌تواند منجر به ایجاد شکافی بین مجوزهای اعمال شده روی داده‌های منبع و اطلاعاتی شود که سیستم AI در پاسخ به پرسش کاربر بازیابی می‌کند. برای مثال، داده‌های حساس مربوط به حقوق و دستمزد، پرونده‌های HR یا مالکیت معنوی (IP) ممکن است بدون رعایت قوانین دسترسی اولیه، وارد پایگاه داده برداری شوند و در نتیجه، هر کاربری بتواند با یک پرسش ساده، به اطلاعات محرمانه دست یابد.

نقش RAG در نشت اطلاعات

بسیاری از سازمان‌ها برای به‌روزرسانی دانش مدل‌های زبانی (LLMs) بدون نیاز به بازآموزی (Retraining)، از تکنیک Retrieval-Augmented Generation (RAG) استفاده می‌کنند. در این روش، داده‌های سازمانی به نمایش‌های عددی تبدیل شده و در یک Vector Database ذخیره می‌شوند.

مشکل اینجاست که سیستم AI لزوماً «نمی‌داند» چه کسی مجاز به دیدن چه داده‌ای است؛ او صرفاً محتوای مرتبط با پرسش را از پایگاه داده بازیابی می‌کند. اگر نگاشت مجوزها (Permission Mapping) در هر مرحله از ingest، index و generation به‌درستی انجام نشود، ابزار AI به یک مسیر میان‌بر برای دور زدن کنترل‌های امنیتی سازمان تبدیل می‌شود.

مسئولیت قانونی و دقت پاسخ‌ها

علاوه بر مسائل امنیتی، دقت پاسخ‌های AI نیز حاکمیت داده را تحت تأثیر قرار می‌دهد. برای نمونه، دادگاهی در کانادا شرکت Air Canada را مسئول دانست زیرا چت‌بات وب‌سایت این شرکت، اطلاعات نادرستی درباره تخفیف‌های خاص به یک مسافر ارائه داده بود. این نشان می‌دهد که سازمان‌ها در برابر اقدامات ابزارهای AI خود مسئول هستند و باید سیاست‌های داخلی دقیقی برای صحت داده‌ها تدوین کنند.

راهکارهای پیشنهادی برای مدیران امنیت و فناوری

  • سیاست‌های سخت‌گیرانه در منبع: تعیین قوانین دسترسی پیش از کپی شدن اطلاعات در Data Lake.
  • سیاهه داده‌های دقیق (Data Inventory): شناسایی دقیق فایل‌ها و اشیاء موجود در سیستم‌های منبع برای انتخاب داده‌های مرتبط با Use Case خاص.
  • حذف داده‌های زائد: پاک‌سازی اطلاعات قدیمی یا نامرتبط پیش از ورود به خط لوله (Pipeline) هوش مصنوعی.
  • ثبت وقایع (Logging): ایجاد سوابق دقیق از جابجایی داده‌ها برای تحلیل ریشه (Root Cause Analysis) در صورت بروز نشت اطلاعات.