شیدهوش
فصل ۵ · درس ۷ از ۹

۷. نشت داده از هوش مصنوعی و سه لایهٔ دفاع

مدل‌های هوش مصنوعی گاهی چیزهایی را که در آموزش دیده‌اند عیناً پس می‌دهند — و این می‌تواند دادهٔ خصوصی یا اثری دارای حق نشر باشد. نیمهٔ دوم این درس می‌گوید با همهٔ این حمله‌ها چه کنیم: دو سنجه برای اندازه گرفتن امنیت، و دفاع در سه سطح مدل، پرامپت و سیستم.

زمان مطالعه: ۳۰ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۵، بخش‌های Information Extraction و Defenses Against Prompt Attacks — صفحهٔ ۴۷۷

نشت داده‌ی آموزشی و پرامپت از مدل هوش مصنوعی، و سه لایه‌ی دفاع در برابر تزریق پرامپت: پرامپت، مدل و سیستم.

استخراج اطلاعات

مدل زبانی (Language Model) دقیقاً به این دلیل مفید است که حجم عظیمی از دانش را در خودش دارد و کاربر می‌تواند با گفت‌وگو به آن برسد. ولی همین کاربرد مشروع را می‌شود برای این‌ها سوءاستفاده کرد:

  • دزدی داده: بیرون کشیدن دادهٔ آموزشی (Training Data) برای ساختن مدل رقیب. فکرش را بکنید: میلیون‌ها دلار و ماه‌ها یا سال‌ها خرج جمع کردن داده کنید و رقیبتان آن را بیرون بکشد.
  • نقض حریم خصوصی: بیرون کشیدن اطلاعات خصوصی، هم از دادهٔ آموزشی و هم از زمینه‌ای که به مدل داده‌اید. خیلی از مدل‌ها روی دادهٔ خصوصی آموزش دیده‌اند؛ مثلاً مدل تکمیل خودکار Gmail روی ایمیل‌های کاربران آموزش دیده (Chen و همکاران، ۲۰۱۹).
  • نقض حق نشر: اگر مدل روی دادهٔ دارای حق نشر آموزش دیده باشد، مهاجم می‌تواند آن را وادارد همان محتوا را پس بدهد.

شاخهٔ پژوهشی کوچکی به اسم کاوش واقعیت‌ها (factual probing) می‌خواهد بفهمد مدل چه می‌داند. آزمون LAMALanguage Model Analysisتحلیل مدل زبانی — آزمون Meta برای کاویدن دانش رابطه‌ای مدل با جمله‌های جای‌خالی‌دار. (Language Model Analysis — تحلیل مدل زبانی) که آزمایشگاه هوش مصنوعی Meta در ۲۰۱۹ معرفی کرد (Petroni و همکاران)، دانش رابطه‌ای را در دادهٔ آموزشی می‌کاود: جمله‌هایی به شکل «X [رابطه] Y»، مثل «X در Y به دنیا آمد». این دانش را می‌شود با جمله‌های جای‌خالی‌دار بیرون کشید: «وینستون چرچیل شهروند _ است» ← مدلی که این را می‌داند باید بگوید «بریتانیا».

در حال بررسی دسترسی…

در این درس

  • استخراج اطلاعات
  • حق نشر
  • اول بدانید در برابر چه آسیب‌پذیرید
  • دو سنجه
  • دفاع در سطح مدل
  • دفاع در سطح پرامپت
  • دفاع در سطح سیستم
  • جمع‌بندی فصل
  • خودآزمایی

اصطلاح‌های کلیدی این درس

LAMA — Language Model Analysis
تحلیل مدل زبانی: آزمون Meta برای کاویدن دانش رابطه‌ای مدل با جمله‌های جای‌خالی‌دار.
GAN — Generative Adversarial Network
شبکهٔ مولد تخاصمی: دو شبکه که با هم رقابت می‌کنند: یکی می‌سازد، دیگری تقلبی را تشخیص می‌دهد.
PII — Personally Identifiable Information
اطلاعات هویتی قابل شناسایی: داده‌ای که فرد را شناسایی می‌کند: کد ملی، شماره تلفن، آدرس.
HELM — Holistic Evaluation of Language Models
ارزیابی جامع مدل‌های زبانی: مجموعه آزمون و جدول رتبه‌بندی دانشگاه استنفورد.

پرسش‌هایی که این درس جواب می‌دهد

  • حملهٔ «تکرار تا ابد» (Nasr و همکاران، ۲۰۲۳) چه نشان داد؟
  • دو سنجهٔ مقاومت در برابر حمله‌های پرامپت کدام‌اند؟
  • چهار سطح «سلسله‌مراتب دستورها»ی OpenAI به ترتیب اولویت کدام‌اند؟
  • پاسخ خوب به یک «درخواست مرزی» چه شکلی است؟
  • دو ترفند دفاع در سطح پرامپت کدام‌اند؟
  • چند دفاع در سطح سیستم نام ببرید.
  • تشخیص ناهنجاری در دفاع سطح سیستم چه می‌کند؟
  • چرا امنیت پرامپت را بازی موش و گربه می‌نامند؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com