شیدهوش
فصل ۱۰ · درس ۲ از ۱۷

۲. نگهبان‌های ورودی و خروجی اپلیکیشن هوش مصنوعی

نگهبان‌ها (Guardrails) هر جا خطری هست می‌نشینند: پیش از رسیدن پرسش به مدل، و پیش از رسیدن پاسخ به کاربر. این درس دو خطر ورودی را می‌شکافد — نشت اطلاعات خصوصی به API بیرونی و پرامپت مخرب — بعد سراغ نگهبان خروجی می‌رود: خرابی را چطور بگیریم و با هر خرابی چه کنیم؛ و آخر سر، بهایی که نگهبان‌ها در تأخیر می‌گیرند.

زمان مطالعه: ۲۷ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۱۰، بخش Step 2. Put in Guardrails — صفحهٔ ۸۵۶

نگهبان‌های ورودی و خروجی (guardrails) اپلیکیشن هوش مصنوعی: اطلاعات شخصی، حمله، نشت و پاسخ خراب.

نگهبان ورودی: دو خطر

نگهبان‌های ورودی معمولاً از دو نوع خطر محافظت می‌کنند: نشت اطلاعات خصوصی به API های بیرونی، و اجرای پرامپت‌های بد که سیستم را به خطر می‌اندازند. دومی را در فصل ۵ مفصل دیدیم: حمله‌های پرامپت و دفاع‌ها. کتاب یادآوری می‌کند که خطر را می‌شود کم کرد، ولی هرگز کاملاً از بین نمی‌رود — هم به خاطر ذات احتمالاتی مدل‌ها و هم به خاطر خطای انسانی که اجتناب‌ناپذیر است.

نشت به API بیرونی

این خطر مخصوص وقتی است که از API مدل بیرونی استفاده می‌کنید و باید داده‌تان را از سازمان بیرون بفرستید. چند راه رایج نشت:

  • کارمندی راز شرکت یا اطلاعات خصوصی یک کاربر را در پرامپت کپی می‌کند و به API بیرونی می‌فرستد. (کتاب از کارمند سامسونگ یاد می‌کند که اطلاعات اختصاصی شرکت را در ChatGPT گذاشت و ناخواسته رازهای شرکت را لو داد.)
  • توسعه‌دهنده سیاست‌ها و داده‌های داخلی شرکت را در پرامپت سیستمی (System Prompt) اپلیکیشن می‌گذارد.
  • ابزاری اطلاعات خصوصی را از پایگاه دادهٔ داخلی بازیابی می‌کند و به زمینه اضافه می‌کند.

هیچ راه بی‌نقصی برای حذف نشت هنگام استفاده از API بیرونی نیست؛ ولی نگهبان‌ها خطر را کم می‌کنند. ابزارهای زیادی دادهٔ حساس را خودکار پیدا می‌کنند — و اینکه چه چیزی حساس است را خودتان تعیین می‌کنید. دسته‌های رایج:

  • اطلاعات شخصی (PIIPersonally Identifiable Informationاطلاعات هویتی قابل شناسایی): شمارهٔ ملی، شمارهٔ تلفن، حساب بانکی
  • چهرهٔ آدم‌ها
  • واژه‌ها و عبارت‌های خاص که به مالکیت فکری یا اطلاعات محرمانهٔ شرکت مربوط‌اند

در حال بررسی دسترسی…

در این درس

  • نگهبان ورودی: دو خطر
  • نشت به API بیرونی
  • نگهبان خروجی: بگیر، و بدان با آن چه کنی
  • تلاش دوباره، موازی، یا انسان
  • بهای نگهبان‌ها
  • خودآزمایی

اصطلاح‌های کلیدی این درس

PII — Personally Identifiable Information
اطلاعات هویتی قابل شناسایی: داده‌ای که فرد را شناسایی می‌کند: کد ملی، شماره تلفن، آدرس.

پرسش‌هایی که این درس جواب می‌دهد

  • دو خطر اصلی که نگهبان ورودی از آن محافظت می‌کند؟
  • نقشهٔ وارونهٔ PII؟
  • دو کار اصلی نگهبان خروجی؟
  • خرابی‌های کیفیت در برابر امنیت؟
  • چرا کنار شکست امنیتی، امتناع نابجا را هم بشماریم؟
  • تلاش دوباره پشت سر هم در برابر موازی؟
  • تلاش دوباره کِی کمکی نمی‌کند؟
  • دو مثال کتاب از سپردن گفت‌وگو به انسان؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com