۲. نگهبانهای ورودی و خروجی اپلیکیشن هوش مصنوعی
نگهبانها (Guardrails) هر جا خطری هست مینشینند: پیش از رسیدن پرسش به مدل، و پیش از رسیدن پاسخ به کاربر. این درس دو خطر ورودی را میشکافد — نشت اطلاعات خصوصی به API بیرونی و پرامپت مخرب — بعد سراغ نگهبان خروجی میرود: خرابی را چطور بگیریم و با هر خرابی چه کنیم؛ و آخر سر، بهایی که نگهبانها در تأخیر میگیرند.
نگهبانهای ورودی و خروجی (guardrails) اپلیکیشن هوش مصنوعی: اطلاعات شخصی، حمله، نشت و پاسخ خراب.
نگهبان ورودی: دو خطر
نگهبانهای ورودی معمولاً از دو نوع خطر محافظت میکنند: نشت اطلاعات خصوصی به API های بیرونی، و اجرای پرامپتهای بد که سیستم را به خطر میاندازند. دومی را در فصل ۵ مفصل دیدیم: حملههای پرامپت و دفاعها. کتاب یادآوری میکند که خطر را میشود کم کرد، ولی هرگز کاملاً از بین نمیرود — هم به خاطر ذات احتمالاتی مدلها و هم به خاطر خطای انسانی که اجتنابناپذیر است.
نشت به API بیرونی
این خطر مخصوص وقتی است که از API مدل بیرونی استفاده میکنید و باید دادهتان را از سازمان بیرون بفرستید. چند راه رایج نشت:
- کارمندی راز شرکت یا اطلاعات خصوصی یک کاربر را در پرامپت کپی میکند و به API بیرونی میفرستد. (کتاب از کارمند سامسونگ یاد میکند که اطلاعات اختصاصی شرکت را در ChatGPT گذاشت و ناخواسته رازهای شرکت را لو داد.)
- توسعهدهنده سیاستها و دادههای داخلی شرکت را در پرامپت سیستمی (System Prompt) اپلیکیشن میگذارد.
- ابزاری اطلاعات خصوصی را از پایگاه دادهٔ داخلی بازیابی میکند و به زمینه اضافه میکند.
هیچ راه بینقصی برای حذف نشت هنگام استفاده از API بیرونی نیست؛ ولی نگهبانها خطر را کم میکنند. ابزارهای زیادی دادهٔ حساس را خودکار پیدا میکنند — و اینکه چه چیزی حساس است را خودتان تعیین میکنید. دستههای رایج:
- اطلاعات شخصی (PIIPersonally Identifiable Informationاطلاعات هویتی قابل شناسایی): شمارهٔ ملی، شمارهٔ تلفن، حساب بانکی
- چهرهٔ آدمها
- واژهها و عبارتهای خاص که به مالکیت فکری یا اطلاعات محرمانهٔ شرکت مربوطاند
در حال بررسی دسترسی…
در این درس
- نگهبان ورودی: دو خطر
- نشت به API بیرونی
- نگهبان خروجی: بگیر، و بدان با آن چه کنی
- تلاش دوباره، موازی، یا انسان
- بهای نگهبانها
- خودآزمایی
اصطلاحهای کلیدی این درس
- PII — Personally Identifiable Information
- اطلاعات هویتی قابل شناسایی: دادهای که فرد را شناسایی میکند: کد ملی، شماره تلفن، آدرس.
پرسشهایی که این درس جواب میدهد
- دو خطر اصلی که نگهبان ورودی از آن محافظت میکند؟
- نقشهٔ وارونهٔ PII؟
- دو کار اصلی نگهبان خروجی؟
- خرابیهای کیفیت در برابر امنیت؟
- چرا کنار شکست امنیتی، امتناع نابجا را هم بشماریم؟
- تلاش دوباره پشت سر هم در برابر موازی؟
- تلاش دوباره کِی کمکی نمیکند؟
- دو مثال کتاب از سپردن گفتوگو به انسان؟