شیدهوش
فصل ۵ · درس ۲ از ۹

۲. پرامپت سیستمی، قالب چت و طول متن

بیشتر APIهای هوش مصنوعی پرامپت را دو تکه می‌کنند: پرامپت سیستمی (System Prompt) و پرامپت کاربر. ولی مدل در نهایت فقط یک رشتهٔ متن می‌بیند. این درس نشان می‌دهد آن رشته چه شکلی است، چرا یک خط خالی اضافه می‌تواند مدل را گیج کند، و چرا جای اطلاعات در پرامپت به اندازهٔ خود اطلاعات مهم است.

زمان مطالعه: ۲۵ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۵، بخش‌های System Prompt and User Prompt و Context Length and Context Efficiency — صفحهٔ ۴۲۳

پرامپت سیستمی (system prompt) چیست، قالب چت هر مدل هوش مصنوعی چه شکلی است و طول متن چطور روی پاسخ اثر می‌گذارد.

دو پرامپت، یک ورودی

APIApplication Programming Interfaceرابط برنامه‌نویسی نرم‌افزار خیلی از مدل‌ها اجازه می‌دهند پرامپت را دو تکه کنید: پرامپت سیستمی و پرامپت کاربر. می‌شود پرامپت سیستمی را «توضیح کار» دید و پرامپت کاربر را «خود کار». مثال کتاب: چت‌باتی که به خریدار خانه کمک می‌کند گزارش کارشناسی یک ملک را بفهمد. کاربر گزارش را بارگذاری می‌کند و می‌پرسد «سقف چند سال عمر دارد؟» یا «چه چیز غیرعادی‌ای در این ملک هست؟». می‌خواهید چت‌بات (Chatbot) مثل یک مشاور املاک رفتار کند:

تقریباً همهٔ اپلیکیشن‌های هوش مصنوعی مولد، از جمله ChatGPT، پرامپت سیستمی دارند. معمولاً دستورهای سازندهٔ اپلیکیشن در پرامپت سیستمی می‌روند و دستورهای کاربر در پرامپت کاربر. ولی می‌توانید خلاقیت به خرج دهید و دستورها را جابه‌جا کنید — مثلاً همه را در یکی بگذارید — و ببینید کدام بهتر جواب می‌دهد.

قالب چت: آنچه مدل واقعاً می‌بیند

مدل پرامپت سیستمی و پرامپت کاربر را جدا نمی‌خواند. این دو پیش از رسیدن به مدل، طبق یک قالب (template) به یک رشتهٔ واحد تبدیل می‌شوند. قالب مدل چت Llama 2 این است:

اگر پرامپت سیستمی «Translate the text below into French» و پرامپت کاربر «How are you?» باشد، چیزی که واقعاً به Llama 2 می‌رسد این است:

در حال بررسی دسترسی…

در این درس

  • دو پرامپت، یک ورودی
  • قالب چت: آنچه مدل واقعاً می‌بیند
  • چرا پرامپت سیستمی کمک می‌کند؟
  • پنجرهٔ متن (Context Window): چقدر جا داریم؟
  • سوزن در انبار کاه
  • خودآزمایی

اصطلاح‌های کلیدی این درس

API — Application Programming Interface
رابط برنامه‌نویسی نرم‌افزار: دری که یک برنامه در اختیار برنامهٔ دیگر می‌گذارد تا با آن حرف بزند.
NIAH — Needle In A Haystack
سوزن در انبار کاه: آزمونی که اطلاعاتی را در جاهای مختلف یک پرامپت بلند می‌گذارد و می‌پرسد مدل پیدایش می‌کند یا نه.

پرسش‌هایی که این درس جواب می‌دهد

  • قالب چت (chat template) چیست؟
  • چرا خطای قالب چت خطرناک است؟
  • فرق «قالب چت» با «قالب پرامپت» چیست؟
  • اگر مدل پرامپت سیستمی و کاربر را یک‌جا پردازش می‌کند، چرا پرامپت سیستمی اثر بیشتری دارد؟
  • آزمون «سوزن در انبار کاه» (NIAH) چه می‌سنجد؟
  • چرا در آزمون NIAH باید از اطلاعات خصوصی استفاده کرد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com