۲. پرامپت سیستمی، قالب چت و طول متن
بیشتر APIهای هوش مصنوعی پرامپت را دو تکه میکنند: پرامپت سیستمی (System Prompt) و پرامپت کاربر. ولی مدل در نهایت فقط یک رشتهٔ متن میبیند. این درس نشان میدهد آن رشته چه شکلی است، چرا یک خط خالی اضافه میتواند مدل را گیج کند، و چرا جای اطلاعات در پرامپت به اندازهٔ خود اطلاعات مهم است.
پرامپت سیستمی (system prompt) چیست، قالب چت هر مدل هوش مصنوعی چه شکلی است و طول متن چطور روی پاسخ اثر میگذارد.
دو پرامپت، یک ورودی
APIApplication Programming Interfaceرابط برنامهنویسی نرمافزار خیلی از مدلها اجازه میدهند پرامپت را دو تکه کنید: پرامپت سیستمی و پرامپت کاربر. میشود پرامپت سیستمی را «توضیح کار» دید و پرامپت کاربر را «خود کار». مثال کتاب: چتباتی که به خریدار خانه کمک میکند گزارش کارشناسی یک ملک را بفهمد. کاربر گزارش را بارگذاری میکند و میپرسد «سقف چند سال عمر دارد؟» یا «چه چیز غیرعادیای در این ملک هست؟». میخواهید چتبات (Chatbot) مثل یک مشاور املاک رفتار کند:
تقریباً همهٔ اپلیکیشنهای هوش مصنوعی مولد، از جمله ChatGPT، پرامپت سیستمی دارند. معمولاً دستورهای سازندهٔ اپلیکیشن در پرامپت سیستمی میروند و دستورهای کاربر در پرامپت کاربر. ولی میتوانید خلاقیت به خرج دهید و دستورها را جابهجا کنید — مثلاً همه را در یکی بگذارید — و ببینید کدام بهتر جواب میدهد.
قالب چت: آنچه مدل واقعاً میبیند
مدل پرامپت سیستمی و پرامپت کاربر را جدا نمیخواند. این دو پیش از رسیدن به مدل، طبق یک قالب (template) به یک رشتهٔ واحد تبدیل میشوند. قالب مدل چت Llama 2 این است:
اگر پرامپت سیستمی «Translate the text below into French» و پرامپت کاربر «How are you?» باشد، چیزی که واقعاً به Llama 2 میرسد این است:
در حال بررسی دسترسی…
در این درس
- دو پرامپت، یک ورودی
- قالب چت: آنچه مدل واقعاً میبیند
- چرا پرامپت سیستمی کمک میکند؟
- پنجرهٔ متن (Context Window): چقدر جا داریم؟
- سوزن در انبار کاه
- خودآزمایی
اصطلاحهای کلیدی این درس
- API — Application Programming Interface
- رابط برنامهنویسی نرمافزار: دری که یک برنامه در اختیار برنامهٔ دیگر میگذارد تا با آن حرف بزند.
- NIAH — Needle In A Haystack
- سوزن در انبار کاه: آزمونی که اطلاعاتی را در جاهای مختلف یک پرامپت بلند میگذارد و میپرسد مدل پیدایش میکند یا نه.
پرسشهایی که این درس جواب میدهد
- قالب چت (chat template) چیست؟
- چرا خطای قالب چت خطرناک است؟
- فرق «قالب چت» با «قالب پرامپت» چیست؟
- اگر مدل پرامپت سیستمی و کاربر را یکجا پردازش میکند، چرا پرامپت سیستمی اثر بیشتری دارد؟
- آزمون «سوزن در انبار کاه» (NIAH) چه میسنجد؟
- چرا در آزمون NIAH باید از اطلاعات خصوصی استفاده کرد؟