۱۱. بهینهسازی سرویس (۲): کش پرامپت و موازیسازی
خیلی از پرامپتها تکههای مشترک دارند — مثل پرامپت سیستمی (System Prompt) که در هر درخواست تکرار میشود. کش پرامپت (Prompt Caching) این تکهها را یک بار پردازش میکند. نیمهٔ دوم درس سراغ موازیسازی میرود: وقتی یک ماشین کافی نیست، کار را چطور بین ماشینها تقسیم کنیم. و آخر کار، جمعبندی فصل.
کش پرامپت چطور هزینه و تأخیر را کم میکند، و موازیسازی مدل روی چند GPU.
کش پرامپت
بسیاری از پرامپتهای یک اپلیکیشن تکههای همپوشان دارند. کش پرامپت (prompt cache) این تکهها را برای استفادهٔ دوباره نگه میدارد تا فقط یک بار پردازش شوند. رایجترین تکهٔ مشترک، پرامپت سیستمی است: بیکش، مدل باید آن را با هر سؤال دوباره پردازش کند؛ با کش، فقط برای اولین سؤال. به آن کش زمینه (context cache) یا کش پیشوند (prefix cache) هم میگویند.
کش پرامپت برای سؤالهایی دربارهٔ سندهای بلند هم مفید است: اگر خیلی از سؤالها دربارهٔ یک کتاب یا یک مخزن کد باشند، آن سند یک بار کش میشود. و برای گفتوگوهای طولانی: پردازش پیامهای قبلی کش و هنگام پیشبینی پیامهای بعدی دوباره استفاده میشود.
ولی رایگان نیست. مثل کش KV، کش پرامپت هم میتواند بزرگ باشد و حافظه بگیرد. و اگر از API آمادهای که این قابلیت را دارد استفاده نکنید، پیادهسازیاش کار مهندسی زیادی میخواهد. (در واقع کش پرامپت همان کش KV پیشوند مشترک است که بین درخواستها نگه داشته میشود — در درس ۱۳ دقیقاً همین را از صفر میسازید.)
در APIها
از وقتی Gim و همکاران کش پرامپت را در نوامبر ۲۰۲۳ معرفی کردند، بهسرعت به APIها راه یافت. در زمان نوشتن کتاب:
در حال بررسی دسترسی…
در این درس
- کش پرامپت
- در APIها
- موازیسازی
- موازیسازی نسخهای
- موازیسازی مدل: تنسور و خط لوله
- زمینه و دنباله
- جمعبندی فصل
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- کش پرامپت؟
- موازیسازی تنسور در برابر خط لوله؟
- موازیسازی نسخهای؟
- پراثرترین ترفندها به گفتهٔ کتاب؟