۱۰. بهینهسازی سرویس (۱): دستهبندی و جدا کردن دو مرحله
ترفندهای سطح سرویس مدل را دست نمیزنند؛ فقط منابع را هوشمندانهتر بین درخواستها تقسیم میکنند. سادهترین و پراثرترینشان دستهبندی است: سوار کردن چند مسافر در یک اتوبوس. این درس سه نوع دستهبندی را مقایسه میکند و میگوید چرا سرورهای بزرگ پیشپردازش و رمزگشایی را روی ماشینهای جدا اجرا میکنند.
دستهبندی درخواست، continuous batching و جدا کردن پیشپر کردن از رمزگشایی در سرور استنتاج.
مدیریت منابع
بیشتر ترفندهای سطح سرویس دربارهٔ مدیریت منابع است: با منابع ثابت (محاسبه و حافظه) و بار متغیر (درخواستهای کاربرها که شاید مدلهای مختلف بخواهند)، منابع را چطور تقسیم کنیم که تأخیر (Latency) و هزینه بهینه شوند. برخلاف بسیاری از ترفندهای سطح مدل، این ترفندها مدل را عوض نمیکنند و نباید کیفیت خروجی را عوض کنند.
دستهبندی
یکی از سادهترین راههای کم کردن هزینه، دستهبندی (batching) است. سرویس ممکن است همزمان چند درخواست بگیرد؛ بهجای پردازش جداگانهٔ هر کدام، درخواستهایی را که حدوداً با هم رسیدهاند با هم پردازش کنید. اگر پردازش جداگانه مثل این باشد که هر کس با ماشین خودش برود، دستهبندی مثل سوار کردن همه در یک اتوبوس است: اتوبوس آدم بیشتری جابهجا میکند، ولی ممکن است سفر هر کس طولانیتر شود. اگر هوشمندانه انجامش دهید، اثرش بر تأخیر ناچیز است.
چرا دستهبندی تقریباً رایگان است؟
جوابش در درس ۱ است: رمزگشایی پهنایباندمحور است. در هر قدم همهٔ وزنها یک بار از حافظه خوانده میشوند — چه برای یک درخواست، چه برای ده تا. پس توکنهای بیشتر در هر قدم تقریباً هزینهٔ اضافه ندارند، تا وقتی به سقف محاسبه یا سقف حافظهٔ کش KV برسید.
در حال بررسی دسترسی…
در این درس
- مدیریت منابع
- دستهبندی
- چرا دستهبندی تقریباً رایگان است؟
- سه نوع دستهبندی
- جدا کردن پیشپردازش از رمزگشایی
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- سه نوع دستهبندی (قیاس اتوبوس)؟
- چرا دستهبندی رمزگشایی تقریباً رایگان است؟
- جدا کردن پیشپردازش و رمزگشایی؟