۱۵. پروژه (۴): شبیهساز سرور — ساعت شلوغ ذهنیار
آخرین درس پروژهٔ این فصل از یک درخواست به صدها درخواست میرود. یک شبیهساز سرور استنتاج (Inference) میسازیم که زمان هر کار را از حساب سرانگشتی درس ۱ میگیرد، و بعد ساعت شلوغ لاگ درس ۱۲ را با چهار سیاست دستهبندی، با و بی کش پرامپت، و با بار دو تا هشت برابر دوباره اجرا میکنیم.
شبیهساز سرور استنتاج: ساعت شلوغ ذهنیار، دستهبندی ایستا و پیوسته با پایتون.
چه میسازیم؟
GPU واقعی نداریم، ولی لازمش هم نداریم: درس ۱ گفت زمان هر کار را دو چیز تعیین میکند — خواندن از حافظه و محاسبه — و هر دو را میشود از روی اندازهٔ مدل و مشخصات GPU حساب کرد. شبیهساز ما یک ساعت دارد که با هر کار جلو میرود: پیشپردازش درخواستهای تازه، و قدمهای رمزگشایی برای همهٔ درخواستهای در حال اجرا.
قدم ۱ — شبیهساز: serving.py
در پوشهٔ zehnyar فایل serving.py را بسازید:
قدم ۲ — ساعت شلوغ: run_serving.py
در پوشهٔ projects/ch09_inference بسازید:
اجرا کنید:
این خروجی واقعی همین کد است — باید دقیقاً همین را ببینید:
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- قدم ۱ — شبیهساز: serving.py
- قدم ۲ — ساعت شلوغ: run_serving.py
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- ساعت شلوغ ذهنیار با چهار سیاست؟