شیدهوش
فصل ۹ · درس ۱۵ از ۱۵

۱۵. پروژه (۴): شبیه‌ساز سرور — ساعت شلوغ ذهن‌یار

آخرین درس پروژهٔ این فصل از یک درخواست به صدها درخواست می‌رود. یک شبیه‌ساز سرور استنتاج (Inference) می‌سازیم که زمان هر کار را از حساب سرانگشتی درس ۱ می‌گیرد، و بعد ساعت شلوغ لاگ درس ۱۲ را با چهار سیاست دسته‌بندی، با و بی کش پرامپت، و با بار دو تا هشت برابر دوباره اجرا می‌کنیم.

زمان مطالعه: ۴۶ دقیقهرایگان با ثبت‌ناممرجع در کتاب: پروژهٔ طراحی‌شده برای این دوره، بر پایهٔ درس‌های ۱، ۱۰ و ۱۱ همین فصل

شبیه‌ساز سرور استنتاج: ساعت شلوغ ذهن‌یار، دسته‌بندی ایستا و پیوسته با پایتون.

چه می‌سازیم؟

GPU واقعی نداریم، ولی لازمش هم نداریم: درس ۱ گفت زمان هر کار را دو چیز تعیین می‌کند — خواندن از حافظه و محاسبه — و هر دو را می‌شود از روی اندازهٔ مدل و مشخصات GPU حساب کرد. شبیه‌ساز ما یک ساعت دارد که با هر کار جلو می‌رود: پیش‌پردازش درخواست‌های تازه، و قدم‌های رمزگشایی برای همهٔ درخواست‌های در حال اجرا.

قدم ۱ — شبیه‌ساز: serving.py

در پوشهٔ zehnyar فایل serving.py را بسازید:

قدم ۲ — ساعت شلوغ: run_serving.py

در پوشهٔ projects/ch09_inference بسازید:

اجرا کنید:

این خروجی واقعی همین کد است — باید دقیقاً همین را ببینید:

در حال بررسی دسترسی…

در این درس

  • چه می‌سازیم؟
  • قدم ۱ — شبیه‌ساز: serving.py
  • قدم ۲ — ساعت شلوغ: run_serving.py
  • چه چیزی ساختیم؟
  • تمرین شما
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • ساعت شلوغ ذهن‌یار با چهار سیاست؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com