شیدهوش
فصل ۹ · درس ۱۳ از ۱۵

۱۳. پروژه (۲): کش KV و کش پرامپت از صفر

در این درس یک ترنسفورمر (Transformer) اسباب‌بازی با دو لایهٔ توجه می‌سازیم — بی هیچ کتابخانه‌ای — و هر ضربش را می‌شماریم. بعد همان ۶۴ توکن (Token) را یک بار بی‌کش و یک بار با کش KV می‌سازیم، کش پرامپت (Prompt Caching) را بین پنج سؤال به اشتراک می‌گذاریم، و آخر سر اندازهٔ کش مدل‌های واقعی را حساب می‌کنیم.

زمان مطالعه: ۴۲ دقیقهرایگان با ثبت‌ناممرجع در کتاب: پروژهٔ طراحی‌شده برای این دوره، بر پایهٔ درس‌های ۸ و ۱۱ همین فصل

کش KV و کش پرامپت را از صفر با پایتون بسازید و اثرشان را روی سرعت ذهن‌یار بسنجید.

چه می‌سازیم؟

در فصل ۷ یک شبکهٔ عصبی (Neural Network) سه‌لایه از صفر ساختیم و آموزشش دادیم. این بار مدل را آموزش نمی‌دهیم: وزن‌ها تصادفی‌اند و خروجی مدل بی‌معناست — عمداً. کش KV یک ترفند محاسباتی است؛ به اینکه مدل چه یاد گرفته ربطی ندارد. چیزی که می‌خواهیم ببینیم این است که خروجی عوض نمی‌شود و تعداد ضرب‌ها چقدر کم می‌شود.

قدم ۱ — ترنسفورمر اسباب‌بازی: kvcache.py

در پوشهٔ zehnyar فایل kvcache.py را بسازید:

قدم ۲ — پنج آزمایش: run_kvcache.py

در پوشهٔ projects/ch09_inference بسازید:

اجرا کنید:

این خروجی واقعی همین کد است. همه‌چیز باید دقیقاً همین باشد، جز دو عدد میلی‌ثانیه در بخش ۲ که به سرعت کامپیوتر شما بستگی دارند:

در حال بررسی دسترسی…

در این درس

  • چه می‌سازیم؟
  • قدم ۱ — ترنسفورمر اسباب‌بازی: kvcache.py
  • قدم ۲ — پنج آزمایش: run_kvcache.py
  • چه چیزی ساختیم؟
  • تمرین شما
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • کش KV در ترنسفورمر اسباب‌بازی چه کرد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com