۱۳. پروژه (۲): کش KV و کش پرامپت از صفر
در این درس یک ترنسفورمر (Transformer) اسباببازی با دو لایهٔ توجه میسازیم — بی هیچ کتابخانهای — و هر ضربش را میشماریم. بعد همان ۶۴ توکن (Token) را یک بار بیکش و یک بار با کش KV میسازیم، کش پرامپت (Prompt Caching) را بین پنج سؤال به اشتراک میگذاریم، و آخر سر اندازهٔ کش مدلهای واقعی را حساب میکنیم.
کش KV و کش پرامپت را از صفر با پایتون بسازید و اثرشان را روی سرعت ذهنیار بسنجید.
چه میسازیم؟
در فصل ۷ یک شبکهٔ عصبی (Neural Network) سهلایه از صفر ساختیم و آموزشش دادیم. این بار مدل را آموزش نمیدهیم: وزنها تصادفیاند و خروجی مدل بیمعناست — عمداً. کش KV یک ترفند محاسباتی است؛ به اینکه مدل چه یاد گرفته ربطی ندارد. چیزی که میخواهیم ببینیم این است که خروجی عوض نمیشود و تعداد ضربها چقدر کم میشود.
قدم ۱ — ترنسفورمر اسباببازی: kvcache.py
در پوشهٔ zehnyar فایل kvcache.py را بسازید:
قدم ۲ — پنج آزمایش: run_kvcache.py
در پوشهٔ projects/ch09_inference بسازید:
اجرا کنید:
این خروجی واقعی همین کد است. همهچیز باید دقیقاً همین باشد، جز دو عدد میلیثانیه در بخش ۲ که به سرعت کامپیوتر شما بستگی دارند:
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- قدم ۱ — ترنسفورمر اسباببازی: kvcache.py
- قدم ۲ — پنج آزمایش: run_kvcache.py
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- کش KV در ترنسفورمر اسباببازی چه کرد؟