۸. کش KV و بهینهسازی توجه
برای ساختن هر توکن، مدل به کلیدها و مقدارهای همهٔ توکنهای قبلی نیاز دارد. نگه داشتنشان در کش، محاسبه را خیلی کم میکند — ولی حافظه میخورد، آنقدر که گاهی از خود مدل بزرگتر میشود. این درس کش KV، فرمول اندازهاش، و سه دسته ترفند برای مهار آن را میگوید.
کش KV در مدل زبانی چقدر حافظه میگیرد و flash attention و توجه گروهی چه میکنند.
کش KV
از فصل ۲ یادتان هست که در سازوکار توجه، هر توکن (Token) یک پرسش (Q)، یک کلید (K) و یک مقدار (V) دارد و ساختن توکن بعدی به کلیدها و مقدارهای همهٔ توکنهای قبلی نیاز دارد:
- ساختن xₜ به K و V توکنهای x₁ تا xₜ₋₁ نیاز دارد.
- ساختن xₜ₊₁ به K و V توکنهای x₁ تا xₜ نیاز دارد.
وقتی xₜ₊₁ را میسازید، لازم نیست K و V توکنهای x₁ تا xₜ₋₁ را دوباره حساب کنید؛ از قدم قبل نگهشان داشتهاید. فقط K و V توکن تازه، xₜ، حساب و به بقیه افزوده میشود. حافظهای که این بردارها را نگه میدارد کش KV است.
در حال بررسی دسترسی…
در این درس
- کش KV
- دو رشد متفاوت
- حساب اندازهٔ کش KV
- سه راه مهار توجه
- ۱. طراحی دوبارهٔ توجه
- ۲. بهینهسازی کش KV
- ۳. کرنل برای توجه
- خودآزمایی
اصطلاحهای کلیدی این درس
- MQA — Multi-Query Attention
- توجه چندپرسشی: همهٔ سرهای پرسش فقط یک جفت کلید-مقدار مشترک دارند.
- GQA — Grouped-Query Attention
- توجه پرسش گروهی: سرهای پرسش گروهبندی میشوند و هر گروه یک جفت کلید-مقدار دارد.
پرسشهایی که این درس جواب میدهد
- کش KV؟
- چرا در آموزش کش KV لازم نیست؟
- محاسبهٔ توجه و اندازهٔ کش با طول دنباله چطور رشد میکنند؟
- MQA در برابر GQA؟
- PagedAttention؟
- Character.AI چطور کش KV را بیش از ۲۰ برابر کوچک کرد؟