شیدهوش
فصل ۹ · درس ۸ از ۱۵

۸. کش KV و بهینه‌سازی توجه

برای ساختن هر توکن، مدل به کلیدها و مقدارهای همهٔ توکن‌های قبلی نیاز دارد. نگه داشتنشان در کش، محاسبه را خیلی کم می‌کند — ولی حافظه می‌خورد، آن‌قدر که گاهی از خود مدل بزرگ‌تر می‌شود. این درس کش KV، فرمول اندازه‌اش، و سه دسته ترفند برای مهار آن را می‌گوید.

زمان مطالعه: ۲۲ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۹، بخش Attention mechanism optimization — صفحهٔ ۸۰۸

کش KV در مدل زبانی چقدر حافظه می‌گیرد و flash attention و توجه گروهی چه می‌کنند.

کش KV

از فصل ۲ یادتان هست که در سازوکار توجه، هر توکن (Token) یک پرسش (Q)، یک کلید (K) و یک مقدار (V) دارد و ساختن توکن بعدی به کلیدها و مقدارهای همهٔ توکن‌های قبلی نیاز دارد:

  • ساختن xₜ به K و V توکن‌های x₁ تا xₜ₋₁ نیاز دارد.
  • ساختن xₜ₊₁ به K و V توکن‌های x₁ تا xₜ نیاز دارد.

وقتی xₜ₊₁ را می‌سازید، لازم نیست K و V توکن‌های x₁ تا xₜ₋₁ را دوباره حساب کنید؛ از قدم قبل نگهشان داشته‌اید. فقط K و V توکن تازه، xₜ، حساب و به بقیه افزوده می‌شود. حافظه‌ای که این بردارها را نگه می‌دارد کش KV است.

در حال بررسی دسترسی…

در این درس

  • کش KV
  • دو رشد متفاوت
  • حساب اندازهٔ کش KV
  • سه راه مهار توجه
  • ۱. طراحی دوبارهٔ توجه
  • ۲. بهینه‌سازی کش KV
  • ۳. کرنل برای توجه
  • خودآزمایی

اصطلاح‌های کلیدی این درس

MQA — Multi-Query Attention
توجه چندپرسشی: همهٔ سرهای پرسش فقط یک جفت کلید-مقدار مشترک دارند.
GQA — Grouped-Query Attention
توجه پرسش گروهی: سرهای پرسش گروه‌بندی می‌شوند و هر گروه یک جفت کلید-مقدار دارد.

پرسش‌هایی که این درس جواب می‌دهد

  • کش KV؟
  • چرا در آموزش کش KV لازم نیست؟
  • محاسبهٔ توجه و اندازهٔ کش با طول دنباله چطور رشد می‌کنند؟
  • MQA در برابر GQA؟
  • PagedAttention؟
  • Character.AI چطور کش KV را بیش از ۲۰ برابر کوچک کرد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com