شیدهوش
فصل ۷ · درس ۹ از ۱۴

۹. سرو آداپترها، و QLoRA

LoRA فقط حافظهٔ آموزش را کم نمی‌کند؛ ماژولار بودنش سرو کردن ده‌ها مدل تنظیم‌شده را هم ارزان می‌کند. این درس دو راه سرو مدل LoRA را مقایسه می‌کند، عیب‌های LoRA را صادقانه می‌گوید، و نشان می‌دهد QLoRA چطور یک مدل ۶۵ میلیاردی را روی یک GPU تنظیم کرد.

زمان مطالعه: ۱۸ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۷، بخش‌های Serving LoRA adapters و Quantized LoRA — صفحهٔ ۶۵۷

سرو کردن آداپترهای LoRA کنار هم و QLoRA برای تنظیم دقیق مدل هوش مصنوعی روی GPU کوچک.

دو راه سرو یک مدل LoRA

  1. ادغام پیش از سرو: A و B را در W ادغام کن تا 'W ساخته شود. در استنتاج (Inference) محاسبهٔ اضافه‌ای نیست، پس تأخیر اضافه‌ای هم نیست.
  2. جدا نگه داشتن: W، A و B را جدا نگه دار و ادغام را حین استنتاج انجام بده — که تأخیر اضافه دارد.

اگر فقط یک مدل LoRA دارید، راه اول معمولاً بهتر است. ولی برای سرو چند LoRA — چند مدل تنظیم‌شده که همه یک مدل پایه (Foundation Model) دارند — راه دوم برنده است. فرض کنید برای هر مشتری با LoRA یک مدل تنظیم می‌کنید. با ۱۰۰ مشتری، ۱۰۰ مدل تنظیم‌شده دارید که همه یک مدل پایه دارند:

راه دوم عوض کردن کار را هم سریع‌تر می‌کند. اگر الان دارید به مشتری X سرویس می‌دهید و باید به Y بروید، به‌جای بارگذاری کل ماتریس وزن Y، فقط آداپتر LoRA اش را بارگذاری می‌کنید. جدا نگه داشتن A و B هزینهٔ تأخیر دارد، ولی ترفندهایی برای کم کردنش هست.

در حال بررسی دسترسی…

در این درس

  • دو راه سرو یک مدل LoRA
  • عیب LoRA چیست؟
  • QLoRA: کوانتیزه کن، بعد تنظیم کن
  • خودآزمایی

اصطلاح‌های کلیدی این درس

QLoRA — Quantized Low-Rank Adaptation
LoRA کوانتیزه‌شده: LoRA روی مدلی که وزن‌های منجمدش ۴ بیتی نگه داشته می‌شوند.
NF4 — NormalFloat-4
اعشاری نرمال ۴ بیتی: قالب ۴ بیتی QLoRA که پله‌هایش با توزیع نرمال وزن‌ها جور است.

پرسش‌هایی که این درس جواب می‌دهد

  • دو راه سرو مدل LoRA؟
  • QLoRA چه می‌کند؟
  • چرا کم کردن پارامترهای LoRA حافظه را چندان کم نمی‌کند؟
  • عیب اصلی LoRA؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com