شیدهوش
فصل ۷ · درس ۱۱ از ۱۴

۱۱. تاکتیک‌ها: مدل پایه، روش، چارچوب و ابرپارامترها

خیلی از کارهای اطراف تنظیم دقیق (Fine-tuning) سخت‌اند — تصمیم به انجامش، جمع کردن داده، نگهداری — ولی خود فرایند تنظیم ساده‌تر است. سه انتخاب لازم دارد: مدل پایه، روش و چارچوب. و چند پیچ تنظیم که باید بشناسید. این درس هر چهار را عملی مرور می‌کند.

زمان مطالعه: ۲۲ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۷، بخش Finetuning Tactics — صفحهٔ ۶۸۰

انتخاب مدل پایه، روش و چارچوب فاین‌تیون هوش مصنوعی، و اثر نرخ یادگیری با ابزار زنده.

مدل پایه (Foundation Model): دو مسیر

معیارهای انتخاب مدل را در فصل ۴ دیدیم: اندازه، مجوز، کیفیت در آزمون‌ها. در شروع یک پروژه، وقتی هنوز امکان‌پذیر بودن کار را می‌سنجید، از قوی‌ترین مدلی که توانش را دارید شروع کنید. اگر این مدل هم نتیجهٔ خوبی نداد، مدل‌های ضعیف‌تر احتمالاً بدترند. اگر جواب داد، سراغ مدل‌های ضعیف‌تر بروید و مدل اول را خط مبنا بگیرید. راهنمای تنظیم دقیق OpenAI دو مسیر نمونه می‌دهد:

چون تنظیم دقیق معمولاً بعد از آزمایش‌های پرامپت می‌آید، تا شروعش باید رفتار مدل‌های مختلف را خوب بشناسید و مسیرتان را بر همین پایه بچینید.

در حال بررسی دسترسی…

در این درس

  • مدل پایه (Foundation Model): دو مسیر
  • روش و چارچوب
  • ابرپارامترها (Hyperparameters)
  • نرخ یادگیری (Learning Rate)
  • اندازهٔ دسته
  • تعداد دور
  • وزن زیان پرامپت
  • جمع‌بندی فصل
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • مسیر پیشرفت و مسیر تقطیر در انتخاب مدل پایه؟
  • از منحنی زیان دربارهٔ نرخ یادگیری چه می‌فهمیم؟
  • انباشت گرادیان (gradient accumulation)؟
  • زیان آموزش پایین می‌آید ولی زیان اعتبارسنجی بالا می‌رود. یعنی؟
  • وزن زیان پرامپت؟
  • هدف مشترک PEFT و کوانتیزه‌کردن چیست؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com