شیدهوش
فصل ۸ · درس ۸ از ۱۴

۸. تقطیر مدل هوش مصنوعی: شاگردی که از معلم یاد می‌گیرد

یک جا دادهٔ ساختگی (Synthetic Data) فقط مکمل نیست، بلکه لازم است: تقطیر (Distillation) مدل. این درس کوتاه می‌گوید تقطیر چیست، چه مدل‌هایی با آن ساخته شده‌اند، و چرا هر آموزشی با دادهٔ ساختگی تقطیر نیست.

زمان مطالعه: ۱۱ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۸، بخش Model Distillation — صفحهٔ ۷۵۳

تقطیر دانش در هوش مصنوعی: مدل کوچک از خروجی مدل بزرگ یاد می‌گیرد، و مرزهای مجوز.

معلم و شاگرد

تقطیر مدل (model distillation یا knowledge distillation) روشی است که در آن یک مدل کوچک — شاگرد — آموزش می‌بیند تا رفتار یک مدل بزرگ‌تر — معلم — را تقلید کند (Hinton و همکاران، ۲۰۱۵). دانش مدل بزرگ در مدل کوچک «تقطیر» می‌شود؛ اسمش از همین‌جاست.

هدف سنتی تقطیر، مدل کوچک‌تر برای استقرار است. سرو کردن مدل بزرگ پرهزینه است؛ تقطیر شاگردی کوچک‌تر و سریع‌تر با عملکرد نزدیک به معلم می‌سازد. نمونهٔ معروف DistilBERT: مدلی که از BERT تقطیر شده، ۴۰٪ کوچک‌تر است، ۹۷٪ توانایی فهم زبان را نگه می‌دارد و ۶۰٪ سریع‌تر است.

در حال بررسی دسترسی…

در این درس

  • معلم و شاگرد
  • هر آموزشی با دادهٔ ساختگی، تقطیر نیست
  • خودآزمایی

اصطلاح‌های کلیدی این درس

MoE — Mixture of Experts
ترکیب خبرگان: مدل از چند زیرشبکهٔ متخصص تشکیل شده و برای هر ورودی فقط چندتا فعال می‌شوند.

پرسش‌هایی که این درس جواب می‌دهد

  • تقطیر مدل؟
  • چرا هر آموزش با دادهٔ ساختگی تقطیر نیست؟
  • پیش از ساختن داده با یک مدل، چه چیزی را چک کنیم؟
  • درس Llama 3 دربارهٔ آموزش روی دادهٔ خود مدل؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com