۸. تقطیر مدل هوش مصنوعی: شاگردی که از معلم یاد میگیرد
یک جا دادهٔ ساختگی (Synthetic Data) فقط مکمل نیست، بلکه لازم است: تقطیر (Distillation) مدل. این درس کوتاه میگوید تقطیر چیست، چه مدلهایی با آن ساخته شدهاند، و چرا هر آموزشی با دادهٔ ساختگی تقطیر نیست.
تقطیر دانش در هوش مصنوعی: مدل کوچک از خروجی مدل بزرگ یاد میگیرد، و مرزهای مجوز.
معلم و شاگرد
تقطیر مدل (model distillation یا knowledge distillation) روشی است که در آن یک مدل کوچک — شاگرد — آموزش میبیند تا رفتار یک مدل بزرگتر — معلم — را تقلید کند (Hinton و همکاران، ۲۰۱۵). دانش مدل بزرگ در مدل کوچک «تقطیر» میشود؛ اسمش از همینجاست.
هدف سنتی تقطیر، مدل کوچکتر برای استقرار است. سرو کردن مدل بزرگ پرهزینه است؛ تقطیر شاگردی کوچکتر و سریعتر با عملکرد نزدیک به معلم میسازد. نمونهٔ معروف DistilBERT: مدلی که از BERT تقطیر شده، ۴۰٪ کوچکتر است، ۹۷٪ توانایی فهم زبان را نگه میدارد و ۶۰٪ سریعتر است.
در حال بررسی دسترسی…
در این درس
- معلم و شاگرد
- هر آموزشی با دادهٔ ساختگی، تقطیر نیست
- خودآزمایی
اصطلاحهای کلیدی این درس
- MoE — Mixture of Experts
- ترکیب خبرگان: مدل از چند زیرشبکهٔ متخصص تشکیل شده و برای هر ورودی فقط چندتا فعال میشوند.
پرسشهایی که این درس جواب میدهد
- تقطیر مدل؟
- چرا هر آموزش با دادهٔ ساختگی تقطیر نیست؟
- پیش از ساختن داده با یک مدل، چه چیزی را چک کنیم؟
- درس Llama 3 دربارهٔ آموزش روی دادهٔ خود مدل؟