۷. استنتاج با مرجع و رمزگشایی موازی
رمزگشایی حدسی (Speculative Decoding) برای حدس زدن یک مدل دوم لازم دارد. دو خانوادهٔ دیگر از همین ایده بیمدل دوم کار میکنند: یکی حدسها را از خود ورودی کپی میکند، دیگری چند توکن (Token) آینده را همزمان میسازد و بعد وارسیشان میکند.
استنتاج با مرجع و رمزگشایی موازی: دو راه دیگر برای شکستن گلوگاه رمزگشایی.
استنتاج (Inference) با مرجع: کپی بهجای تولید
پاسخ اغلب تکههایی از ورودی را تکرار میکند. اگر دربارهٔ سند پیوستشدهای سؤال کنید، مدل ممکن است یک تکه را عیناً از سند بیاورد. اگر بخواهید باگ کدی را درست کند، بیشتر کد اصلی را با تغییرهای کوچک تکرار میکند. چرا مدل این توکنهای تکراری را یکییکی بسازد وقتی میشود از ورودی کپیشان کرد؟ این ایدهٔ استنتاج با مرجع (inference with reference) است.
استنتاج با مرجع شبیه رمزگشایی حدسی است، ولی توکنهای پیشنویس را بهجای یک مدل، از ورودی برمیدارد. چالش اصلی، الگوریتمی است که در هر قدم مرتبطترین تکهٔ متن را پیدا کند؛ سادهترین راه، پیدا کردن تکهای است که با توکنهای اخیر جور باشد — مثلاً اگر دو توکن آخر خروجی «return pi» است، در ورودی دنبال «return pi» بگردید و توکنهای بعدش را حدس بزنید. مدل هدف مثل قبل وارسی میکند.
در مقالهٔ «استنتاج با مرجع: شتاب بیاتلاف مدلهای زبانی بزرگ» (Yang و همکاران، ۲۰۲۳)، این روش در همین کاربردها سرعت تولید را دو برابر کرد.
در حال بررسی دسترسی…
در این درس
- استنتاج (Inference) با مرجع: کپی بهجای تولید
- رمزگشایی موازی
- وارسی و یکپارچهسازی
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- استنتاج با مرجع؟
- رمزگشایی موازی؟
- سرهای Medusa؟