۱۴. پروژه (۳): رمزگشایی حدسی
در این درس رمزگشایی حدسی (Speculative Decoding) درس ۶ را از صفر میسازیم. مدل هدف همان مدل زبانی (Language Model) فصل ۲ است و پیشنویس، جدولی که برای هر دو توکن (Token) فقط یک حدس دارد. اول ثابت میکنیم خروجی عوض نمیشود، بعد میسنجیم با اندازههای مختلف حدس و دماهای مختلف، هر گذر مدل هدف چند توکن میدهد.
رمزگشایی حدسی را با یک مدل پیشنویس کوچک با پایتون پیاده کنید و سرعتش را بسنجید.
چه میسازیم؟
دو مدل لازم داریم که یک توکنایزر دارند — شرطی که درس ۶ گفت:
یک گره: نمونهبرداری (Sampling)
ذهنیار با دما (Temperature) نمونهبرداری میکند (فصل ۲)، پس هر بار ممکن است توکن دیگری بیاید. چطور ثابت کنیم رمزگشایی حدسی خروجی را عوض نکرده؟ ترفند سادهای داریم: قرعهٔ هر جایگاه را با seed ثابت همان جایگاه میکشیم. پس توکن جایگاه دهم فقط به متن قبلش بستگی دارد، نه به اینکه چند بار مدل را صدا زدهایم. حالا رمزگشایی معمولی و حدسی باید توکنبهتوکن یکی باشند.
قدم ۱ — دو مدل و دو رمزگشا: speculative.py
در پوشهٔ zehnyar فایل speculative.py را بسازید:
قدم ۲ — آزمایش: run_speculative.py
در پوشهٔ projects/ch09_inference بسازید:
اجرا کنید (حدود نیم دقیقه):
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- یک گره: نمونهبرداری (Sampling)
- قدم ۱ — دو مدل و دو رمزگشا: speculative.py
- قدم ۲ — آزمایش: run_speculative.py
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- دما چه اثری بر رمزگشایی حدسی ذهنیار داشت؟