۶. گلوگاه رمزگشایی: رمزگشایی حدسی
مدل زبانی (Language Model) توکنها (Tokens) را یکییکی میسازد و همین کندش میکند. رمزگشایی حدسی (Speculative Decoding) ترفندی زیرکانه است: یک مدل کوچک و سریع چند توکن حدس میزند و مدل اصلی همه را یکجا وارسی میکند. خروجی دقیقاً همان میماند — فقط سریعتر.
رمزگشایی حدسی چطور تولید توکن در مدل هوش مصنوعی را سریعتر میکند؛ با ماشینحساب زندهی پذیرش و سرعت.
هر توکن خروجی، گران
از فصل ۲ یادتان هست مدل خودبازگشتی توکنها را یکی پس از دیگری میسازد. اگر هر توکن ۱۰۰ میلیثانیه طول بکشد، پاسخ ۱۰۰ توکنی ۱۰ ثانیه طول میکشد. این فقط کند نیست، گران هم هست:
- در APIهای مختلف، هر توکن خروجی تقریباً دو تا چهار برابر توکن ورودی قیمت دارد.
- در آزمایشی از Anyscale، اثر یک توکن خروجی بر تأخیر (Latency) برابر اثر حدود ۱۰۰ توکن ورودی بود.
پس حتی چند درصد بهبود در تولید خودبازگشتی، تجربهٔ کاربر را خیلی بهتر میکند. این حوزه بهسرعت در حال تغییر است و کتاب ترفندها را برای نشان دادن شکل راهحل میآورد؛ شاید روزی معماریهایی بیایند که این گلوگاه را اصلاً نداشته باشند.
در حال بررسی دسترسی…
در این درس
- هر توکن خروجی، گران
- رمزگشایی حدسی چطور کار میکند
- پذیرش و اندازهٔ K
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- رمزگشایی حدسی در چهار قدم؟
- سه دلیل اینکه رمزگشایی حدسی میارزد؟
- چرا رمزگشایی حدسی کیفیت را عوض نمیکند؟
- بدهبستان اندازهٔ K؟
- پیشنویس و مدل هدف ترجیحاً چه چیزی مشترک دارند؟