۶. کوانتیزهکردن: بیت کمتر، مدل هوش مصنوعی سبکتر
هرچه بیت کمتری برای هر عدد لازم باشد، مدل حافظهٔ کمتری میخواهد. کم کردن دقت — کوانتیزهکردن (Quantization) — ارزانترین و مؤثرترین راه سبک کردن مدل است. این درس میگوید چه چیزی را و کِی کوانتیزه کنیم، تا کجا میشود پیش رفت (حتی ۱٫۵۸ بیت!)، و چه چیزی از دست میرود.
کوانتیزاسیون (quantization) مدل زبانی چیست، چطور حافظه را کم میکند و عدد پرت با آن چه میکند.
ارزانترین صرفهجویی
مدل ۱۰ میلیاردی در قالب ۳۲ بیتی برای وزنهایش ۴۰ گیگابایت میخواهد؛ همان مدل در قالب ۱۶ بیتی فقط ۲۰ گیگابایت. کم کردن دقت، که به آن کوانتیزهکردن (quantization) میگویند، روشی ارزان و فوقالعاده مؤثر برای کم کردن حافظه است: انجامش ساده است و تقریباً روی هر کار و هر معماری جواب میدهد. در یادگیری ماشین، «دقت پایین» معمولاً یعنی هر قالبی با بیت کمتر از FP32 استاندارد.
برای کوانتیزهکردن دو تصمیم لازم است:
- چه چیزی؟ ایدهآل، هر چیزی که بیشترین حافظه را میخورد — به شرطی که کیفیت را زیاد خراب نکند. در استنتاج، وزنها و فعالسازیها بیشترین سهم را دارند. کوانتیزهکردن وزنها رایجتر است، چون اثرش پایدارتر است و افت کیفیتش کمتر.
- کِی؟ حین آموزش یا بعد از آن. کوانتیزهکردن پس از آموزش (PTQPost-Training Quantizationکوانتیزهکردن پس از آموزش — کم کردن دقت مدلی که کامل آموزش دیده؛ رایجترین نوع. (Post-Training Quantization — کوانتیزهکردن پس از آموزش)) یعنی مدل را بعد از اینکه کامل آموزش دید کوانتیزه کنید — با فاصلهٔ زیاد رایجترین، و برای سازندگان اپلیکیشن که معمولاً مدل آموزش نمیدهند، مرتبطترین.
در حال بررسی دسترسی…
در این درس
- ارزانترین صرفهجویی
- کوانتیزهکردن برای استنتاج (Inference)
- کوانتیزهکردن متقارن، با دست
- تا کجا میشود پیش رفت؟
- مزیتها و هزینهها
- کوانتیزهکردن در آموزش
- خودآزمایی
اصطلاحهای کلیدی این درس
- PTQ — Post-Training Quantization
- کوانتیزهکردن پس از آموزش: کم کردن دقت مدلی که کامل آموزش دیده؛ رایجترین نوع.
- FP8 — 8-bit Floating Point
- ممیز شناور ۸ بیتی: یک قالب «مینیفلوت» برای استنتاج و آموزش کمدقت.
- QAT — Quantization-Aware Training
- آموزش آگاه از کوانتیزهشدن: شبیهسازی دقت پایین حین آموزش تا مدل در استنتاج کمدقت خوب کار کند.
- AMP — Automatic Mixed Precision
- دقت ترکیبی خودکار: قابلیت چارچوبها برای تعیین خودکار بخشهای کمدقت و پردقت در آموزش.
پرسشهایی که این درس جواب میدهد
- کوانتیزهکردن چیست؟
- PTQ و QAT؟
- کوانتیزهکردن متقارن به INT4 در سه قدم؟
- چرا یک عدد پرت کوانتیزهکردن را خراب میکند؟
- BitNet b1.58 یعنی چه؟
- دقت ترکیبی (mixed precision) در آموزش؟
- چرا qwen2.5:7b در Ollama ۴٫۷ گیگابایت است، نه ۳٫۸؟