۵. نمایش عددها: FP32، FP16، BF16 و دوستان
تا اینجا فرض کردیم هر عدد ۲ بایت است. ولی حافظهٔ هر عدد مستقیم در حافظهٔ کل مدل ضرب میشود: نصفش کنید، حافظهٔ وزنها هم نصف میشود. این درس میگوید کامپیوتر عددهای اعشاری را چطور ذخیره میکند، فرق «بازه» و «دقت» چیست، و چرا بارگذاری یک مدل هوش مصنوعی در قالب اشتباه میتواند کیفیتش را خراب کند.
FP32، FP16، BF16 و TF32 در هوش مصنوعی چه فرقی دارند؛ بازه و دقت هر قالب، با ابزار زندهی بیتها.
خانوادهٔ FP
مقدارهای عددی در شبکههای عصبی بهطور سنتی عدد ممیز شناور (float) ذخیره میشوند. رایجترین خانواده، خانوادهٔ FP است که از استاندارد IEEEInstitute of Electrical and Electronics Engineersمؤسسهٔ مهندسان برق و الکترونیک — سازندهٔ استاندارد ۷۵۴ برای عددهای ممیز شناور. (Institute of Electrical and Electronics Engineers — مؤسسهٔ مهندسان برق و الکترونیک) 754 پیروی میکند:
عددها را میشود صحیح هم نمایش داد. هنوز به رواج قالبهای اعشاری نیستند، ولی محبوبیتشان رو به افزایش است. رایجها INT88-bit Integerعدد صحیح ۸ بیتی و INT44-bit Integerعدد صحیح ۴ بیتی — ۱۶ مقدار ممکن؛ رایج در کوانتیزهکردن وزنها برای استنتاج. (4-bit Integer — عدد صحیح ۴ بیتی) — عدد صحیح ۸ بیتی و ۴ بیتی.
علامت، بازه، دقت
هر قالب اعشاری معمولاً یک بیت برای علامت دارد — مثبت یا منفی. بقیهٔ بیتها بین دو چیز تقسیم میشوند:
در حال بررسی دسترسی…
در این درس
- خانوادهٔ FP
- علامت، بازه، دقت
- قالب اشتباه، مدل خراب
- خودآزمایی
اصطلاحهای کلیدی این درس
- IEEE — Institute of Electrical and Electronics Engineers
- مؤسسهٔ مهندسان برق و الکترونیک: سازندهٔ استاندارد ۷۵۴ برای عددهای ممیز شناور.
- FP32 — 32-bit Floating Point
- اعشاری ۳۲ بیتی: قالب عددی استاندارد و پردقت؛ هر عدد ۴ بایت جا میگیرد.
- FP16 — 16-bit Floating Point
- اعشاری ۱۶ بیتی: قالب عددی نصفِ دقت معمول؛ حافظهٔ مدل را نصف میکند.
- BF16 — Brain Floating Point 16
- ممیز شناور مغزی ۱۶ بیتی: قالب ۱۶ بیتی گوگل با همان بازهٔ FP32 و دقت کمتر.
- TF32 — TensorFloat-32
- تنسورفلوت ۳۲: قالب محاسبهٔ NVIDIA با ۱۹ بیت: بازهٔ FP32 و دقت FP16.
- INT8 — 8-bit Integer
- عدد صحیح ۸ بیتی: قالب فشردهای که هر عدد را در یک بایت جا میدهد؛ پایهٔ کوانتیزیشن.
- INT4 — 4-bit Integer
- عدد صحیح ۴ بیتی: ۱۶ مقدار ممکن؛ رایج در کوانتیزهکردن وزنها برای استنتاج.
پرسشهایی که این درس جواب میدهد
- در یک عدد ممیز شناور، بیتها به چه سه بخشی تقسیم میشوند؟
- فرق FP16 و BF16؟
- درس ماجرای Llama 2 و FP16؟
- float پایتون کدام قالب است؟