۳. توان عملیاتی، گودپوت و بهرهوری
تأخیر (Latency) چیزی است که کاربر حس میکند؛ توان عملیاتی (Throughput) و بهرهوری چیزیاند که صورتحساب را میسازند. این درس میگوید هزینهٔ هر میلیون توکن (Token) را چطور حساب کنیم، چرا توان عملیاتی بالا بهتنهایی کافی نیست، و چرا «بهرهوری GPU» در nvidia-smi تقریباً هیچ چیز نمیگوید.
توان عملیاتی، گودپوت و بهرهوری سختافزار در استنتاج مدل زبانی، با عدد.
توان عملیاتی
توان عملیاتی (throughput) تعداد توکنهای خروجی است که سرویس در هر ثانیه برای همهٔ کاربرها و درخواستها میسازد، معمولاً به توکن در ثانیه (TPSTokens Per Secondتوکن در ثانیه). بعضی تیمها توکنهای ورودی را هم میشمارند؛ ولی چون پیشپردازش و رمزگشایی گلوگاههای متفاوتی دارند و در سرورهای امروزی اغلب جدا از هماند، بهتر است جدا شمرده شوند. «توان عملیاتی» بدون پسوند معمولاً یعنی توکن خروجی. اگر چند کاربر دارید، توکن در ثانیه برای هر کاربر هم نشان میدهد سیستم با کاربر بیشتر چطور رفتار میکند.
میشود تعداد درخواستهای کاملشده را هم شمرد: درخواست در ثانیه (RPSRequests Per Secondدرخواست در ثانیه). ولی چون هر درخواست مدل پایه (Foundation Model) ممکن است چند ثانیه طول بکشد، خیلیها درخواست در دقیقه (RPMRequests Per Minuteدرخواست در دقیقه) را ترجیح میدهند. این سنجه نشان میدهد سرویس با درخواستهای همزمان چه میکند — و بعضی ارائهدهندهها اگر همزمان زیادی بفرستید، جلویتان را میگیرند.
از توان عملیاتی به هزینه
توان عملیاتی مستقیم به هزینه وصل است. مثال کتاب، قدم به قدم:
توان عملیاتی خوب به مدل، سختافزار و نوع کار بستگی دارد: مدل کوچکتر و تراشهٔ ردهبالاتر معمولاً توان بیشتری دارند، و کاری با طول ورودی و خروجی یکنواخت راحتتر از کار با طولهای متغیر بهینه میشود. حتی مقایسهٔ دو مدل هماندازه روی سختافزار یکسان تقریبی است، چون «توکن» در هر توکنایزر (Tokenizer) معنای دیگری دارد (فصل ۲: همان جمله در توکنایزرهای مختلف تعداد توکن متفاوتی دارد). پس برای مقایسهٔ کارایی سرورها، هزینه به ازای هر درخواست بهتر است.
در حال بررسی دسترسی…
در این درس
- توان عملیاتی
- از توان عملیاتی به هزینه
- تأخیر یا توان عملیاتی؟
- گودپوت: توانی که به درد میخورد
- بهرهوری: MFU و MBU
- چه عددی خوب است؟
- خودآزمایی
اصطلاحهای کلیدی این درس
- TPS — Tokens Per Second
- توکن در ثانیه: رایجترین واحد توان عملیاتی.
- RPS — Requests Per Second
- درخواست در ثانیه: تعداد درخواستهای کاملشده در هر ثانیه.
- RPM — Requests Per Minute
- درخواست در دقیقه: برای مدلهایی که هر درخواستشان چند ثانیه طول میکشد، رایجتر از RPS.
- SLO — Service-Level Objective
- هدف سطح سرویس: عددی که سرویس باید به آن برسد، مثل «اولین توکن زیر یک ثانیه».
- SMI — System Management Interface
- واسط مدیریت سیستم: ابزار nvidia-smi؛ «بهرهوری» آن فقط درصد زمان مشغول بودن GPU است.
- MFU — Model FLOP/s Utilization
- بهرهوری فلاپ مدل: توان عملیاتی واقعی تقسیم بر بیشینهٔ نظری تراشه در اوج FLOP/s.
- MBU — Model Bandwidth Utilization
- بهرهوری پهنای باند مدل: چند درصد پهنای باند حافظهٔ تراشه واقعاً مصرف میشود.
پرسشهایی که این درس جواب میدهد
- توان عملیاتی (throughput)؟
- چرا مقایسهٔ توان عملیاتی دو مدل تقریبی است؟
- گودپوت (goodput)؟
- بهرهوری GPU در nvidia-smi چه میسنجد؟
- MFU و MBU؟
- کار محاسبهمحور و پهنایباندمحور چه MFU و MBU ای دارند؟
- چرا بهرهوری بالا هدف نیست؟