شیدهوش
فصل ۹ · درس ۳ از ۱۵

۳. توان عملیاتی، گودپوت و بهره‌وری

تأخیر (Latency) چیزی است که کاربر حس می‌کند؛ توان عملیاتی (Throughput) و بهره‌وری چیزی‌اند که صورت‌حساب را می‌سازند. این درس می‌گوید هزینهٔ هر میلیون توکن (Token) را چطور حساب کنیم، چرا توان عملیاتی بالا به‌تنهایی کافی نیست، و چرا «بهره‌وری GPU» در nvidia-smi تقریباً هیچ چیز نمی‌گوید.

زمان مطالعه: ۱۹ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۹، بخش‌های Throughput and goodput و Utilization, MFU, and MBU — صفحهٔ ۷۷۶

توان عملیاتی، گودپوت و بهره‌وری سخت‌افزار در استنتاج مدل زبانی، با عدد.

توان عملیاتی

توان عملیاتی (throughput) تعداد توکن‌های خروجی است که سرویس در هر ثانیه برای همهٔ کاربرها و درخواست‌ها می‌سازد، معمولاً به توکن در ثانیه (TPSTokens Per Secondتوکن در ثانیه). بعضی تیم‌ها توکن‌های ورودی را هم می‌شمارند؛ ولی چون پیش‌پردازش و رمزگشایی گلوگاه‌های متفاوتی دارند و در سرورهای امروزی اغلب جدا از هم‌اند، بهتر است جدا شمرده شوند. «توان عملیاتی» بدون پسوند معمولاً یعنی توکن خروجی. اگر چند کاربر دارید، توکن در ثانیه برای هر کاربر هم نشان می‌دهد سیستم با کاربر بیشتر چطور رفتار می‌کند.

می‌شود تعداد درخواست‌های کامل‌شده را هم شمرد: درخواست در ثانیه (RPSRequests Per Secondدرخواست در ثانیه). ولی چون هر درخواست مدل پایه (Foundation Model) ممکن است چند ثانیه طول بکشد، خیلی‌ها درخواست در دقیقه (RPMRequests Per Minuteدرخواست در دقیقه) را ترجیح می‌دهند. این سنجه نشان می‌دهد سرویس با درخواست‌های هم‌زمان چه می‌کند — و بعضی ارائه‌دهنده‌ها اگر هم‌زمان زیادی بفرستید، جلویتان را می‌گیرند.

از توان عملیاتی به هزینه

توان عملیاتی مستقیم به هزینه وصل است. مثال کتاب، قدم به قدم:

توان عملیاتی خوب به مدل، سخت‌افزار و نوع کار بستگی دارد: مدل کوچک‌تر و تراشهٔ رده‌بالاتر معمولاً توان بیشتری دارند، و کاری با طول ورودی و خروجی یکنواخت راحت‌تر از کار با طول‌های متغیر بهینه می‌شود. حتی مقایسهٔ دو مدل هم‌اندازه روی سخت‌افزار یکسان تقریبی است، چون «توکن» در هر توکنایزر (Tokenizer) معنای دیگری دارد (فصل ۲: همان جمله در توکنایزرهای مختلف تعداد توکن متفاوتی دارد). پس برای مقایسهٔ کارایی سرورها، هزینه به ازای هر درخواست بهتر است.

در حال بررسی دسترسی…

در این درس

  • توان عملیاتی
  • از توان عملیاتی به هزینه
  • تأخیر یا توان عملیاتی؟
  • گودپوت: توانی که به درد می‌خورد
  • بهره‌وری: MFU و MBU
  • چه عددی خوب است؟
  • خودآزمایی

اصطلاح‌های کلیدی این درس

TPS — Tokens Per Second
توکن در ثانیه: رایج‌ترین واحد توان عملیاتی.
RPS — Requests Per Second
درخواست در ثانیه: تعداد درخواست‌های کامل‌شده در هر ثانیه.
RPM — Requests Per Minute
درخواست در دقیقه: برای مدل‌هایی که هر درخواستشان چند ثانیه طول می‌کشد، رایج‌تر از RPS.
SLO — Service-Level Objective
هدف سطح سرویس: عددی که سرویس باید به آن برسد، مثل «اولین توکن زیر یک ثانیه».
SMI — System Management Interface
واسط مدیریت سیستم: ابزار nvidia-smi؛ «بهره‌وری» آن فقط درصد زمان مشغول بودن GPU است.
MFU — Model FLOP/s Utilization
بهره‌وری فلاپ مدل: توان عملیاتی واقعی تقسیم بر بیشینهٔ نظری تراشه در اوج FLOP/s.
MBU — Model Bandwidth Utilization
بهره‌وری پهنای باند مدل: چند درصد پهنای باند حافظهٔ تراشه واقعاً مصرف می‌شود.

پرسش‌هایی که این درس جواب می‌دهد

  • توان عملیاتی (throughput)؟
  • چرا مقایسهٔ توان عملیاتی دو مدل تقریبی است؟
  • گودپوت (goodput)؟
  • بهره‌وری GPU در nvidia-smi چه می‌سنجد؟
  • MFU و MBU؟
  • کار محاسبه‌محور و پهنای‌باندمحور چه MFU و MBU ای دارند؟
  • چرا بهره‌وری بالا هدف نیست؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com