شیدهوش
فصل ۹ · درس ۲ از ۱۵

۲. API هوش مصنوعی آنلاین و دسته‌ای، و سنجه‌های تأخیر

پیش از بهینه کردن باید بدانید چه چیزی را بهینه می‌کنید. این درس دو نوع API استنتاج (Inference) را مقایسه می‌کند، بعد تأخیر (Latency) را به تکه‌هایش می‌شکند: زمان تا اولین توکن، زمان هر توکن، و اینکه چرا «میانگین تأخیر» تقریباً همیشه گمراه‌کننده است.

زمان مطالعه: ۱۹ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۹، بخش‌های Online and batch inference APIs و Latency, TTFT, and TPOT — صفحهٔ ۷۷۰

API آنلاین و دسته‌ای، و سنجه‌های تأخیر مدل زبانی: TTFT، زمان هر توکن و صدک‌ها.

آنلاین یا دسته‌ای؟

بسیاری از ارائه‌دهنده‌ها دو نوع API استنتاج دارند:

API آنلاین هم ممکن است درخواست‌ها را دسته کند، به شرطی که تأخیر زیاد بالا نرود (درس ۱۰). فرق واقعی این است که آنلاین روی تأخیر کم تمرکز دارد و دسته‌ای روی توان عملیاتی (Throughput) بالا. کاربردهای رو به کاربر مثل چت‌بات (Chatbot) و تولید کد تأخیر کم می‌خواهند؛ ولی این کارها برای API دسته‌ای عالی‌اند:

  • ساختن دادهٔ ساختگی (فصل ۸)
  • گزارش‌های دوره‌ای: خلاصهٔ پیام‌های Slack، تحلیل احساس دربارهٔ برند در شبکه‌های اجتماعی، تحلیل تیکت‌های پشتیبانی
  • ورود مشتری تازه‌ای که باید همهٔ سندهای بارگذاری‌شده‌اش پردازش شود
  • مهاجرت به مدل تازه که پردازش دوبارهٔ همهٔ داده را می‌خواهد
  • پیشنهاد شخصی یا خبرنامه برای انبوه مشتری‌ها
  • به‌روزرسانی پایگاه دانش با نمایه‌سازی دوبارهٔ دادهٔ سازمان (فصل ۶)

در حال بررسی دسترسی…

در این درس

  • آنلاین یا دسته‌ای؟
  • جریان (streaming)
  • تأخیر، TTFT و TPOT
  • چقدر سریع کافی است؟
  • اولین توکن کاربر، نه اولین توکن مدل
  • تأخیر یک توزیع است: صدک‌ها
  • خودآزمایی

اصطلاح‌های کلیدی این درس

TTFT — Time To First Token
زمان تا اولین توکن: چقدر طول می‌کشد تا کاربر اولین حرف پاسخ را ببیند؛ حس سرعت را همین می‌سازد.
TPOT — Time Per Output Token
زمان به‌ازای هر توکن خروجی: بعد از شروع پاسخ، هر توکن بعدی چقدر طول می‌کشد؛ روانی تایپ‌شدن پاسخ.
TBT — Time Between Tokens
زمان بین توکن‌ها: فاصلهٔ دو توکن خروجی پشت سر هم؛ نامی که LinkedIn به کار می‌برد.
ITL — Inter-Token Latency
تأخیر بین توکن‌ها: نام NVIDIA برای فاصلهٔ زمانی دو توکن خروجی.
CoT — Chain-of-Thought
زنجیرهٔ فکر: خواستن از مدل که پیش از جواب نهایی، قدم‌به‌قدم استدلال کند.

پرسش‌هایی که این درس جواب می‌دهد

  • API آنلاین در برابر API دسته‌ای؟
  • «استنتاج دسته‌ای» در ML سنتی چه فرقی دارد؟
  • عیب حالت جریان (streaming)؟
  • TTFT و TPOT؟
  • TPOT برای چت جریانی چقدر کافی است؟
  • زمان تا انتشار (time to publish)؟
  • چرا میانگین تأخیر گمراه می‌کند؟
  • TBT و ITL؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com