۲. API هوش مصنوعی آنلاین و دستهای، و سنجههای تأخیر
پیش از بهینه کردن باید بدانید چه چیزی را بهینه میکنید. این درس دو نوع API استنتاج (Inference) را مقایسه میکند، بعد تأخیر (Latency) را به تکههایش میشکند: زمان تا اولین توکن، زمان هر توکن، و اینکه چرا «میانگین تأخیر» تقریباً همیشه گمراهکننده است.
API آنلاین و دستهای، و سنجههای تأخیر مدل زبانی: TTFT، زمان هر توکن و صدکها.
آنلاین یا دستهای؟
بسیاری از ارائهدهندهها دو نوع API استنتاج دارند:
API آنلاین هم ممکن است درخواستها را دسته کند، به شرطی که تأخیر زیاد بالا نرود (درس ۱۰). فرق واقعی این است که آنلاین روی تأخیر کم تمرکز دارد و دستهای روی توان عملیاتی (Throughput) بالا. کاربردهای رو به کاربر مثل چتبات (Chatbot) و تولید کد تأخیر کم میخواهند؛ ولی این کارها برای API دستهای عالیاند:
- ساختن دادهٔ ساختگی (فصل ۸)
- گزارشهای دورهای: خلاصهٔ پیامهای Slack، تحلیل احساس دربارهٔ برند در شبکههای اجتماعی، تحلیل تیکتهای پشتیبانی
- ورود مشتری تازهای که باید همهٔ سندهای بارگذاریشدهاش پردازش شود
- مهاجرت به مدل تازه که پردازش دوبارهٔ همهٔ داده را میخواهد
- پیشنهاد شخصی یا خبرنامه برای انبوه مشتریها
- بهروزرسانی پایگاه دانش با نمایهسازی دوبارهٔ دادهٔ سازمان (فصل ۶)
در حال بررسی دسترسی…
در این درس
- آنلاین یا دستهای؟
- جریان (streaming)
- تأخیر، TTFT و TPOT
- چقدر سریع کافی است؟
- اولین توکن کاربر، نه اولین توکن مدل
- تأخیر یک توزیع است: صدکها
- خودآزمایی
اصطلاحهای کلیدی این درس
- TTFT — Time To First Token
- زمان تا اولین توکن: چقدر طول میکشد تا کاربر اولین حرف پاسخ را ببیند؛ حس سرعت را همین میسازد.
- TPOT — Time Per Output Token
- زمان بهازای هر توکن خروجی: بعد از شروع پاسخ، هر توکن بعدی چقدر طول میکشد؛ روانی تایپشدن پاسخ.
- TBT — Time Between Tokens
- زمان بین توکنها: فاصلهٔ دو توکن خروجی پشت سر هم؛ نامی که LinkedIn به کار میبرد.
- ITL — Inter-Token Latency
- تأخیر بین توکنها: نام NVIDIA برای فاصلهٔ زمانی دو توکن خروجی.
- CoT — Chain-of-Thought
- زنجیرهٔ فکر: خواستن از مدل که پیش از جواب نهایی، قدمبهقدم استدلال کند.
پرسشهایی که این درس جواب میدهد
- API آنلاین در برابر API دستهای؟
- «استنتاج دستهای» در ML سنتی چه فرقی دارد؟
- عیب حالت جریان (streaming)؟
- TTFT و TPOT؟
- TPOT برای چت جریانی چقدر کافی است؟
- زمان تا انتشار (time to publish)؟
- چرا میانگین تأخیر گمراه میکند؟
- TBT و ITL؟