شیدهوش
فصل ۱۰ · درس ۶ از ۱۷

۶. رصد اپلیکیشن هوش مصنوعی (۱): هدف، و سنجه‌هایی که می‌ارزند

رصدپذیری (Observability) باید از روز اول جزء طراحی محصول باشد، نه چیزی که آخر کار اضافه می‌شود — و هرچه محصول پیچیده‌تر، حیاتی‌تر. این درس می‌گوید رصد قرار است چه چیزی را کم و چه چیزی را پیدا کند، کیفیت خود رصد را با کدام سه عدد بسنجیم، و چرا سنجه‌ها باید از روی حالت‌های خرابی طراحی شوند، نه برعکس.

زمان مطالعه: ۲۰ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۱۰، بخش Monitoring and Observability (تا Metrics) — صفحهٔ ۸۷۷

مانیتورینگ و رصد اپلیکیشن هوش مصنوعی (LLMOps) برای چیست و کدام سنجه‌ها واقعاً ارزش دنبال کردن دارند.

رصد اپلیکیشن هوش مصنوعی برای چه؟

رصدپذیری روشی همگانی در همهٔ شاخه‌های مهندسی نرم‌افزار است: صنعتی بزرگ با روش‌های جاافتاده و ابزارهای آمادهٔ تجاری و متن‌باز (Open Source) فراوان. (کتاب در پانویس می‌گوید ارزش بازار چند شرکت بزرگ این صنعت — Datadog، Splunk، Dynatrace و New Relic — نزدیک به ۱۰۰ میلیارد دلار است.) برای اینکه چرخ را دوباره اختراع نکنیم، تمرکز روی چیزی است که مخصوص اپلیکیشن‌های ساخته‌شده روی مدل‌های پایه (Foundation Models) است.

هدف رصد همان هدف ارزیابی است: کم کردن خطر و پیدا کردن فرصت. خطرهایی که رصد باید کمک کند کمشان کنید: خرابی اپلیکیشن، حملهٔ امنیتی و رانش (drift). فرصت‌ها: بهتر کردن اپلیکیشن و صرفه‌جویی در هزینه. رصد شما را پاسخگو هم نگه می‌دارد، چون کارایی سیستم را دیدنی می‌کند.

سه عدد برای کیفیت خود رصد

کتاب سه سنجه را از جامعهٔ DevOps قرض می‌گیرد:

CFR بالا لزوماً نشانهٔ رصد بد نیست؛ ولی یعنی باید خط لولهٔ ارزیابی را بازنگری کنید تا تغییرهای بد پیش از استقرار گرفته شوند. ارزیابی و رصد باید نزدیک هم کار کنند: سنجه‌های ارزیابی باید به سنجه‌های رصد خوب ترجمه شوند — مدلی که در ارزیابی خوب است، در رصد هم خوب باشد — و مشکلاتی که رصد پیدا می‌کند باید به خط لولهٔ ارزیابی برگردند (کاری که در درس ۱۷ با «پرسش‌های سخت» می‌کنیم).

در حال بررسی دسترسی…

در این درس

  • رصد اپلیکیشن هوش مصنوعی برای چه؟
  • سه عدد برای کیفیت خود رصد
  • سنجه: از حالت خرابی شروع کنید
  • یک دورهٔ سریع از سنجه‌ها
  • سرکشی یا بررسی کامل؟ و برش‌ها
  • خودآزمایی

اصطلاح‌های کلیدی این درس

MTTR — Mean Time To Response
میانگین زمان تا پاسخ: بعد از کشف، چقدر طول می‌کشد تا مشکل حل شود.
CFR — Change Failure Rate
نرخ شکست تغییر: درصد تغییرها یا استقرارهایی که به اصلاح یا برگرداندن رسیدند.
TPS — Tokens Per Second
توکن در ثانیه: رایج‌ترین واحد توان عملیاتی.
RPS — Requests Per Second
درخواست در ثانیه: تعداد درخواست‌های کامل‌شده در هر ثانیه.
DAU — Daily Active Users
کاربر فعال روزانه: تعداد کاربرهای متمایزی که در یک روز از محصول استفاده می‌کنند؛ یک سنجهٔ ستارهٔ قطبی رایج.

پرسش‌هایی که این درس جواب می‌دهد

  • هدف رصد؟
  • MTTD، MTTR و CFR؟
  • CFR بالا یعنی چه؟
  • monitoring در برابر observability؟
  • سنجه‌ها را از کجا طراحی کنیم؟
  • چند سیگنال گفت‌وگو برای پایش؟
  • سنجهٔ ستارهٔ قطبی؟
  • سرکشی در برابر بررسی کامل؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com