شیدهوش
فصل ۱۰ · درس ۷ از ۱۷

۷. رصد اپلیکیشن هوش مصنوعی (۲): لاگ، رد و رانش

سنجه می‌گوید چیزی خراب شده؛ نمی‌گوید چه چیزی. برای آن لاگ لازم است — و برای اینکه بفهمید کجای مسیر خراب شده، رد (trace). این درس قاعدهٔ «همه‌چیز را لاگ کن» را باز می‌کند، نشان می‌دهد رد یک درخواست چه شکلی دارد، و سه نوع رانش (Drift) را معرفی می‌کند که بی‌خبر سیستم را عوض می‌کنند: پرامپتی که همکاری اصلاحش کرد، کاربرهایی که رفتارشان عوض شد، و مدلی که ارائه‌دهنده بی‌صدا عوضش کرد.

زمان مطالعه: ۲۲ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۱۰، بخش‌های Logs and traces و Drift detection (در Monitoring and Observability) — صفحهٔ ۸۷۷

رصد مدل زبانی با لاگ و رد درخواست، و تشخیص رانش داده (data drift) با قاعده‌ی هشدار زنده.

سنجه، بعد لاگ

سنجه‌ها معمولاً تجمیعی‌اند: اطلاعات رویدادهای سیستم در طول زمان را فشرده می‌کنند و با یک نگاه می‌گویند وضع چطور است. ولی پرسش‌های زیادی هست که سنجه جوابشان را نمی‌دهد. مثلاً بعد از دیدن یک جهش در فعالیتی خاص، شاید بپرسید: «قبلاً هم این اتفاق افتاده بود؟» لاگ‌ها جواب این را می‌دهند.

اگر سنجه اندازه‌گیری عددی ویژگی‌ها و رویدادهاست، لاگ رکوردی فقط‌افزودنی از رویدادهاست. در محیط واقعی، اشکال‌زدایی شاید این شکل را داشته باشد:

  1. سنجه‌ها می‌گویند پنج دقیقه پیش چیزی خراب شد، ولی نمی‌گویند چه شد.
  2. به لاگ رویدادهای حدود پنج دقیقه پیش نگاه می‌کنید تا بفهمید چه شد.
  3. خطاهای لاگ را با سنجه‌ها تطبیق می‌دهید تا مطمئن شوید مشکل درست را پیدا کرده‌اید.

برای کشف سریع، سنجه‌ها باید سریع حساب شوند. برای پاسخ سریع، لاگ‌ها باید آماده و در دسترس باشند: اگر لاگ‌ها ۱۵ دقیقه تأخیر دارند، برای پیدا کردن مشکلی که ۵ دقیقه پیش افتاده باید منتظر رسیدنشان بمانید.

همه‌چیز را لاگ کن

چون نمی‌دانید در آینده دقیقاً به کدام لاگ نگاه خواهید کرد، قاعدهٔ کلی لاگ کردن همه‌چیز است:

در حال بررسی دسترسی…

در این درس

  • سنجه، بعد لاگ
  • همه‌چیز را لاگ کن
  • رد: مسیر یک درخواست
  • رانش: وقتی چیزی بی‌خبر عوض می‌شود
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • سنجه، لاگ و رد؟
  • قاعدهٔ کلی لاگ؟
  • چرا تأخیر لاگ مهم است؟
  • توصیهٔ کتاب دربارهٔ خواندن دادهٔ واقعی؟
  • سه نوع رانش کتاب؟
  • تغییر پرامپت سیستمی را چطور بگیریم؟
  • چرا رانش آرام دیر کشف می‌شود؟
  • قاعدهٔ هشدار حساس در برابر محتاط؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com