۷. رصد اپلیکیشن هوش مصنوعی (۲): لاگ، رد و رانش
سنجه میگوید چیزی خراب شده؛ نمیگوید چه چیزی. برای آن لاگ لازم است — و برای اینکه بفهمید کجای مسیر خراب شده، رد (trace). این درس قاعدهٔ «همهچیز را لاگ کن» را باز میکند، نشان میدهد رد یک درخواست چه شکلی دارد، و سه نوع رانش (Drift) را معرفی میکند که بیخبر سیستم را عوض میکنند: پرامپتی که همکاری اصلاحش کرد، کاربرهایی که رفتارشان عوض شد، و مدلی که ارائهدهنده بیصدا عوضش کرد.
رصد مدل زبانی با لاگ و رد درخواست، و تشخیص رانش داده (data drift) با قاعدهی هشدار زنده.
سنجه، بعد لاگ
سنجهها معمولاً تجمیعیاند: اطلاعات رویدادهای سیستم در طول زمان را فشرده میکنند و با یک نگاه میگویند وضع چطور است. ولی پرسشهای زیادی هست که سنجه جوابشان را نمیدهد. مثلاً بعد از دیدن یک جهش در فعالیتی خاص، شاید بپرسید: «قبلاً هم این اتفاق افتاده بود؟» لاگها جواب این را میدهند.
اگر سنجه اندازهگیری عددی ویژگیها و رویدادهاست، لاگ رکوردی فقطافزودنی از رویدادهاست. در محیط واقعی، اشکالزدایی شاید این شکل را داشته باشد:
- سنجهها میگویند پنج دقیقه پیش چیزی خراب شد، ولی نمیگویند چه شد.
- به لاگ رویدادهای حدود پنج دقیقه پیش نگاه میکنید تا بفهمید چه شد.
- خطاهای لاگ را با سنجهها تطبیق میدهید تا مطمئن شوید مشکل درست را پیدا کردهاید.
برای کشف سریع، سنجهها باید سریع حساب شوند. برای پاسخ سریع، لاگها باید آماده و در دسترس باشند: اگر لاگها ۱۵ دقیقه تأخیر دارند، برای پیدا کردن مشکلی که ۵ دقیقه پیش افتاده باید منتظر رسیدنشان بمانید.
همهچیز را لاگ کن
چون نمیدانید در آینده دقیقاً به کدام لاگ نگاه خواهید کرد، قاعدهٔ کلی لاگ کردن همهچیز است:
در حال بررسی دسترسی…
در این درس
- سنجه، بعد لاگ
- همهچیز را لاگ کن
- رد: مسیر یک درخواست
- رانش: وقتی چیزی بیخبر عوض میشود
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- سنجه، لاگ و رد؟
- قاعدهٔ کلی لاگ؟
- چرا تأخیر لاگ مهم است؟
- توصیهٔ کتاب دربارهٔ خواندن دادهٔ واقعی؟
- سه نوع رانش کتاب؟
- تغییر پرامپت سیستمی را چطور بگیریم؟
- چرا رانش آرام دیر کشف میشود؟
- قاعدهٔ هشدار حساس در برابر محتاط؟