مجموعه‌ی ارزیابی چیست و چرا بدون آن شروع نمی‌کنیم

فرض کنید ابزاری خریده‌اید که نامه‌های ورودی شرکت را دسته‌بندی می‌کند. یک هفته کار می‌کند. از شما می‌پرسند: «خوب کار می‌کند؟»

جواب «به‌نظر خوب می‌آید» جواب نیست. جواب درست این است: «روی ۲۰۰ نامه‌ای که خودمان از قبل دسته‌بندی‌شان را می‌دانستیم، ۱۷۰ تا را درست دسته‌بندی کرد.» تفاوت این دو جمله، همان چیزی است که به آن مجموعه‌ی ارزیابی می‌گوییم.

تعریف ساده

مجموعه‌ی ارزیابی یک بسته نمونه است که برای هرکدامش از قبل می‌دانید پاسخ درست چیست. مدل را روی آن اجرا می‌کنید و می‌شمارید چند تا را درست جواب داد.

همین. نه پیچیده‌تر از این.

چرا لازم است

سه دلیل، به‌ترتیب اهمیت:

یک — بدون آن نمی‌فهمید بهتر شده یا بدتر. فردا که تنظیمات را عوض کنید، ابزار را به‌روز کنید، یا مدل را عوض کنید، از کجا می‌فهمید کیفیت بالا رفته؟ حافظه‌ی شما از حسِ کیفیتِ هفته‌ی پیش قابل اتکا نیست.

دو — بدون آن نمی‌توانید معیار پذیرش امضا کنید. معیار پذیرش یعنی عددی که پیش از شروع کار توافق می‌شود. آن عدد باید روی چیزی سنجیده شود.

سه — بدون آن، بحث درباره‌ی کیفیت به سلیقه تبدیل می‌شود. یک نفر می‌گوید خوب است، یکی می‌گوید نیست، و تصمیم به این می‌رسد که کدامشان بلندتر حرف بزند.

چطور اولین مجموعه را بسازید

برخلاف تصورش، سخت نیست. برای شروع بیست نمونه کافی است.

گام یک — نمونه‌های واقعی جمع کنید. از کار واقعی خودتان، نه از مثال ساختگی. بیست نامه‌ی واقعی، بیست پرسش واقعی مشتری، بیست فاکتور واقعی.

گام دو — پاسخ درست را خودتان بنویسید. این قسمت وقت‌گیر است و نمی‌شود از زیرش در رفت. اگر خودتان نمی‌دانید پاسخ درست چیست، مدل هم نخواهد دانست.

گام سه — موارد سخت را عمداً اضافه کنید. اگر همه‌ی بیست نمونه ساده باشند، نمره‌ی بالا هیچ چیزی به شما نمی‌گوید. حداقل پنج مورد مرزی و مبهم بگذارید.

گام چهار — جدایشان نگه دارید. نمونه‌هایی که برای ساختن و تنظیم‌کردن استفاده می‌کنید نباید همان‌هایی باشند که با آن‌ها نمره می‌دهید. وگرنه دارید امتحان را با برگه‌ی جواب می‌دهید.

چند نکته که معمولاً از قلم می‌افتند

نمونه‌ها باید توزیع واقعی کارتان را داشته باشند. اگر در عمل هفتاد درصد نامه‌ها اداری‌اند و سی درصد شکایت، مجموعه‌ی ارزیابی هم باید همین نسبت را داشته باشد.

یک عدد کافی نیست. یک درصد دقت کلی ممکن است یعنی روی دسته‌ی پرتکرار عالی است و روی دسته‌ی مهم فاجعه. نمره را به تفکیک دسته هم ببینید.

خطای پرهزینه را جدا بشمارید. در بعضی کارها اشتباه‌کردن در یک جهت خیلی گران‌تر از جهت دیگر است. نامه‌ی محرمانه‌ای که به‌اشتباه عمومی دسته‌بندی شود، با نامه‌ی عمومی که محرمانه دسته‌بندی شود اصلاً یکی نیست.

مجموعه را زنده نگه دارید. هر بار مورد جدیدی دیدید که مدل اشتباه کرد، اضافه‌اش کنید. مجموعه‌ی ارزیابی سندی نیست که یک‌بار نوشته و بایگانی شود.

چه چیزی مجموعه‌ی ارزیابی نیست

جایگزین بازبینی انسانی نیست. عددی که می‌دهد فقط درباره‌ی همان نمونه‌هاست، نه درباره‌ی هر ورودی ممکن در آینده.

و تضمین نمی‌کند که مدل در شرایط جدید هم همان‌قدر خوب کار کند. اگر جنس نامه‌های ورودی شرکتتان عوض شود، عدد قدیمی دیگر معنا ندارد.

اقدام مشخص این هفته

پرتکرارترین کاری که فکر می‌کنید قابل خودکارسازی است انتخاب کنید. بیست نمونه‌ی واقعی از آن جمع کنید و پاسخ درست هرکدام را بنویسید. همین یک فایل، پایه‌ی هر تصمیم بعدی شما درباره‌ی آن کار خواهد بود.