۱۲. پروژه (۲): حذف تکراری، آلودگی و قالب نهایی
۴۲۷ پیام تمیز داریم، ولی خیلیهایشان تکراریاند و بعضی عیناً سؤالهای آزمون. در این درس سه ابزار میسازیم: اثر انگشت برای تکراری دقیق، MinHash و LSH برای تکراری نزدیک، و با همانها آلودگی را میگیریم. آخر کار داده را در دو قالب ذخیره میکنیم: یکی برای مسیریاب (Router) و یکی قالب چت برای هر مدل زبانی (Language Model).
ساخت دیتاست با پایتون: لاگهای ذهنیار را با MinHash و LSH از تکراریها و آلودگی پاک کنید و قالب نهایی بسازید.
چه میسازیم؟
قدم ۱ — آزمون طلایی
برای گرفتن آلودگی، باید بدانیم آزمون چیست. دو آزمون داریم: سؤالهای آزمون فصل ۷ که در data/router.json هست، و یک آزمون تازه: ۱۸۰ سؤال کاربر که هیچکدام در لاگها نیست و برچسبشان وارسی شده — ۲۵ سؤال از هر فصل و ۳۰ سؤال بیرون از دوره. همان «دیتاست طلایی» فصل ۴، این بار برای مسیریاب. اگر پوشهٔ evals را از فصل ۳ ندارید، بسازیدش:
و آزمون را دانلود کنید: دانلود آزمون کاربران (router_users.json) و فایل را در پوشهٔ evals بگذارید. ساختارش:
قدم ۲ — سه ایده، پیش از کد
۱. اثر انگشت
برای پیدا کردن تکراری دقیق، لازم نیست هر پیام را با همهٔ پیامهای دیگر مقایسه کنیم. از هر متن یک اثر انگشت میسازیم — با تابع درهمسازی SHA-256، که از هر متنی یک رشتهٔ ۶۴ حرفی میسازد و دو متن متفاوت تقریباً هرگز اثر انگشت یکسان ندارند. پیامهایی با اثر انگشت یکسان، تکراریاند. ولی پیش از اثر انگشت، متن را با normalize فصل ۳ یکسان میکنیم؛ وگرنه «یعنی چه؟» و «یعنی چه ؟» دو اثر انگشت متفاوت میگرفتند.
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- قدم ۱ — آزمون طلایی
- قدم ۲ — سه ایده، پیش از کد
- ۱. اثر انگشت
- ۲. زونا و ژاکارد
- ۳. MinHash و LSH
- قدم ۳ — dedup.py
- قدم ۴ — run_dedup.py
- قدم ۵ — اجرا کنید
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- LSH در ذهنیار کار حذف تکراری نزدیک را چقدر کم کرد؟