شیدهوش
فصل ۸ · درس ۱۲ از ۱۴

۱۲. پروژه (۲): حذف تکراری، آلودگی و قالب نهایی

۴۲۷ پیام تمیز داریم، ولی خیلی‌هایشان تکراری‌اند و بعضی عیناً سؤال‌های آزمون. در این درس سه ابزار می‌سازیم: اثر انگشت برای تکراری دقیق، MinHash و LSH برای تکراری نزدیک، و با همان‌ها آلودگی را می‌گیریم. آخر کار داده را در دو قالب ذخیره می‌کنیم: یکی برای مسیریاب (Router) و یکی قالب چت برای هر مدل زبانی (Language Model).

زمان مطالعه: ۴۵ دقیقهرایگان با ثبت‌ناممرجع در کتاب: پروژهٔ طراحی‌شده برای این دوره، بر پایهٔ درس‌های ۹ و ۱۰ همین فصل

ساخت دیتاست با پایتون: لاگ‌های ذهن‌یار را با MinHash و LSH از تکراری‌ها و آلودگی پاک کنید و قالب نهایی بسازید.

چه می‌سازیم؟

قدم ۱ — آزمون طلایی

برای گرفتن آلودگی، باید بدانیم آزمون چیست. دو آزمون داریم: سؤال‌های آزمون فصل ۷ که در data/router.json هست، و یک آزمون تازه: ۱۸۰ سؤال کاربر که هیچ‌کدام در لاگ‌ها نیست و برچسبشان وارسی شده — ۲۵ سؤال از هر فصل و ۳۰ سؤال بیرون از دوره. همان «دیتاست طلایی» فصل ۴، این بار برای مسیریاب. اگر پوشهٔ evals را از فصل ۳ ندارید، بسازیدش:

و آزمون را دانلود کنید: دانلود آزمون کاربران (router_users.json) و فایل را در پوشهٔ evals بگذارید. ساختارش:

قدم ۲ — سه ایده، پیش از کد

۱. اثر انگشت

برای پیدا کردن تکراری دقیق، لازم نیست هر پیام را با همهٔ پیام‌های دیگر مقایسه کنیم. از هر متن یک اثر انگشت می‌سازیم — با تابع درهم‌سازی SHA-256، که از هر متنی یک رشتهٔ ۶۴ حرفی می‌سازد و دو متن متفاوت تقریباً هرگز اثر انگشت یکسان ندارند. پیام‌هایی با اثر انگشت یکسان، تکراری‌اند. ولی پیش از اثر انگشت، متن را با normalize فصل ۳ یکسان می‌کنیم؛ وگرنه «یعنی چه؟» و «یعنی چه ؟» دو اثر انگشت متفاوت می‌گرفتند.

در حال بررسی دسترسی…

در این درس

  • چه می‌سازیم؟
  • قدم ۱ — آزمون طلایی
  • قدم ۲ — سه ایده، پیش از کد
  • ۱. اثر انگشت
  • ۲. زونا و ژاکارد
  • ۳. MinHash و LSH
  • قدم ۳ — dedup.py
  • قدم ۴ — run_dedup.py
  • قدم ۵ — اجرا کنید
  • چه چیزی ساختیم؟
  • تمرین شما
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • LSH در ذهن‌یار کار حذف تکراری نزدیک را چقدر کم کرد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com