شیدهوش
فصل ۶ · درس ۱۵ از ۱۷

۱۵. پروژه (۱): موتور جست‌وجوی ذهن‌یار

ذهن‌یار تا امروز فقط چیزهایی را می‌دانست که در دانش mock یا واژه‌نامهٔ فصل ۵ بود. در این درس منبع دانشش را می‌سازیم — متن درس‌های نظری خود دوره — و یک موتور جست‌وجوی کامل از صفر: تکه‌کردن، BM25 با فهرست وارونه، جست‌وجوی معنایی (Semantic Search) با امبدینگ (Embedding) فصل ۳، و ترکیب این دو با RRF. بعد با ۲۴ پرسش می‌سنجیم کدام پیکربندی واقعاً بهتر است.

زمان مطالعه: ۶۹ دقیقهرایگان با ثبت‌ناممرجع در کتاب: پروژهٔ طراحی‌شده برای این دوره، بر پایهٔ درس‌های ۱ تا ۶ همین فصل

موتور جستجوی ذهن‌یار را با BM25، امبدینگ و جستجوی ترکیبی از صفر با پایتون بسازید.

چه می‌سازیم؟

قدم ۱ — پوشه‌های این درس

یک پوشه برای منبع دانش، و پوشهٔ اسکریپت‌های فصل ۶ با فایل خالی __init__.py آن:

قدم ۲ — منبع دانش

ذهن‌یار قرار است از روی متن درس‌ها جواب بدهد. این بار به‌جای فایل lessons.txt فصل ۲ — که فقط پاراگراف بود — نسخه‌ای لازم داریم که بگوید هر پاراگراف مال کدام درس و کدام بخش است، تا ذهن‌یار بتواند منبع جوابش را هم بگوید. دانلودش کنید: دانلود متن درس‌های نظری فصل ۱ تا ۵ (lessons.md). بعد فایل را در پوشهٔ docs بگذارید.

فایل را در VS Code باز کنید و نگاهی بیندازید. قالبش مارک‌داون است، با سه قاعدهٔ ساده:

  • خطی که با # شروع شود، عنوان یک درس است — هر درس برای ما یک «سند» است.
  • خطی که با ## یا ### شروع شود، عنوان یک بخش داخل همان درس است.
  • بقیه پاراگراف‌اند، با یک خط خالی بینشان.

در حال بررسی دسترسی…

در این درس

  • چه می‌سازیم؟
  • قدم ۱ — پوشه‌های این درس
  • قدم ۲ — منبع دانش
  • قدم ۳ — خواندن و تکه‌کردن (Chunking): docs.py
  • قدم ۴ — سه بازیاب: retrieval.py
  • قدم ۵ — پرسش‌های ارزیابی: retrieval.json
  • قدم ۶ — اسکریپت: run_retrieval.py
  • قدم ۷ — اجرا کنید
  • چه چیزی ساختیم؟
  • تمرین شما
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • در پروژهٔ ذهن‌یار، چرا جست‌وجوی ترکیبی روی تکه‌های ساختاری از BM25 تنها بدتر شد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com