۱۵. پروژه (۱): موتور جستوجوی ذهنیار
ذهنیار تا امروز فقط چیزهایی را میدانست که در دانش mock یا واژهنامهٔ فصل ۵ بود. در این درس منبع دانشش را میسازیم — متن درسهای نظری خود دوره — و یک موتور جستوجوی کامل از صفر: تکهکردن، BM25 با فهرست وارونه، جستوجوی معنایی (Semantic Search) با امبدینگ (Embedding) فصل ۳، و ترکیب این دو با RRF. بعد با ۲۴ پرسش میسنجیم کدام پیکربندی واقعاً بهتر است.
موتور جستجوی ذهنیار را با BM25، امبدینگ و جستجوی ترکیبی از صفر با پایتون بسازید.
چه میسازیم؟
قدم ۱ — پوشههای این درس
یک پوشه برای منبع دانش، و پوشهٔ اسکریپتهای فصل ۶ با فایل خالی __init__.py آن:
قدم ۲ — منبع دانش
ذهنیار قرار است از روی متن درسها جواب بدهد. این بار بهجای فایل lessons.txt فصل ۲ — که فقط پاراگراف بود — نسخهای لازم داریم که بگوید هر پاراگراف مال کدام درس و کدام بخش است، تا ذهنیار بتواند منبع جوابش را هم بگوید. دانلودش کنید: دانلود متن درسهای نظری فصل ۱ تا ۵ (lessons.md). بعد فایل را در پوشهٔ docs بگذارید.
فایل را در VS Code باز کنید و نگاهی بیندازید. قالبش مارکداون است، با سه قاعدهٔ ساده:
- خطی که با
#شروع شود، عنوان یک درس است — هر درس برای ما یک «سند» است. - خطی که با
##یا###شروع شود، عنوان یک بخش داخل همان درس است. - بقیه پاراگرافاند، با یک خط خالی بینشان.
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- قدم ۱ — پوشههای این درس
- قدم ۲ — منبع دانش
- قدم ۳ — خواندن و تکهکردن (Chunking): docs.py
- قدم ۴ — سه بازیاب: retrieval.py
- قدم ۵ — پرسشهای ارزیابی: retrieval.json
- قدم ۶ — اسکریپت: run_retrieval.py
- قدم ۷ — اجرا کنید
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- در پروژهٔ ذهنیار، چرا جستوجوی ترکیبی روی تکههای ساختاری از BM25 تنها بدتر شد؟