شیدهوش
فصل ۶ · درس ۴ از ۱۷

۴. کلیدواژه‌ای یا معنایی؟ و سنجیدن بازیاب

هر خانواده مزیت و هزینهٔ خودش را دارد. این درس دو خانواده را در سرعت، کیفیت و هزینه کنار هم می‌گذارد، موازنهٔ نمایه و پرس‌وجو را می‌گوید، و نشان می‌دهد یک بازیاب را چطور باید سنجید.

زمان مطالعه: ۱۸ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۶، بخش Comparing retrieval algorithms — صفحهٔ ۵۱۳

کدام بازیاب برای RAG بهتر است؛ دقت و بازیابی زمینه و MRR را چطور بسنجیم.

کلیدواژه‌ای یا معنایی؟

هر دو خانواده تاریخچهٔ طولانی و راه‌حل‌های پخته دارند و شروع با هر کدام نسبتاً آسان است. بازیابی کلیدواژه‌ای هم در نمایه‌سازی و هم در پرس‌وجو سریع‌تر است، چون بیرون کشیدن واژه از ساختن امبدینگ (Embedding) سبک‌تر است. از همان اول خوب کار می‌کند، ولی پیچ‌های کمی برای بهتر کردن دارد. بازیابی معنایی (Semantic Search) را می‌شود با تنظیم دقیق (Fine-tuning) مدل امبدینگ و بازیاب، جدا یا همراه با مدل مولد، در طول زمان بهتر کرد.

یک نقطه‌ضعف مهم بازیابی معنایی: تبدیل متن به امبدینگ، کلیدواژه‌های دقیق را محو می‌کند — مثل کد یک خطا (EADDRNOTAVAIL (99)) یا اسم یک محصول. امبدینگ می‌فهمد پرسش «دربارهٔ خطای شبکه» است، ولی ممکن است سندی را که دقیقاً همان کد را دارد بالا نیاورد. BM25 این کار را راحت می‌کند. درس بعد می‌بیند چرا همین باعث می‌شود این دو را ترکیب کنند.

در حال بررسی دسترسی…

در این درس

  • کلیدواژه‌ای یا معنایی؟
  • بازیاب را چطور بسنجیم؟
  • خودآزمایی

اصطلاح‌های کلیدی این درس

QPS — Queries Per Second
پرس‌وجو در ثانیه: چند پرس‌وجو در هر ثانیه پاسخ داده می‌شود.
NDCG — Normalized Discounted Cumulative Gain
بهرهٔ تجمعی تنزیل‌شدهٔ نرمال‌شده: سنجهٔ رتبه‌بندی که هم به درست بودن نتیجه اهمیت می‌دهد هم به جای آن در فهرست.
MAP — Mean Average Precision
میانگین دقت متوسط: سنجه‌ای برای کیفیت رتبه‌بندی نتیجه‌های بازیابی.
MRR — Mean Reciprocal Rank
میانگین رتبهٔ معکوس: سنجهٔ بازیابی: جواب درست به‌طور میانگین در چندمین نتیجه ظاهر می‌شود.
MTEB — Massive Text Embedding Benchmark
آزمون گستردهٔ امبدینگ متن: آزمونی که کیفیت مدل‌های امبدینگ را در ده‌ها کار مختلف می‌سنجد.
BEIR — Benchmarking IR
محک بازیابی اطلاعات: چارچوب سنجش بازیاب‌ها روی ۱۴ آزمون رایج.

پرسش‌هایی که این درس جواب می‌دهد

  • نقطه‌ضعف مهم بازیابی معنایی در برابر BM25 چیست؟
  • دقت زمینه و بازیابی زمینه هر کدام چه می‌پرسند؟
  • چرا خیلی از چارچوب‌ها فقط دقت زمینه را گزارش می‌کنند، نه بازیابی را؟
  • چهار سنجهٔ ANN-Benchmarks؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com