۲. بازیابی کلیدواژهای: TF-IDF و BM25
سادهترین راه پیدا کردن سندهای مرتبط برای هوش مصنوعی، گشتن دنبال واژههای خود پرسش است. این درس نشان میدهد این ایدهٔ ساده چطور با دو سؤال — «این واژه در این سند چند بار آمده؟» و «این واژه چقدر کمیاب است؟» — به BM25 میرسد، الگوریتمی چهلساله که هنوز رقیب سرسخت روشهای تازه است.
بازیابی کلیدواژهای در RAG: TF-IDF و BM25 چطور تکهی مرتبط را پیدا میکنند، با ابزار زنده.
بازیابی یعنی رتبهبندی
بازیابی ایدهای صدساله است و ستون فقرات موتورهای جستوجو، سیستمهای پیشنهاددهنده و تحلیل لاگها. در اصل، هر بازیابی یک کار میکند: سندها را بر اساس ربطشان به پرسش رتبهبندی میکند. فرق الگوریتمها در این است که «ربط» را چطور حساب میکنند. این درس و درس بعد دو خانوادهٔ اصلی را میبینند: بازیابی کلیدواژهای (term-based) و بازیابی بر پایهٔ امبدینگ.
اولین ایده: بشمار
پرسش «مهندسی هوش مصنوعی» را بگیرید. سادهترین کار: همهٔ سندهایی را که این واژهها را دارند برگردان. دو مشکل پیش میآید:
در حال بررسی دسترسی…
در این درس
- بازیابی یعنی رتبهبندی
- اولین ایده: بشمار
- یک حساب کامل
- فهرست وارونه (Inverted Index): چطور سریع پیدا کنیم؟
- BM25: TF-IDF با یک اصلاح مهم
- توکنسازی، این بار برای جستوجو
- خودآزمایی
اصطلاحهای کلیدی این درس
- TF — Term Frequency
- بسامد واژه: چند بار یک واژه در یک سند آمده است.
- IDF — Inverse Document Frequency
- بسامد معکوس سند: هرچه واژه در سندهای کمتری آمده باشد، مهمتر است.
- TF-IDF — Term Frequency - Inverse Document Frequency
- بسامد واژه در بسامد معکوس سند: وزندهی به کلمات: کلمهای مهم است که در این سند زیاد و در بقیه کم باشد.
- BM25 — Best Matching 25
- الگوریتم تطبیق واژگانی BM25: روش کلاسیک جستوجو بر اساس تکرار کلمات؛ هنوز هم رقیب سرسختی برای امبدینگ است.
پرسشهایی که این درس جواب میدهد
- TF و IDF هر کدام چه میسنجند؟
- فهرست وارونه (inverted index) چیست؟
- BM25 چه دو اصلاحی روی TF-IDF دارد؟
- چرا BM25 با وجود چهل سال سن هنوز مهم است؟
- چرا بازیابی کلیدواژهای در فارسی دردسر بیشتری دارد؟
- SPLADE چرا تقسیم پراکنده/متراکم را گیجکننده میکند؟
- پیچهای k1 و b در BM25؟