شیدهوش
فصل ۶ · درس ۲ از ۱۷

۲. بازیابی کلیدواژه‌ای: TF-IDF و BM25

ساده‌ترین راه پیدا کردن سندهای مرتبط برای هوش مصنوعی، گشتن دنبال واژه‌های خود پرسش است. این درس نشان می‌دهد این ایدهٔ ساده چطور با دو سؤال — «این واژه در این سند چند بار آمده؟» و «این واژه چقدر کمیاب است؟» — به BM25 می‌رسد، الگوریتمی چهل‌ساله که هنوز رقیب سرسخت روش‌های تازه است.

زمان مطالعه: ۲۲ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۶، بخش Retrieval Algorithms: Term-based retrieval — صفحهٔ ۵۰۰

بازیابی کلیدواژه‌ای در RAG: TF-IDF و BM25 چطور تکه‌ی مرتبط را پیدا می‌کنند، با ابزار زنده.

بازیابی یعنی رتبه‌بندی

بازیابی ایده‌ای صدساله است و ستون فقرات موتورهای جست‌وجو، سیستم‌های پیشنهاددهنده و تحلیل لاگ‌ها. در اصل، هر بازیابی یک کار می‌کند: سندها را بر اساس ربطشان به پرسش رتبه‌بندی می‌کند. فرق الگوریتم‌ها در این است که «ربط» را چطور حساب می‌کنند. این درس و درس بعد دو خانوادهٔ اصلی را می‌بینند: بازیابی کلیدواژه‌ای (term-based) و بازیابی بر پایهٔ امبدینگ.

اولین ایده: بشمار

پرسش «مهندسی هوش مصنوعی» را بگیرید. ساده‌ترین کار: همهٔ سندهایی را که این واژه‌ها را دارند برگردان. دو مشکل پیش می‌آید:

در حال بررسی دسترسی…

در این درس

  • بازیابی یعنی رتبه‌بندی
  • اولین ایده: بشمار
  • یک حساب کامل
  • فهرست وارونه (Inverted Index): چطور سریع پیدا کنیم؟
  • BM25: TF-IDF با یک اصلاح مهم
  • توکن‌سازی، این بار برای جست‌وجو
  • خودآزمایی

اصطلاح‌های کلیدی این درس

TF — Term Frequency
بسامد واژه: چند بار یک واژه در یک سند آمده است.
IDF — Inverse Document Frequency
بسامد معکوس سند: هرچه واژه در سندهای کمتری آمده باشد، مهم‌تر است.
TF-IDF — Term Frequency - Inverse Document Frequency
بسامد واژه در بسامد معکوس سند: وزن‌دهی به کلمات: کلمه‌ای مهم است که در این سند زیاد و در بقیه کم باشد.
BM25 — Best Matching 25
الگوریتم تطبیق واژگانی BM25: روش کلاسیک جست‌وجو بر اساس تکرار کلمات؛ هنوز هم رقیب سرسختی برای امبدینگ است.

پرسش‌هایی که این درس جواب می‌دهد

  • TF و IDF هر کدام چه می‌سنجند؟
  • فهرست وارونه (inverted index) چیست؟
  • BM25 چه دو اصلاحی روی TF-IDF دارد؟
  • چرا BM25 با وجود چهل سال سن هنوز مهم است؟
  • چرا بازیابی کلیدواژه‌ای در فارسی دردسر بیشتری دارد؟
  • SPLADE چرا تقسیم پراکنده/متراکم را گیج‌کننده می‌کند؟
  • پیچ‌های k1 و b در BM25؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com