۵. ترکیب بازیابها و هنر تکهکردن
در عمل هیچ سیستم هوش مصنوعی جدیای فقط یک بازیاب ندارد. این درس میگوید بازیابها را چطور ترکیب کنند (و فرمول سادهای به اسم RRF)، و سند را چطور ببرند تا تکهٔ درست پیدا شود.
هنر تکهکردن متن (chunking) در RAG و ترکیب بازیابها با RRF؛ با موتور جستجوی زنده روی درسهای دوره.
جستوجوی ترکیبی (Hybrid Search)
هر بازیاب مزیت خودش را دارد؛ پس سیستمهای واقعی معمولاً چند روش را با هم به کار میبرند. به ترکیب بازیابی کلیدواژهای و معنایی جستوجوی ترکیبی (hybrid search) میگویند. دو راه برای ترکیب هست:
۱. پشتسرهم: اول ارزان، بعد دقیق
یک بازیاب ارزان و کمدقت (مثل BM25) نامزدها را میآورد؛ بعد یک روش دقیقتر و گرانتر (مثل k-NN روی امبدینگها) بهترینها را از میان همان نامزدها انتخاب میکند. به این قدم دوم بازرتبهبندی (reranking) میگویند. مثال: برای «ترنسفورمر»، اول همهٔ سندهایی را که این واژه را دارند بیاور — چه دربارهٔ برق، چه معماری عصبی، چه فیلم — بعد با جستوجوی برداری (Vector Search) آنهایی را نگه دار که واقعاً به پرسش تو مربوطاند.
مثال دیگر: پرسش «چه کسی بیشترین فروش را به شرکت X داشته؟». اول همهٔ سندهای مربوط به X را با کلیدواژه بیاورید، بعد با جستوجوی برداری زمینهٔ «بیشترین فروش» را در همان سندها پیدا کنید.
در حال بررسی دسترسی…
در این درس
- جستوجوی ترکیبی (Hybrid Search)
- ۱. پشتسرهم: اول ارزان، بعد دقیق
- ۲. موازی: هر کدام رأی میدهد
- بهینهسازی ۱: تکهکردن (Chunking)
- همپوشانی
- خودآزمایی
اصطلاحهای کلیدی این درس
- RRF — Reciprocal Rank Fusion
- ادغام رتبهٔ معکوس: یکی کردن رتبهبندی چند بازیاب با جمع 1/(k+رتبه).
پرسشهایی که این درس جواب میدهد
- جستوجوی ترکیبی (hybrid search) چیست و دو شکلش؟
- فرمول RRF؟
- چرا RRF به امتیاز خام بازیابها کاری ندارد و فقط رتبه را میبیند؟
- چرا در تکهکردن همپوشانی میگذارند؟
- موازنهٔ تکههای کوچک در برابر بزرگ؟
- اثر ثابت k در RRF چیست؟
- بهای تکهکردن با توکنهای مدل؟