۳. بازیابی معنایی: امبدینگ و پایگاه دادهٔ برداری
BM25 فقط ظاهر واژهها را میبیند، نه معنایشان. بازیابی بر پایهٔ امبدینگ (Embedding) سندها را بر اساس نزدیکی معنا رتبهبندی میکند. این درس میگوید این کار چطور انجام میشود و «پایگاه دادهٔ برداری» دقیقاً چه کار سختی میکند.
جستجوی معنایی با امبدینگ چطور کار میکند و پایگاه داده برداری (vector database) چه نقشی در RAG و هوش مصنوعی دارد.
وقتی ظاهر واژه گمراه میکند
بازیابی کلیدواژهای ربط را در سطح ظاهر واژهها میسنجد، نه معنا. در فصل ۳ دیدیم ظاهر یک متن همیشه معنایش را نشان نمیدهد. پرسش «معماری ترنسفورمر» ممکن است سندهایی دربارهٔ ترانسفورماتور برق یا فیلم تبدیلشوندگان (Transformers) برگرداند. و برعکس، سؤال «چرا مدل گاهی با اطمینان حرف ساختگی میزند؟» سند مربوط به «توهم» را پیدا نمیکند، چون حتی یک واژهٔ مشترک ندارد.
بازیابی بر پایهٔ امبدینگ (که بازیابی معنایی هم نامیده میشود) سندها را بر اساس اینکه معنایشان چقدر به پرسش نزدیک است رتبهبندی میکند. یادآوری از فصل ۳: امبدینگ برداری است که تلاش میکند ویژگیهای مهم دادهٔ اصلی را نگه دارد، طوری که متنهای هممعنا بردارهای نزدیک داشته باشند.
در حال بررسی دسترسی…
در این درس
- وقتی ظاهر واژه گمراه میکند
- کار سخت پایگاه دادهٔ برداری: جستوجو، نه ذخیره
- k-NN با عدد
- خودآزمایی
اصطلاحهای کلیدی این درس
- k-NN — k-Nearest Neighbors
- k نزدیکترین همسایه: مقایسهٔ پرسش با همهٔ بردارها و برداشتن k تای نزدیکتر؛ دقیق ولی کند.
- ANN — Approximate Nearest Neighbor
- نزدیکترین همسایهٔ تقریبی: جستوجوی برداری سریع که کمی دقت را فدای سرعت میکند.
- FAISS — Facebook AI Similarity Search
- جستوجوی شباهت هوش مصنوعی فیسبوک: کتابخانهٔ معروف جستوجوی برداری.
- HNSW — Hierarchical Navigable Small World
- گراف چندطبقهٔ جهان کوچک: الگوریتم جستوجوی برداری با گرافی چندطبقه از بردارهای شبیه.
- PQ — Product Quantization
- کوانتیزهسازی ضربی: شکستن هر بردار به زیربردارها و جایگزینی هر کدام با نمایندهای سادهتر.
- IVF — Inverted File Index
- نمایهٔ فایل وارونه: خوشهبندی بردارها و گشتن فقط در خوشههای نزدیک به پرسش.
پرسشهایی که این درس جواب میدهد
- بازیابی معنایی (بر پایهٔ امبدینگ) چطور کار میکند؟
- چرا پرسش باید با همان مدل امبدینگی بردار شود که تکهها با آن نمایه شدهاند؟
- فرق k-NN و ANN در جستوجوی برداری؟
- ایدهٔ HNSW به زبان ساده؟
- ایدهٔ IVF؟