۷. RAG فراتر از متن: تصویر و جدول
منبع بیرونی همیشه متن نیست. این درس میبیند RAG با تصویر چطور کار میکند و پرسشی که جوابش در جدول است چطور از راه SQL پاسخ میگیرد.
RAG فقط متن نیست: بازیابی تصویر و پرسش از جدول با تبدیل متن به SQL.
RAG چندوجهی (Multimodal)
اگر مدل مولد شما چندوجهی است، زمینهاش میتواند تصویر، ویدیو و صدا هم داشته باشد. مثلاً برای «خانهٔ کارتون Up چه رنگی است؟» بازیاب میتواند تصویری از خانه را بیاورد. اگر تصویرها فراداده دارند، با همان پیدا میشوند. اگر بخواهید با محتوای تصویر بازیابی کنید، به یک مدل امبدینگ (Embedding) چندوجهی مثل CLIPContrastive Language–Image Pre-trainingپیشآموزش تقابلی زبان و تصویر — مدلی از OpenAI که متن و تصویر را در یک فضای امبدینگ مشترک میگذارد. (Contrastive Language–Image Pre-training — پیشآموزش تقابلی زبان و تصویر) نیاز دارید که متن و تصویر را در یک فضای برداری بگذارد: همه را با CLIP بردار کنید، پرسش را هم، و نزدیکترینها را — چه متن، چه تصویر — برگردانید.
با CLIP بازیاب اینطور کار میکند:
در حال بررسی دسترسی…
در این درس
- RAG چندوجهی (Multimodal)
- RAG با دادهٔ جدولی
- خودآزمایی
اصطلاحهای کلیدی این درس
- CLIP — Contrastive Language–Image Pre-training
- پیشآموزش تقابلی زبان و تصویر: مدلی از OpenAI که متن و تصویر را در یک فضای امبدینگ مشترک میگذارد.
- SQL — Structured Query Language
- زبان پرسوجوی ساختیافته: زبان استاندارد گرفتن داده از پایگاه داده.
پرسشهایی که این درس جواب میدهد
- گردش کار RAG با دادهٔ جدولی؟
- مدل امبدینگ چندوجهی چه میکند؟
- کی به پیشبینی جدولها نیاز است؟