شیدهوش
فصل ۷ · درس ۳ از ۱۴

۳. تنظیم دقیق یا RAG؟

وقتی از پرامپت هرچه می‌شد گرفتید، قدم بعد چیست: RAG یا تنظیم دقیق؟ جواب کتاب یک سؤال ساده است: مدل هوش مصنوعی به‌خاطر کمبود اطلاعات شکست می‌خورد یا به‌خاطر رفتارش؟ این درس فرقشان را با مثال نشان می‌دهد، شکست‌های خود ذهن‌یار را دسته‌بندی می‌کند، و یک مسیر قدم‌به‌قدم می‌سازد.

زمان مطالعه: ۱۷ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۷، بخش Finetuning and RAG — صفحهٔ ۶۱۱

تنظیم دقیق رفتار مدل هوش مصنوعی را عوض می‌کند و RAG دانستنی‌اش را؛ کی کدام، و کی هر دو.

شکست اطلاعاتی

اگر مدل به‌خاطر نداشتن اطلاعات شکست می‌خورد، یک سیستم RAG که منبع درست را در دسترسش بگذارد کمک می‌کند. نشانهٔ شکست اطلاعاتی: خروجی از نظر واقعیت غلط یا کهنه است. دو حالت رایج:

  • مدل اطلاعات را ندارد. مدل‌های عمومی بعید است اطلاعات خصوصی شما یا سازمانتان را داشته باشند. مدلی که اطلاعات را ندارد، یا می‌گوید نمی‌داند یا جوابی می‌سازد.
  • اطلاعات مدل کهنه است. اگر بپرسید «تیلور سویفت چند آلبوم استودیویی منتشر کرده؟» و جواب درست ۱۱ باشد ولی مدل بگوید ۱۰، شاید تاریخ قطع دانش مدل پیش از آخرین آلبوم بوده.

مقاله‌ای با عنوان «تنظیم دقیق یا بازیابی؟» (Ovadia و همکاران، ۲۰۲۴) نشان داد برای کارهایی که اطلاعات به‌روز می‌خواهند — مثل پرسش دربارهٔ رویدادهای جاری — RAG از مدل‌های تنظیم‌شده بهتر است. جدول زیر دقت پرسش‌وپاسخ دربارهٔ رویدادهای جاری است؛ FT-reg و FT-p دو روش تنظیمی‌اند که نویسندگان به کار بردند:

نه‌تنها RAG در هر سه مدل بهترین شد، بلکه به گزارش همین پژوهش، RAG روی مدل پایه (Foundation Model) از RAG روی مدل‌های تنظیم‌شده هم بهتر بود. یعنی تنظیم دقیق (Fine-tuning) می‌تواند یک کار را بهتر کند و همزمان مدل را در جاهای دیگر عقب بیندازد. در آزمون MMLU هم برای تقریباً همهٔ دسته‌های سؤال و هر سه مدل، RAG از تنظیم دقیق بهتر بود.

در حال بررسی دسترسی…

در این درس

  • شکست اطلاعاتی
  • شکست رفتاری
  • شکست‌های ذهن‌یار، دسته‌بندی‌شده
  • یک مسیر قدم‌به‌قدم
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • شکست اطلاعاتی در برابر شکست رفتاری؟
  • مدل هم اطلاعات کم دارد و هم قالبش غلط است. از کجا شروع کنیم؟
  • مسیر پنج‌قدمی سازگار کردن مدل؟
  • چرا RAG برای تشخیص سؤال «بیرون از دوره» بی‌فایده است؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com