هوش مصنوعی در نقش داور (LLM as a judge)

وقتی جواب باز است و مرجع کامل ندارید، چه کسی نمره بدهد؟ جواب رایج امروز این است: یک مدل دیگر. «هوش مصنوعی در نقش داور» سریع، ارزان و همه‌کاره است — و سوگیری‌هایی دارد که اگر نشناسید، نمره‌هایتان را بی‌معنا می‌کند.

سختی ارزیابی پاسخ‌های باز خیلی از تیم‌ها را به ارزیابی انسانی برگرداند. ولی اگر هوش مصنوعی این‌همه کار سخت را خودکار کرده، چرا ارزیابی را نه؟ به این رویکرد هوش مصنوعی در نقش داور (AI as a judge یا LLM as a judge) می‌گویند. ایده‌اش قدیمی است، ولی از حدود ۲۰۲۰ و آمدن GPT-3 عملی شد. امروز شاید رایج‌ترین روش ارزیابی مدل‌ها در محیط واقعی باشد: گزارش LangChain در ۲۰۲۳ می‌گفت ۵۸٪ ارزیابی‌ها روی پلتفرمش را داورهای هوش مصنوعی انجام داده‌اند.

چرا داور خودکار؟

• سریع، ساده و ارزان در برابر داور انسانی.
• بی‌مرجع هم کار می‌کند — پس در محیط واقعی که هیچ پاسخ مرجعی ندارید هم قابل‌استفاده است.
• هر معیاری: درستی، تکرار، سمیت، توهم، لحن — مثل اینکه نظر یک آدم را دربارهٔ هر چیزی بپرسید.
• توضیح می‌دهد: نه فقط نمره، بلکه دلیل نمره — که برای بازبینی ارزیابی‌ها ارزشمند است.

«ولی به نظر آدم‌ها هم همیشه نمی‌شود اعتماد کرد.» درست است؛ به داور هوش مصنوعی هم نه. ولی هر مدل تجمیعی از نظر انبوه آدم‌هاست و با پرامپت درست، قضاوت‌های قابل‌قبولی می‌دهد. در یک پژوهش (MT-Bench، ۲۰۲۳) توافق GPT-4 با انسان‌ها به ۸۵٪ رسید — بیشتر از توافق خود انسان‌ها با هم (۸۱٪). داورهای AlpacaEval هم همبستگی تقریباً کاملی (۰٫۹۸) با رتبه‌بندی انسانی Chat Arena داشتند.

سه شکل داوری

و معیار هر چیزی می‌تواند باشد. چت‌بات نقش‌آفرین؟ «این پاسخ به حرف‌های گندالف شبیه است؟» تصویر تبلیغاتی محصول؟ «از ۱ تا ۵، محصول در این تصویر چقدر قابل‌اعتماد به نظر می‌رسد؟» ابزارها هم معیارهای آماده دارند: وفاداری به متن، ربط، انسجام، روانی، ایجاز، آسیب‌زا بودن و…

پرامپت داور چه باید داشته باشد

پرامپت داور مثل پرامپت هر برنامهٔ دیگری است، و سه چیز را باید روشن بگوید:

1. کار

   داور دقیقاً چه چیزی را بسنجد — مثلاً ربط پاسخ به پرسش.

2. معیار

   با چه ملاکی — هرچه جزئی‌تر، بهتر. مثلاً «آیا پاسخ اطلاعات کافی برای جواب دادن به پرسش، مطابق پاسخ مرجع، دارد؟»

3. سامانهٔ نمره

   دسته‌بندی (خوب/بد)، عدد گسسته (۱ تا ۵) یا عدد پیوسته (۰ تا ۱).

این یک پرامپت داور فارسی است، به سبک پرامپت معیار «ربط» در Azure AI Studio: کار، معیار، سامانهٔ نمره، و یک نمونهٔ نمرهٔ پایین با دلیلش.

کار تو: به ربط «پاسخ تولیدشده» با «پرسش» از ۱ تا ۵ نمره بده،
با توجه به «پاسخ مرجع»، و دلیل نمره را هم بنویس.

معیار اصلی: آیا پاسخ تولیدشده اطلاعات کافی دارد تا طبق پاسخ مرجع
به پرسش جواب بدهد؟

اگر پاسخ تولیدشده با پاسخ مرجع تناقض داشته باشد، نمره‌اش ۱ یا ۲ است.
نمونه — پرسش: «آیا آسمان آبی است؟»
  مرجع: «بله، آسمان آبی است.»
  پاسخ: «نه، آسمان آبی نیست.»
  نمره: ۱ — پاسخ دقیقاً خلاف مرجع را می‌گوید.

پرسش: {پرسش}
پاسخ مرجع: {مرجع}
پاسخ تولیدشده: {پاسخ}

خروجی: فقط JSON به شکل {"score": عدد، "reason": "..."}

محدودیت‌ها

با همهٔ مزیت‌ها، خیلی تیم‌ها به داور خودکار بدگمان‌اند: سنجیدن هوش مصنوعی با هوش مصنوعی دوری به نظر می‌رسد، طبیعت احتمالی‌اش آن را ناپایدار نشان می‌دهد، و هزینه و تأخیر اضافه می‌کند. هر کدام را بشناسید:

ناسازگاری

همان داور، همان ورودی — ممکن است دو بار دو نمره بدهد. ابزارهای فصل ۲ (دمای پایین، پارامترهای ثابت) کمک می‌کنند. افزودن نمونه به پرامپت، ثبات GPT-4 را در یک آزمایش از ۶۵٪ به ۷۷٫۵٪ رساند — ولی دو هشدار: ثبات بالا به معنای دقت بالا نیست (داور ممکن است همیشه همان اشتباه را بکند)، و نمونه‌های بیشتر یعنی پرامپت بلندتر — در همان آزمایش هزینه چهار برابر شد.

ابهام معیار — و داوری که عوض می‌شود

برنامه با زمان عوض می‌شود، ولی ارزیابی باید ثابت بماند تا بشود تغییر برنامه را با آن دید. داور خودکار هم خودش یک برنامه است و می‌تواند عوض شود. تصور کنید نمرهٔ انسجام محصولتان ماه پیش ۹۰٪ بود و این ماه ۹۲٪. محصول بهتر شده؟ شاید. یا شاید همکاری یک غلط تایپی در پرامپت داور را درست کرده و داور کمی آسان‌گیرتر شده. اگر داور و محصول را دو تیم مدیریت کنند، این سردرگمی حتمی است.

هزینه و تأخیر

اگر GPT-4 هم پاسخ بدهد و هم داوری کند، تعداد تماس‌ها — و تقریباً هزینه — دو برابر می‌شود. سه معیار جدا؟ چهار برابر. دو راه کم کردنش: داور ارزان‌تر (پایین‌تر می‌بینید که لزوماً بد نیست)، و وارسی نمونه‌ای — فقط درصدی از پاسخ‌ها را داوری کنید. نمونهٔ بیشتر، اطمینان بیشتر و هزینهٔ بیشتر؛ تعادلش را در فصل ۴ پیدا می‌کنیم. با همهٔ این‌ها، داور خودکار هنوز خیلی ارزان‌تر از داور انسانی است. و اگر پیش از نشان دادن پاسخ به کاربر داوری کنید، تأخیر هم اضافه می‌شود — برای بعضی محصولات، همین کافی است که این راه بسته شود.

سوگیری‌ها

و همهٔ محدودیت‌های معمول هر برنامهٔ هوش مصنوعی هم هست: اگر داور یک مدل تجاری است، داده‌تان را به آن سرویس می‌فرستید. برای داده‌ای که سطح حساسیتش «محرمانه» یا بالاتر است، این خودش یک تصمیم است، نه یک جزئیات فنی.

چه مدلی داور باشد؟

داورهای کوچک و تخصصی

پژوهش‌ها نشان داده‌اند مدل‌های قوی‌تر در داوری همه‌منظوره با ترجیح انسان هماهنگ‌ترند. ولی یک جهت امیدوارکننده داورهای کوچک تخصصی است: مدل‌هایی که فقط برای یک نوع قضاوت، با یک معیار و یک سامانهٔ نمره آموزش دیده‌اند — و برای همان کار می‌توانند از داورهای بزرگ همه‌منظوره قابل‌اعتمادتر باشند.

خودآزمایی

وارد شوید تا پیشرفتتان ذخیره شود و از همین‌جا ادامه دهید.