۸. محدودیت داورها و انتخاب مدل داور

محدودیت‌ها

با همهٔ این مزیت‌ها، خیلی تیم‌ها به داور هوش مصنوعی شک دارند. «ارزیابی هوش مصنوعی با هوش مصنوعی» به نظر دوری می‌آید، و احتمالی بودن مدل‌ها آن را غیرقابل‌اعتماد نشان می‌دهد. نگرانی‌ها بی‌پایه نیستند:

ناسازگاری

داور هم مثل هر مدلی احتمالی است: همان داور روی همان ورودی ممکن است دو نمرهٔ متفاوت بدهد. ثابت کردن دما کمک می‌کند (فصل ۲). یک پژوهش نشان داد گذاشتن مثال در پرامپت، ثبات GPT-4 را از ۶۵٪ به ۷۷٫۵٪ رساند — ولی هزینه‌اش را چهار برابر کرد، چون پرامپت بلندتر شد. و ثبات بالا یعنی دقت بالا نیست: داور ممکن است همیشه همان اشتباه را بکند.

ابهام معیار

ابزارهای MLflow، Ragas و LlamaIndex هر سه معیار «وفاداری به متن» دارند، ولی اولی از ۱ تا ۵ نمره می‌دهد، دومی ۰ یا ۱، و سومی «بله» یا «نه». اگر برای یک پاسخ اولی بگوید ۳، دومی ۱ و سومی «نه»، کدام را باور کنید؟

از آن بدتر: محصول شما مدام عوض می‌شود، ولی ارزیابی‌اش باید ثابت بماند تا بتوانید تغییرات را بسنجید. فرض کنید نمرهٔ «انسجام» محصولتان ماه پیش ۹۰٪ بود و این ماه ۹۲٪ است. محصول بهتر شده؟ شاید. یا شاید همکارتان یک غلط تایپی را در پرامپت داور درست کرده و داور مهربان‌تر شده.

این وقتی گیج‌کننده‌تر می‌شود که اپلیکیشن و داور دست دو تیم باشند: تیم داور بی‌خبر داور را عوض می‌کند و تیم اپلیکیشن تغییر نمره را به حساب اپلیکیشن می‌گذارد.

هزینه و تأخیر

اگر با GPT-4 هم پاسخ بسازید و هم داوری کنید، تعداد فراخوانی‌ها دو برابر می‌شود. سه معیار جدا یعنی چهار برابر. دو راه کم کردن هزینه: داور ارزان‌تر، یا نمونه‌گیری — فقط درصدی از پاسخ‌ها را داوری کنید. هرچه درصد بیشتر، اطمینان بیشتر ولی هزینه بیشتر (فصل ۴). اگر داوری را پیش از نشان دادن پاسخ به کاربر انجام دهید، تأخیر هم اضافه می‌شود. با همهٔ این‌ها، داور هوش مصنوعی خیلی ارزان‌تر از انسان است.

خیلی تیم‌ها داور را در محصول مثل نگهبان به کار می‌برند و فقط پاسخ‌هایی را نشان می‌دهند که داور خوب دانسته. اگر برای سه معیار — کیفیت، سازگاری با واقعیت، سمی بودن — جدا داوری کنید، چهار فراخوانی دارید. برای برنامه‌هایی با شرط تأخیر سخت، داوری پیش از نمایش شاید شدنی نباشد.

سوگیری‌ها

• سوگیری خودی: داور پاسخ‌های خودش را ترجیح می‌دهد. GPT-4 حدود ۱۰٪ و Claude-v1 حدود ۲۵٪ بیشتر به نفع خودشان رأی دادند.
• سوگیری جایگاه اول: داور پاسخی را که اول آمده ترجیح می‌دهد. جالب اینکه آدم‌ها برعکس‌اند و پاسخ آخر را ترجیح می‌دهند. راه‌حل: همان مقایسه را با جای عوض‌شده تکرار کنید.
• سوگیری پرحرفی: داور پاسخ بلندتر را ترجیح می‌دهد. یک پژوهش دید GPT-4 و Claude-1 پاسخ‌های حدوداً ۱۰۰ کلمه‌ای پر از اشتباه را به پاسخ‌های ۵۰ کلمه‌ای درست ترجیح دادند. خبر خوب: مدل‌های قوی‌تر کمتر این‌طورند.
• و همهٔ مشکل‌های عادی هوش مصنوعی، مثل حریم خصوصی: اگر داورتان یک API تجاری است، داده‌تان را برای آن می‌فرستید.

جزئیات بیشتر: Saito و همکاران (۲۰۲۳) دیدند وقتی طول یکی دو برابر دیگری باشد، داور تقریباً همیشه بلندتر را برمی‌دارد؛ انسان‌ها هم این گرایش را دارند، ولی خیلی کمتر. GPT-4 کمتر از GPT-3.5 این سوگیری را دارد. مسئلهٔ مالکیت فکری هم هست: اگر ارائه‌دهنده دادهٔ آموزشی را اعلام نکند، مطمئن نیستید داور از نظر تجاری امن است.

چه مدلی داور باشد؟

داور می‌تواند قوی‌تر، ضعیف‌تر یا همان مدلی باشد که داوری می‌شود. هر حالت دلیل خودش را دارد:

• داور قوی‌تر: منطقی به نظر می‌رسد — تصحیح‌کننده باید از امتحان‌دهنده بیشتر بداند. ولی اگر مدل قوی‌تر را دارید، چرا با آن پاسخ نمی‌سازید؟ به‌خاطر هزینه و سرعت: با یک مدل ارزان پاسخ بسازید و با GPT-4 فقط ۱٪ پاسخ‌ها را داوری کنید. مشکل: قوی‌ترین مدل داوری ندارد.
• خود مدل (خودارزیابی): به نظر تقلب است، ولی برای «بررسی عقلانی» عالی است. اگر مدل خودش فکر کند جوابش غلط است، احتمالاً به آن مدل نمی‌شود تکیه کرد. پرسیدن «این جواب درست است؟» حتی می‌تواند مدل را به اصلاح جوابش هل بدهد: مدل گفته ۱۰ + ۳ = ۳۰؛ از خودش می‌پرسد درست است؟ و جواب می‌دهد «نه، ۱۳ است».
• داور ضعیف‌تر: بعضی می‌گویند داوری از تولید آسان‌تر است — هر کسی می‌تواند بگوید آهنگی خوب است یا نه، ولی همه نمی‌توانند آهنگ بسازند. پژوهش‌ها نشان داده مدل‌های قوی‌تر با نظر انسان هماهنگ‌ترند، ولی این برای داورهای همه‌منظوره است.

یک الگوی عملی: با مدل سریع پاسخ بسازید و مدل قوی‌تر در پس‌زمینه داوری کند؛ اگر پاسخ بد بود، آن را با پاسخ مدل قوی عوض کنید. برعکسش هم رایج است. یک مشکل داور قوی‌تر این هم هست که برای فهمیدن قوی‌ترین مدل، روش ارزیابی دیگری لازم دارید.

یک جهت هیجان‌انگیز، داورهای کوچک تخصصی‌اند که برای یک داوری خاص با معیار و نمره‌دهی مشخص آموزش دیده‌اند و می‌توانند از داورهای بزرگ همه‌منظوره قابل‌اعتمادتر باشند:

نمره‌های این ابزارها هم استاندارد نیستند: کتاب می‌گوید بازهٔ BLEURT تقریباً بین ۲٫۵- و ۱ است. مدل ترجیح شاید هیجان‌انگیزترین جهت باشد، چون دادهٔ ترجیحی برای همسوسازی مدل (فصل ۲) گران است، و PandaLM حتی دلیل انتخابش را هم توضیح می‌دهد.

خودآزمایی