۱۰. چالش‌های مقایسه و جمع‌بندی فصل

در ارزیابی نقطه‌ای، زحمت اصلی طراحی آزمون و سنجه است و رتبه‌بندی آسان است. در ارزیابی مقایسه‌ای، هم جمع کردن سیگنال و هم رتبه‌بندی سخت است.

سه چالش

۱. مقیاس

تعداد جفت‌ها با مربع تعداد مدل‌ها رشد می‌کند. LMSYS در ژانویهٔ ۲۰۲۴، ۵۷ مدل را با ۲۴۴ هزار مقایسه سنجید — که به‌نظر زیاد است، ولی ۵۷ مدل یعنی ۱۵۹۶ جفت، یعنی به‌طور میانگین فقط ۱۵۳ مقایسه برای هر جفت. خوشبختانه لازم نیست همهٔ جفت‌ها مستقیم مقایسه شوند: اگر الف از ب بهتر است و ب از ج، می‌شود نتیجه گرفت الف از ج بهتر است. به این ترایایی (transitivity) می‌گویند — ولی معلوم نیست ترجیح انسان واقعاً ترایا باشد.

مدل تازه هم دردسر است: باید با مدل‌های موجود مقایسه شود و ممکن است رتبهٔ آن‌ها را هم عوض کند. اگر مدل اختصاصی خودتان را دارید، برای مقایسه با مدل‌های عمومی باید جدول خودتان را بسازید. یک راه کم کردن هزینه: جفت‌هایی که نتیجه‌شان دیگر روشن است را کمتر مقایسه کنید.

۲. استاندارد و کنترل کیفیت

رأی‌گیری عمومی تنوع زیادی می‌آورد و تقلب در آن سخت است، ولی کنترل کیفیتش هم سخت است. داوطلب‌ها درستی پاسخ‌ها را چک نمی‌کنند و ممکن است پاسخ غلطِ خوش‌ظاهر را ترجیح دهند. بعضی پاسخ مؤدبانه می‌خواهند و بعضی بی‌پرده؛ اگر مدلی از گفتن یک جوک نامناسب سر باز بزند، ممکن است رأی منفی بگیرد — در حالی که شما به‌عنوان سازندهٔ محصول دقیقاً همین رفتار را می‌خواهید.

پرامپت‌ها هم واقعی نیستند: از ۳۳ هزار پرامپت منتشرشده از Chatbot Arena در ۲۰۲۳، ۱۸۰ تا فقط «hello» یا «hi» بود. یک معمای منطقی ۴۴ بار پرسیده شده بود. پرامپت ساده را همه خوب جواب می‌دهند و بین مدل‌ها فرقی نمی‌گذارد. LMSYS برای حل این، پرامپت‌های سخت را جدا می‌کند و رتبه را فقط با آن‌ها می‌سازد. راه دیگر، داورهای آموزش‌دیده است — که گران است — یا گذاشتن مقایسه در خود محصول، که کاربر ممکن است بی‌دقت روی یکی کلیک کند.

LMSYS پرامپت‌ها را با یک مدل داخلی فیلتر می‌کند. Scale برای جدول خصوصی‌اش ارزیاب‌ها را آموزش می‌دهد، که گران است. می‌شود از هوش مصنوعی هم داور ساخت: شاید به خوبی متخصص نباشد، ولی از کاربر تصادفی اینترنت قابل‌اعتمادتر است. جدول عمومی هم اگر زمینهٔ پیچیده مثل بازیابی از اسناد شما را پشتیبانی نکند، نمی‌گوید مدل در RAG شما چطور کار می‌کند. و هرچه جدول محبوب‌تر شود، تلاش برای دستکاری آن هم بیشتر می‌شود.

۳. از «بهتر» تا «کافی»

مقایسه می‌گوید کدام مدل بهتر است، نه اینکه چقدر خوب است یا برای شما کافی است یا نه. فرض کنید مدل الف ۷۰٪ تیکت‌های پشتیبانی را حل می‌کند و مدل ب در ۵۱٪ مقایسه‌ها از الف می‌برد. این ۵۱٪ به چند درصد تیکت حل‌شده تبدیل می‌شود؟ معلوم نیست. و اگر ب دو برابر گران‌تر باشد، بدون این عدد نمی‌شود حساب سود و هزینه کرد (آستانهٔ سودمندی فصل ۱).

آیندهٔ ارزیابی مقایسه‌ای

• وقتی مدل‌ها از ما جلو بزنند، شاید نتوانیم به پاسخشان نمره بدهیم، ولی هنوز می‌توانیم بگوییم کدام بهتر است. مقالهٔ Llama 2 می‌گوید حتی وقتی نوشتهٔ مدل از توان بهترین برچسب‌زن‌ها فراتر می‌رود، آن‌ها هنوز در مقایسهٔ دو پاسخ بازخورد مفید می‌دهند.
• هرگز اشباع نمی‌شود: تا مدل تازه می‌آید، مقایسه معنی دارد — برخلاف آزمون‌هایی که درس ۱ دیدیم.
• تقلب در آن سخت است: نمی‌شود مدل را روی «جواب‌ها» آموزش داد. برای همین خیلی‌ها به جدول‌های مقایسه‌ای عمومی بیشتر از بقیه اعتماد دارند.
• مکمل است: در ارزیابی آفلاین کنار آزمون‌ها، و در محصول کنار آزمون A/B.

جمع‌بندی فصل

هرچه مدل قوی‌تر، خطر شکست فاجعه‌بار بیشتر و ارزیابی مهم‌تر، و ارزیابی مدل باز و قوی سخت‌تر. سرمایه‌گذاری روی ارزیابی هنوز از مدل و اپلیکیشن عقب است. سنجه‌های مدل زبانی به فهم مدل و کارهایی مثل کشف آلودگی کمک می‌کنند. برای پاسخ باز، درستی عملکرد و شباهت با مرجع دقیق‌اند و داور هوش مصنوعی ذهنی است؛ نمرهٔ داور به خود داور بستگی دارد و باید کنار ارزیابی دقیق یا انسانی بیاید. مدل‌ها را جدا هم می‌شود سنجید و هم با مقایسه، و هر دوی مقایسه و همسوسازی به سیگنال ترجیحی گران نیاز دارند، که مدل‌های ترجیح را پدید آورده.

فصل بعد از همین ابزارها استفاده می‌کند تا مدل مناسب را انتخاب کند و یک خط لولهٔ ارزیابی قابل‌اعتماد بسازد.

خودآزمایی