۸. آزمون‌های عمومی و جدول‌های رتبه‌بندی

هزاران آزمون

فقط مجموعهٔ BIG-bench گوگل (۲۰۲۲) ۲۱۴ آزمون دارد. تعداد آزمون‌ها همراه کاربردهای هوش مصنوعی زیاد می‌شود، و چون آزمون‌های قدیمی اشباع می‌شوند، آزمون تازه هم مدام لازم است. ابزاری که یک مدل را روی چندین آزمون اجرا می‌کند مهار ارزیابی (evaluation harness) نام دارد: lm-evaluation-harness از EleutherAI بیش از ۴۰۰ آزمون را پشتیبانی می‌کند و evals از OpenAI حدود ۵۰۰ آزمون — از ریاضی و معما گرفته تا تشخیص کلمه‌ای که با نقاشی حروف (ASCII art) کشیده شده.

وقتی نتیجهٔ چند آزمون را جمع می‌زنید تا مدل‌ها را رتبه‌بندی کنید، یک جدول رتبه‌بندی (leaderboard) ساخته‌اید. دو سؤال پیش می‌آید: کدام آزمون‌ها را بیاورید؟ و نتیجه‌ها را چطور جمع بزنید؟ اگر مدل الف در یک آزمون برنامه‌نویسی از ب بهتر است ولی در آزمون سمّیت بدتر، کدام را انتخاب می‌کنید؟

جدول‌های رتبه‌بندی عمومی

جدول‌های عمومی بسیار مفیدند ولی کامل نیستند. اول، چون اجرای هر آزمون محاسبه می‌خواهد، فقط چند آزمون را جا می‌دهند و گاهی آزمون مهمِ گران را کنار می‌گذارند: HELMHolistic Evaluation of Language Modelsارزیابی جامع مدل‌های زبانی — مجموعه آزمون و جدول رتبه‌بندی دانشگاه استنفورد. (Holistic Evaluation of Language Models — ارزیابی جامع مدل‌های زبانی) Lite آزمون بازیابی اطلاعات MS MARCO را حذف کرد چون گران بود، و Hugging Face آزمون HumanEval را، چون باید برای هر مسئله تعداد زیادی کد تولید کرد.

در اواخر ۲۰۲۳، جدول Open LLM Leaderboard از Hugging Face مدل‌ها را با میانگین شش آزمون رتبه‌بندی می‌کرد:

1. ARC-C: سؤال‌های پیچیدهٔ علوم در سطح دبستان.
2. MMLU: دانش و استدلال در ۵۷ موضوع، از ریاضی ابتدایی تا تاریخ آمریکا، علوم کامپیوتر و حقوق.
3. HellaSwag: پیش‌بینی ادامهٔ یک جمله یا صحنه در داستان یا ویدیو — سنجش عقل سلیم.
4. TruthfulQA: پاسخ نه‌فقط درست، که راست و غیرگمراه‌کننده (درس ۲).
5. WinoGrande: مسئله‌های سخت مرجع ضمیر («او» به چه کسی برمی‌گردد؟) که عقل سلیم پیچیده می‌خواهند.
6. GSM-8K: مسئله‌های متنوع ریاضی دبستان.

هم‌زمان، جدول HELM استنفورد ده آزمون داشت که فقط دوتایش (MMLU و GSM-8K) با جدول Hugging Face مشترک بود؛ بقیه شامل ریاضی رقابتی، حقوق، پزشکی، ترجمه، درک مطلب و پرسش‌وپاسخ عمومی بود. هر دو گفته بودند دنبال «پوشش» گسترده‌اند — ولی روشن نیست پوشش یعنی چه. چرا HELM Lite حقوق و پزشکی دارد ولی علوم عمومی ندارد؟ چرا دو آزمون ریاضی دارد ولی هیچ آزمون برنامه‌نویسی ندارد؟ چرا هیچ‌کدام خلاصه‌سازی، استفاده از ابزار یا تشخیص سمّیت ندارند؟ این سؤال‌ها انتقاد نیستند؛ نشان می‌دهند انتخاب آزمون چقدر سخت است.

همبستگی آزمون‌ها

نکته‌ای که اغلب نادیده می‌ماند: اگر دو آزمون کاملاً همبسته باشند — مدلی که در یکی خوب است، در دیگری هم خوب است — دومی چیز تازه‌ای نمی‌گوید و فقط وزن یک توانایی را دو برابر می‌کند. همبستگی‌های شش آزمون جدول Hugging Face (ژانویهٔ ۲۰۲۴؛ ۱ یعنی کاملاً هم‌جهت):

سه آزمون استدلالی سخت به هم گره خورده‌اند. TruthfulQA فقط همبستگی متوسطی با بقیه دارد — یعنی بهتر شدن استدلال و ریاضی مدل لزوماً راستگوترش نمی‌کند.

جمع زدن نمره‌ها

Hugging Face نمره‌ها را میانگین می‌گیرد. یعنی ۸۰٪ در TruthfulQA همان‌قدر ارزش دارد که ۸۰٪ در GSM-8K، حتی اگر اولی خیلی سخت‌تر به دست بیاید؛ و همهٔ آزمون‌ها هم‌وزن‌اند، حتی اگر برای شما راستگویی خیلی مهم‌تر از ریاضی دبستان باشد. HELM به‌جای میانگین از میانگین نرخ برد استفاده می‌کند: «کسری از دفعاتی که یک مدل از مدل دیگر نمرهٔ بهتری می‌گیرد، میانگین‌شده روی همهٔ سناریوها». یک مثال ساختگی نشان می‌دهد این انتخاب چقدر مهم است:

الف در آزمون ۱ از هر دو می‌برد (نرخ برد ۱) و در آزمون ۲ به هر دو می‌بازد (۰)؛ ب در آزمون ۱ فقط از ج می‌برد (۰٫۵) و در آزمون ۲ از هر دو (۱). با میانگین، الف اول است؛ با نرخ برد، ب. همان نمره‌ها، دو رتبه‌بندی.

جدول رتبه‌بندی خودتان

وقتی برای یک اپلیکیشن مشخص مدل انتخاب می‌کنید، در واقع دارید یک جدول رتبه‌بندی خصوصی با معیارهای خودتان می‌سازید. اول آزمون‌هایی را جمع کنید که توانایی‌های مهم برای شما را می‌سنجند: برای دستیار برنامه‌نویسی، آزمون‌های کد؛ برای دستیار نوشتن، آزمون‌های نوشتن خلاقانه. سراغ آزمون‌های تازه بروید، چون قدیمی‌ها اشباع شده‌اند. و قابل‌اعتماد بودن هر آزمون را بسنجید: هر کسی می‌تواند آزمون بسازد و منتشر کند، و خیلی‌هایشان آن چیزی را که فکر می‌کنید نمی‌سنجند.

اجرای آزمون‌ها ارزان نیست: استنفورد برای سنجیدن ۳۰ مدل روی کل مجموعهٔ HELM حدود ۸۰ تا ۱۰۰ هزار دلار خرج کرد (۳۸ هزار دلار API تجاری و ۱۹٬۵۰۰ ساعت کارت گرافیک برای مدل‌های باز). نمره‌ها هم یکای یکسانی ندارند — یکی دقت است، یکی F1، یکی BLEUBilingual Evaluation Understudyسنجهٔ BLEU — پس باید تصمیم بگیرید هر آزمون برایتان چقدر مهم است و وزن بدهید.

کتاب پیشنهاد جالبی هم دارد: در بازی‌ها مرحله‌هایی هست که با پیشرفت بازیکن خودکار ساخته می‌شوند؛ کاش آزمونی بی‌پایان داشتیم که با قوی‌تر شدن مدل‌ها، مسئله‌های سخت‌تری بسازد.

خودآزمایی