چرا ارزیابی مدل‌های زبانی سخت است

هرچه هوش مصنوعی بیشتر به کار می‌رود، فرصت شکست فاجعه‌بار بیشتر می‌شود. برای خیلی از تیم‌ها بزرگ‌ترین مانع رساندن محصول به دست کاربر نه ساختن، که سنجیدن است. این درس نشان می‌دهد چرا ارزیابی مدل‌های پایه این‌قدر سخت است — و چرا «به چشم دیدم خوب بود» کافی نیست.

در همین چند سال کوتاه، شکست‌های واقعی کم ندیده‌ایم: وکلایی که شواهد ساختگی یک چت‌بات را به دادگاه بردند؛ ایرکانادا که به حکم دادگاه مجبور شد خسارت بدهد چون چت‌باتش اطلاعات غلط به مسافری داده بود؛ و حتی مردی که پس از تشویق یک چت‌بات جان خودش را گرفت. بدون راهی برای کنترل کیفیت خروجی، خطر هوش مصنوعی برای خیلی از کاربردها از سودش بیشتر است.

برای همین است که دو فصل کامل این دوره به ارزیابی می‌پردازد. این فصل روش‌های ارزیابی و حدودشان را توضیح می‌دهد؛ فصل بعد نشان می‌دهد با همین روش‌ها چطور مدل انتخاب کنید و یک خط لولهٔ ارزیابی برای محصولتان بسازید.

چهار دلیل که ارزیابی مدل‌های پایه سخت‌تر است

۱. هرچه مدل باهوش‌تر، سنجیدنش سخت‌تر

بیشتر آدم‌ها می‌فهمند راه‌حل ریاضی یک کلاس‌اولی غلط است؛ کمتر کسی می‌تواند همین را دربارهٔ راه‌حل یک مسئلهٔ ریاضی سطح دکتری بگوید. تشخیص خلاصه‌ای که بی‌معنی است آسان است؛ ولی اگر خلاصه منسجم باشد، برای فهمیدن اینکه درست است یا نه شاید لازم باشد خود کتاب را بخوانید. یعنی ارزیابی دیگر با «خوب به نظر می‌رسد» تمام نمی‌شود: باید درستی را وارسی کنید، استدلال کنید و گاهی تخصص آن حوزه را بیاورید.

۲. جواب باز است

در یادگیری ماشین سنتی بیشتر کارها بسته بودند: مدل دسته‌بندی فقط یکی از چند برچسب مشخص را برمی‌گرداند و مقایسه با جواب درست ساده بود. برای کار باز، یک ورودی بی‌شمار پاسخ درست دارد. نمی‌شود فهرست کاملی از همهٔ پاسخ‌های درست ساخت و خروجی را با آن مقایسه کرد.

۳. مدل جعبهٔ سیاه است

معماری، دادهٔ آموزشی و روند آموزش خیلی چیزها دربارهٔ نقاط قوت و ضعف یک مدل می‌گویند — همان چیزهایی که در فصل ۲ دیدید. ولی سازندگان اغلب آن‌ها را منتشر نمی‌کنند، یا تیم سازندهٔ محصول تخصص فهمیدنشان را ندارد. پس تنها راه، سنجیدن از روی خروجی است.

۴. بنچمارک‌ها زود کهنه می‌شوند

بنچمارک وقتی برای یک مدل اشباع می‌شود که مدل به نمرهٔ کامل برسد؛ دیگر چیزی دربارهٔ آن مدل نمی‌گوید. با مدل‌های پایه، این اتفاق خیلی سریع می‌افتد:

یک دلیل دیگر هم هست که در فصل ۲ به آن اشاره شد: نشت. اگر پرسش‌های یک بنچمارک در دادهٔ آموزشی مدل بوده باشند، نمرهٔ بالا یعنی «حفظ کرده»، نه «بلد است». در درس بعد می‌بینید چطور می‌شود این را تشخیص داد.

و دامنهٔ ارزیابی هم گسترده‌تر شده: برای مدل تک‌کاره، ارزیابی یعنی سنجیدن همان یک کار. برای مدل همه‌منظوره، ارزیابی یعنی کشف کارهایی که مدل می‌تواند بکند — گاهی حتی فراتر از توان انسان.

علاقه زیاد شده، سرمایه‌گذاری نه

خبر خوب اینکه این چالش‌ها روش‌ها و بنچمارک‌های تازهٔ زیادی ساخته‌اند: در نیمهٔ اول ۲۰۲۳ تعداد مقاله‌های ارزیابی مدل‌های زبانی از حدود ۲ مقاله در ماه به نزدیک ۳۵ رسید. خبر بد اینکه ارزیابی هنوز از بقیهٔ کار عقب است. پژوهشگران DeepMind نوشتند «توسعهٔ ارزیابی در مقایسه با توسعهٔ الگوریتم توجه نظام‌مندی نگرفته» و Anthropic از سیاست‌گذاران خواست بودجهٔ پژوهش روش‌های ارزیابی را بیشتر کنند. در میان هزار مخزن محبوب هوش مصنوعی در گیت‌هاب، ابزارهای ارزیابی در برابر ابزارهای آموزش و مدل‌سازی انگشت‌شمارند.

دو خانوادهٔ ارزیابی خودکار

ارزیابی انسانی هنوز برای خیلی کاربردها لازم است، ولی کُند و گران است. هدف، خودکار کردن تا جای ممکن است. ارزیابی خودکار دو خانواده دارد که بقیهٔ این فصل آن‌ها را باز می‌کند:

خودآزمایی

وارد شوید تا پیشرفتتان ذخیره شود و از همین‌جا ادامه دهید.