۳. هوش مصنوعی چقدر داده لازم دارد؟
پرسیدن «چقدر داده؟» مثل پرسیدن «چقدر پول؟» است: جوابش از یک نمونه تا میلیونها نمونه فرق میکند. این درس عاملهایی را که جواب را تعیین میکنند میشمارد، و یک روش ارزان یاد میدهد تا پیش از خرج کردن، بفهمید دادهٔ بیشتر چقدر میارزد.
چقدر داده برای فاینتیون مدل هوش مصنوعی لازم است و نقطهی بازده نزولی را چطور پیدا کنیم.
از یک نمونه تا میلیونها
در یک سر طیف، جرمی هاوارد و جاناتان ویتاکر آزمایش سرگرمکنندهای انجام دادند که نشان داد مدلهای زبانی بزرگ (Large Language Models) میتوانند از یک نمونه یاد بگیرند. در سر دیگر، تیمهایی مدل را با میلیونها نمونه تنظیم کردهاند.
میلیونها زیاد به نظر میرسد، ولی در برابر دادهٔ پیشآموزش (Pre-training) ناچیز است. Llama 2 روی ۲ تریلیون و Llama 3 روی ۱۶ تریلیون توکن (Token) آموزش دیدند. اگر هر نمونه ۲٬۰۰۰ توکن باشد، اینها میشوند ۱ میلیارد و ۸ میلیارد نمونه. (کتاب برای Llama 3 «۱۵ میلیارد» نوشته؛ ۱۶ تریلیون تقسیم بر ۲٬۰۰۰ همان ۸ میلیارد است. پیام عوض نمیشود: میلیاردها.)
در حال بررسی دسترسی…
در این درس
- از یک نمونه تا میلیونها
- سه عامل، بهجز کیفیت و تنوع
- اول کوچک، بعد بزرگ
- ترفند: اول با دادهٔ ارزانتر
- منحنی رشد: آیا دادهٔ بیشتر میارزد؟
- تنوع کارها هم مقدار است
- و بودجه
- خودآزمایی
اصطلاحهای کلیدی این درس
- SNLI — Stanford Natural Language Inference
- استنتاج زبان طبیعی استنفورد: دیتاست جفت جملهها با برچسب استلزام، تناقض یا خنثی.
پرسشهایی که این درس جواب میدهد
- انجماد (ossification)؟
- دادهٔ کم یا زیاد: کدام روش و کدام مدل؟
- چرا مدل پایهٔ بهتر دادهٔ تنظیم کمتری میخواهد؟
- پیش از ساختن دیتاست بزرگ چه کنیم؟
- منحنی رشد با اندازهٔ داده چطور ساخته میشود؟
- سه مسیر «اول دادهٔ ارزانتر»؟
- تنوع کارها در تنظیم چه اثری داشت (Chung ۲۰۲۲)؟