۶. ساختن داده با هوش مصنوعی
تا وقتی هوش مصنوعی نمیتوانست دادهٔ واقعینما و باکیفیت بسازد، دادهٔ ساختگی (Synthetic Data) کاربرد محدودی داشت. این درس راههای تازه را مرور میکند: شبیهسازی با مدل، بازنویسی و ترجمه، ساختن دادهٔ ترجیحی، و مهمتر از همه ساختن دادهٔ دستوری — از Alpaca تا خط تولید کد Llama 3.
ساختن دادهی آموزشی با هوش مصنوعی و مدل زبانی: دستورالعمل، ترجیح و دادهی کد، و هزینهاش.
مدل بهجای شبیهساز
همانطور که آدمها به بینهایت راه داده میسازند، هوش مصنوعی هم. مدلهای قوی امکانهای تازهای برای شبیهسازی باز کردهاند:
- شبیهسازی برنامهها: StableToolBench (۲۰۲۴) نشان داد میشود بهجای فراخوانی واقعی APIها — که گران یا کند است — نتیجهشان را با یک مدل شبیهسازی کرد.
- شبیهسازی آدمها: بازی انسانها برای آموزش ربات شطرنج خیلی کند است؛ بازی با بازیکن مصنوعی سریع است. OpenAI برای ربات Dota 2 شبیهسازی ساخت که ربات در هر روز معادل ۱۸۰ سال بازی کند. ربات با خودش بازی میکرد — خودبازی (self-play). DeepMind هم برای AlphaGo میلیونها بازی Go را با خودبازی جمع کرد.
- خودبازی برای ایجنتها: چند مدل با راهبردهای مختلف با هم چانه بزنند تا ببینید کدام راهبرد بهتر است؛ یا یک نسخه نقش مشتری ناراضی را بازی کند و نسخهٔ دیگر نقش پشتیبان.
بازنویسی و ترجمه
توانایی بازنویسی مدلها برای افزایش داده عالی است. از پرسش «چطور رمزم را بازنشانی کنم؟» سه پرسش تازه: «رمزم را فراموش کردهام»، «چطور رمزم را عوض کنم؟»، «مراحل بازنشانی رمز». Yu و همکاران (۲۰۲۳) ۱۵ هزار نمونهٔ MATH و GSM-8K را به شکلهای مختلف بازنویسی کردند و MetaMath با نزدیک ۴۰۰ هزار نمونه ساختند؛ مدلهایشان از مدلهای بزرگتر جلو زدند.
در حال بررسی دسترسی…
در این درس
- مدل بهجای شبیهساز
- بازنویسی و ترجمه
- پیشآموزش (Pre-training) یا پسآموزش؟
- ساختن دادهٔ دستوری
- دستور معکوس
- متن بلند، با دادهٔ ساختگی
- نمونهٔ کامل: دادهٔ کد Llama 3
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- خودبازی (self-play)؟
- ترجمهٔ معکوس برای وارسی ترجمه؟
- چرا دادهٔ ساختگی بیشتر در پسآموزش است تا پیشآموزش؟
- NVIDIA چطور سوگیری جایگاه داور را در دادهٔ ترجیحی خنثی کرد؟
- Alpaca چطور ساخته شد؟
- دستور معکوس (reverse instruction)؟
- خط تولید دادهٔ کد Llama 3 چطور کیفیت را تضمین کرد؟
- تنظیم متن بلند با دادهٔ ساختگی چطور؟