۱۴. پروژه (۴): دادهٔ ساختگی با وارسی، و فروپاشی مدل
مسیریاب (Router) در فصل ۱ و فصل ۴ ضعیف است و لاگها برای این دو فصل دادهٔ کمی دارند. در این درس برایشان داده میسازیم — یک بار با قالب و یک بار با سؤالهایی که qwen2.5:7b ساخته — هر دو را پیش از آموزش وارسی میکنیم و میسنجیم چقدر کمک کردند و کجا آسیب زدند. در آخر خطر بزرگ دادهٔ ساختگی (Synthetic Data) را با مدل زبانی (Language Model) فصل ۲ خودمان میبینیم: مدلی که از خروجی خودش یاد میگیرد، فرو میپاشد.
دادهی مصنوعی با وارسی بسازید و فروپاشی مدل هوش مصنوعی را با پایتون به چشم ببینید.
چه میسازیم؟
قدم ۱ — سؤالهای qwen
دانلود کنید: دانلود سؤالهای ساختگی qwen (synth_qwen.jsonl) و فایل را در پوشهٔ data بگذارید.
این سؤالها به روش Alpaca درس ۶ ساخته شدهاند، در مقیاس کوچک: هر بار ۵ سؤال واقعی از لاگها دربارهٔ یک فصل بهعنوان بذر به qwen2.5:7b داده شد و ۱۰ سؤال تازه خواسته شد — ۸ بار برای فصل ۱ و ۸ بار برای فصل ۴. هر ردیف فایل یک فراخوانی است، با همهچیزِ لازم برای فهمیدن تبار داده:
قدم ۲ — synth.py
سه کار: ساختن سؤال با قالب، تبدیل پاسخ خام مدل به فهرست سؤال، و وارسی. در پوشهٔ zehnyar فایل synth.py را بسازید:
قدم ۳ — run_synth.py
اسکریپت دو بخش دارد. بخش ۱ برای فصل ۱ و ۴ از هر دو منبع نامزد میسازد و وارسی میکند. بخش ۲ مسیریاب را با چهار دیتاست (Dataset) تنظیم میکند — همان دستور آموزش درس قبل، که از run_experiment وارد میشود — و برای هر کدام سه چیز میسنجد: دقت کل، دقت دو فصل ضعیف، و اینکه چند سؤال از فصلهای دیگر اشتباهی به فصل ۱ یا ۴ رفتند. در پوشهٔ projects/ch08_data بسازید:
در حال بررسی دسترسی…
در این درس
- چه میسازیم؟
- قدم ۱ — سؤالهای qwen
- قدم ۲ — synth.py
- قدم ۳ — run_synth.py
- قدم ۴ — اجرا کنید
- قدم ۵ — فروپاشی مدل (Model Collapse): run_collapse.py
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- دوز دادهٔ ساختگی چرا مهم بود؟