شیدهوش
فصل ۸ · درس ۱۴ از ۱۴

۱۴. پروژه (۴): دادهٔ ساختگی با وارسی، و فروپاشی مدل

مسیریاب (Router) در فصل ۱ و فصل ۴ ضعیف است و لاگ‌ها برای این دو فصل دادهٔ کمی دارند. در این درس برایشان داده می‌سازیم — یک بار با قالب و یک بار با سؤال‌هایی که qwen2.5:7b ساخته — هر دو را پیش از آموزش وارسی می‌کنیم و می‌سنجیم چقدر کمک کردند و کجا آسیب زدند. در آخر خطر بزرگ دادهٔ ساختگی (Synthetic Data) را با مدل زبانی (Language Model) فصل ۲ خودمان می‌بینیم: مدلی که از خروجی خودش یاد می‌گیرد، فرو می‌پاشد.

زمان مطالعه: ۵۵ دقیقهرایگان با ثبت‌ناممرجع در کتاب: پروژهٔ طراحی‌شده برای این دوره، بر پایهٔ درس‌های ۵ تا ۸ همین فصل

داده‌ی مصنوعی با وارسی بسازید و فروپاشی مدل هوش مصنوعی را با پایتون به چشم ببینید.

چه می‌سازیم؟

قدم ۱ — سؤال‌های qwen

دانلود کنید: دانلود سؤال‌های ساختگی qwen (synth_qwen.jsonl) و فایل را در پوشهٔ data بگذارید.

این سؤال‌ها به روش Alpaca درس ۶ ساخته شده‌اند، در مقیاس کوچک: هر بار ۵ سؤال واقعی از لاگ‌ها دربارهٔ یک فصل به‌عنوان بذر به qwen2.5:7b داده شد و ۱۰ سؤال تازه خواسته شد — ۸ بار برای فصل ۱ و ۸ بار برای فصل ۴. هر ردیف فایل یک فراخوانی است، با همه‌چیزِ لازم برای فهمیدن تبار داده:

قدم ۲ — synth.py

سه کار: ساختن سؤال با قالب، تبدیل پاسخ خام مدل به فهرست سؤال، و وارسی. در پوشهٔ zehnyar فایل synth.py را بسازید:

قدم ۳ — run_synth.py

اسکریپت دو بخش دارد. بخش ۱ برای فصل ۱ و ۴ از هر دو منبع نامزد می‌سازد و وارسی می‌کند. بخش ۲ مسیریاب را با چهار دیتاست (Dataset) تنظیم می‌کند — همان دستور آموزش درس قبل، که از run_experiment وارد می‌شود — و برای هر کدام سه چیز می‌سنجد: دقت کل، دقت دو فصل ضعیف، و اینکه چند سؤال از فصل‌های دیگر اشتباهی به فصل ۱ یا ۴ رفتند. در پوشهٔ projects/ch08_data بسازید:

در حال بررسی دسترسی…

در این درس

  • چه می‌سازیم؟
  • قدم ۱ — سؤال‌های qwen
  • قدم ۲ — synth.py
  • قدم ۳ — run_synth.py
  • قدم ۴ — اجرا کنید
  • قدم ۵ — فروپاشی مدل (Model Collapse): run_collapse.py
  • چه چیزی ساختیم؟
  • تمرین شما
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • دوز دادهٔ ساختگی چرا مهم بود؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com