۱۳. پروژه (۳): آزمایش دادهمحور — فقط داده عوض میشود
دو درس داده را تمیز کردیم. حالا آزمون اصلی: آیا دادهٔ تمیز واقعاً مدل بهتری میسازد؟ همان مدل پایهٔ فصل ۷ را با همان دستور آموزش، روی سه دیتاست (Dataset) تنظیم میکنیم و با یک آزمون میسنجیم. بعد میبینیم آلودگی چطور عدد را گول میزند، کدام فصلها ضعیفاند، و دادهٔ بیشتر چقدر میارزد.
آزمایش دادهمحور: مدل هوش مصنوعی ثابت میماند و فقط داده عوض میشود؛ نتیجه را با پایتون بسنجید.
یک آزمایش منصفانه
در آزمایش دادهمحور، همهچیز جز داده ثابت است — مثل مسابقههای DataComp درس ۱:
فقط دیتاست عوض میشود: دادهٔ فصل ۷ بهتنهایی (۱۹۰ نمونه)، دادهٔ فصل ۷ بهعلاوهٔ همهٔ لاگهای خام، و دادهٔ فصل ۷ بهعلاوهٔ لاگهای تمیز.
یک نکتهٔ ظریف: سه اجرا، و ترتیب داده
آموزش ما هر دور نمونهها را بُر میزند. با بُر خوردن متفاوت، مدل نهایی کمی فرق میکند — در آزمایشهای پیش از نوشتن این درس، فقط عوض کردن ترتیب بُر زدن دقت را تا ۴ واحد درصد جابهجا میکرد. اگر از هر دیتاست فقط یک مدل بسازیم، ممکن است تفاوتی ببینیم که فقط شانس است. پس هر آزمایش سه بار با سه ترتیب متفاوت اجرا میشود و میانگین گزارش میشود. و نمونهها پیش از آموزش مرتب میشوند تا ترتیبشان در فایل اثری نداشته باشد: نتیجه فقط به اینکه کدام نمونهها هستند بستگی دارد.
قدم ۱ — run_experiment.py
هیچ فایل تازهای در zehnyar لازم نیست؛ همهٔ ابزارها از فصل ۷ و دو درس قبل آمادهاند. در پوشهٔ projects/ch08_data بسازید:
قدم ۲ — اجرا کنید
این خروجی واقعی همین کد است — باید دقیقاً همین را ببینید:
در حال بررسی دسترسی…
در این درس
- یک آزمایش منصفانه
- یک نکتهٔ ظریف: سه اجرا، و ترتیب داده
- قدم ۱ — run_experiment.py
- قدم ۲ — اجرا کنید
- خروجی چه میگوید؟
- ۱. دادهٔ بیشتر، مدل بدتر
- ۲. عددی که دروغ میگوید
- ۳. فصل ۱ و فصل ۴ ضعیفاند
- ۴. منحنی رشد: بالا میرود، بعد صاف
- چه چیزی ساختیم؟
- تمرین شما
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- ذهنیار: ۷۷۱ نمونهٔ خام در برابر ۴۸۹ نمونهٔ تمیز؟
- چطور در ذهنیار آلودگی را با عدد دیدیم؟