۷. وارسی دادهٔ ساختگی، و مرزهایش
دادهٔ ساختگی (Synthetic Data) فقط وقتی به کار میآید که بتوانید کیفیتش را بسنجید. این درس راههای وارسی را میشمارد — از درستی عملکرد تا فیلترهای ساده — و بعد چهار مرز دادهٔ ساختگی: کنترل کیفیت، تقلید سطحی، فروپاشی مدل (Model Collapse) و تبار مبهم داده.
دادهی مصنوعی را چطور وارسی کنیم و چرا آموزش پشتسرهم روی آن به فروپاشی مدل (model collapse) میرسد.
وارسی، مثل هر خروجی دیگر
کیفیت دادهٔ ساختگی را همانطور میسنجند که هر خروجی هوش مصنوعی را: با درستی عملکرد و با داور هوش مصنوعی. بیشتر این روشها برای سنجیدن هر دادهٔ آموزشی (Training Data) به کار میآیند، نه فقط ساختگی.
یادتان هست در فصل ۴ گفتیم شرکتها بیشتر اپلیکیشنهایی میسازند که بتوانند ارزیابی کنند؟ همینجا هم صادق است: مردم دادهای میسازند که بتوانند وارسی کنند. برنامهنویسی از محبوبترین کاربردهای مدلهاست چون درستیاش سنجیدنی است، و به همان دلیل نمونههای کد از رایجترین دادههای ساختگیاند.
وارسیکنندهٔ هوش مصنوعی
برای دادهای که درستی عملکردی ندارد، وارسیکنندهٔ هوش مصنوعی رایج است: یک داور همهمنظوره یا یک امتیازدهندهٔ تخصصی. سادهترین شکل: به هر نمونه نمرهٔ ۱ تا ۵ بدهد یا خوب/بد بگوید. یا ویژگیهای کیفیت را برایش بنویسید و بپرسید نمونه آنها را دارد یا نه. اگر سازگاری با واقعیت مهم است، روشهای تشخیص ناسازگاری فصل ۴ نمونههای توهمدار را جدا میکنند.
خلاقیت در وارسی
- اگر دادهٔ ساختگی باید شبیه دادهٔ واقعی باشد، کیفیتش را با سختیِ تشخیص این دو بسنجید: یک تشخیصدهندهٔ محتوای ساختگی آموزش بدهید؛ اگر بهآسانی جدایشان کند، دادهٔ ساختگی خوب نیست.
- اگر میخواهید مقالههای ساختگی شبیه کار علمی باکیفیت باشند، دستهبندی آموزش بدهید که پیشبینی کند مقاله در کنفرانسی مثل NeurIPS پذیرفته میشود یا نه، و ردشدههای قطعی را دور بریزید.
- مدلی موضوع هر نمونه را تشخیص بدهد و نمونههای بیربط حذف شوند.
- اگر همهٔ داده باید الگوی مشابهی داشته باشد، تشخیص ناهنجاری نمونههای پرت را پیدا کند — نمونههای پرت ممکن است بیکیفیت باشند.
در حال بررسی دسترسی…
در این درس
- وارسی، مثل هر خروجی دیگر
- وارسیکنندهٔ هوش مصنوعی
- خلاقیت در وارسی
- فیلترهای ساده
- چهار مرز دادهٔ ساختگی
- ۱. کنترل کیفیت
- ۲. تقلید سطحی
- ۳. فروپاشی مدل
- ۴. تبار مبهم
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- چرا بیشتر دادهٔ ساختگی دربارهٔ کد است؟
- چهار فیلتر Self-Instruct؟
- وارسی خلاقانهٔ «شباهت به دادهٔ واقعی» چطور است؟
- تقلید سطحی (superficial imitation)؟
- فروپاشی مدل (model collapse)؟
- راه جلوگیری از فروپاشی مدل؟
- تبار مبهم داده چه دو خطری دارد؟