شیدهوش
فصل ۸ · درس ۷ از ۱۴

۷. وارسی دادهٔ ساختگی، و مرزهایش

دادهٔ ساختگی (Synthetic Data) فقط وقتی به کار می‌آید که بتوانید کیفیتش را بسنجید. این درس راه‌های وارسی را می‌شمارد — از درستی عملکرد تا فیلترهای ساده — و بعد چهار مرز دادهٔ ساختگی: کنترل کیفیت، تقلید سطحی، فروپاشی مدل (Model Collapse) و تبار مبهم داده.

زمان مطالعه: ۲۱ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۸، بخش‌های Data verification و Limitations to AI-generated data — صفحهٔ ۷۴۳

داده‌ی مصنوعی را چطور وارسی کنیم و چرا آموزش پشت‌سرهم روی آن به فروپاشی مدل (model collapse) می‌رسد.

وارسی، مثل هر خروجی دیگر

کیفیت دادهٔ ساختگی را همان‌طور می‌سنجند که هر خروجی هوش مصنوعی را: با درستی عملکرد و با داور هوش مصنوعی. بیشتر این روش‌ها برای سنجیدن هر دادهٔ آموزشی (Training Data) به کار می‌آیند، نه فقط ساختگی.

یادتان هست در فصل ۴ گفتیم شرکت‌ها بیشتر اپلیکیشن‌هایی می‌سازند که بتوانند ارزیابی کنند؟ همین‌جا هم صادق است: مردم داده‌ای می‌سازند که بتوانند وارسی کنند. برنامه‌نویسی از محبوب‌ترین کاربردهای مدل‌هاست چون درستی‌اش سنجیدنی است، و به همان دلیل نمونه‌های کد از رایج‌ترین داده‌های ساختگی‌اند.

وارسی‌کنندهٔ هوش مصنوعی

برای داده‌ای که درستی عملکردی ندارد، وارسی‌کنندهٔ هوش مصنوعی رایج است: یک داور همه‌منظوره یا یک امتیازدهندهٔ تخصصی. ساده‌ترین شکل: به هر نمونه نمرهٔ ۱ تا ۵ بدهد یا خوب/بد بگوید. یا ویژگی‌های کیفیت را برایش بنویسید و بپرسید نمونه آن‌ها را دارد یا نه. اگر سازگاری با واقعیت مهم است، روش‌های تشخیص ناسازگاری فصل ۴ نمونه‌های توهم‌دار را جدا می‌کنند.

خلاقیت در وارسی

  • اگر دادهٔ ساختگی باید شبیه دادهٔ واقعی باشد، کیفیتش را با سختیِ تشخیص این دو بسنجید: یک تشخیص‌دهندهٔ محتوای ساختگی آموزش بدهید؛ اگر به‌آسانی جدایشان کند، دادهٔ ساختگی خوب نیست.
  • اگر می‌خواهید مقاله‌های ساختگی شبیه کار علمی باکیفیت باشند، دسته‌بندی آموزش بدهید که پیش‌بینی کند مقاله در کنفرانسی مثل NeurIPS پذیرفته می‌شود یا نه، و ردشده‌های قطعی را دور بریزید.
  • مدلی موضوع هر نمونه را تشخیص بدهد و نمونه‌های بی‌ربط حذف شوند.
  • اگر همهٔ داده باید الگوی مشابهی داشته باشد، تشخیص ناهنجاری نمونه‌های پرت را پیدا کند — نمونه‌های پرت ممکن است بی‌کیفیت باشند.

در حال بررسی دسترسی…

در این درس

  • وارسی، مثل هر خروجی دیگر
  • وارسی‌کنندهٔ هوش مصنوعی
  • خلاقیت در وارسی
  • فیلترهای ساده
  • چهار مرز دادهٔ ساختگی
  • ۱. کنترل کیفیت
  • ۲. تقلید سطحی
  • ۳. فروپاشی مدل
  • ۴. تبار مبهم
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • چرا بیشتر دادهٔ ساختگی دربارهٔ کد است؟
  • چهار فیلتر Self-Instruct؟
  • وارسی خلاقانهٔ «شباهت به دادهٔ واقعی» چطور است؟
  • تقلید سطحی (superficial imitation)؟
  • فروپاشی مدل (model collapse)؟
  • راه جلوگیری از فروپاشی مدل؟
  • تبار مبهم داده چه دو خطری دارد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com