شیدهوش
فصل ۸ · درس ۲ از ۱۴

۲. کیفیت و پوشش: دادهٔ خوب برای هوش مصنوعی یعنی چه؟

مقدار کمی دادهٔ باکیفیت می‌تواند از انبوهی دادهٔ پرسروصدا بهتر باشد. ولی «باکیفیت» دقیقاً یعنی چه؟ این درس شش ویژگی دادهٔ خوب را می‌شمارد، بعد سراغ پوشش می‌رود: اینکه داده همهٔ شکل‌های استفادهٔ واقعی را نشان بدهد — و اینکه ترکیب داده چطور انتخاب می‌شود.

زمان مطالعه: ۲۰ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۸، بخش‌های Data Quality و Data Coverage — صفحهٔ ۶۹۲

دیتاست خوب برای مدل یعنی چه: کیفیت، پوشش و تنوع داده‌ی آموزشی هوش مصنوعی.

کم ولی خوب

شواهد زیادی می‌گویند مقدار کمی دادهٔ باکیفیت از مقدار زیادی دادهٔ پرسروصدا — نامربوط یا ناسازگار — بهتر است:

  • سازندگان خانوادهٔ مدل‌های Yi دیدند ۱۰ هزار دستور با دقت ساخته‌شده از صدها هزار دستور پرسروصدا بهترند.
  • مقالهٔ LIMA («کمتر برای هم‌ترازی بیشتر است»، ۲۰۲۳): یک مدل Llama با ۶۵ میلیارد پارامتر، تنظیم‌شده فقط روی ۱٬۰۰۰ پرامپت و پاسخ دست‌چین، در ۴۳٪ موارد به داوری انسان‌ها پاسخی هم‌تراز یا بهتر از GPT-4 داد. البته ضعفش هم گفته شده: با این‌قدر نمونهٔ کم، LIMA به اندازهٔ مدل‌های محصولی مقاوم نیست.
  • تیم Llama 3 هم به همین رسید — و دید دادهٔ ساخت انسان، به‌خصوص برای سیاست‌های ایمنی ظریف، بیشتر خطا و ناسازگاری دارد. برای همین ابزارهای برچسب‌زنی (Data Labeling) با کمک هوش مصنوعی ساختند تا کیفیت داده بالا بماند.

شش ویژگی دادهٔ باکیفیت

جواب کوتاه کتاب: داده‌ای باکیفیت است که کمک کند کارتان را کارآمد و قابل‌اعتماد انجام بدهید. جواب بلند، شش ویژگی است. نویسنده می‌گوید از جمع کردن تعریف‌های همه در یک تعریف خوشش نمی‌آید — IBM کیفیت داده را با هفت بُعد تعریف کرده و ویکی‌پدیا چند بُعد دیگر هم افزوده — پس این‌جا فقط کیفیت دادهٔ تنظیم دقیق (Fine-tuning) مهم است:

در حال بررسی دسترسی…

در این درس

  • کم ولی خوب
  • شش ویژگی دادهٔ باکیفیت
  • پوشش: همهٔ شکل‌های استفاده
  • ترکیب داده: درس Llama 3
  • ترکیب درست را چطور پیدا کنیم؟
  • کیفیت در برابر تنوع، در یک آزمایش
  • خودآزمایی

اصطلاح‌های کلیدی این درس

PII — Personally Identifiable Information
اطلاعات هویتی قابل شناسایی: داده‌ای که فرد را شناسایی می‌کند: کد ملی، شماره تلفن، آدرس.

پرسش‌هایی که این درس جواب می‌دهد

  • درس LIMA؟
  • شش ویژگی دادهٔ باکیفیت؟
  • چرا کتاب «هم‌راستا» می‌گوید نه «درست»؟
  • پوشش داده (data coverage)؟
  • مخمصهٔ افزودن داده (Data Addition Dilemma)؟
  • دو راه انتخاب ترکیب داده؟
  • آزمایش Zhou و همکاران با سه دیتاست ۲٬۰۰۰ تایی چه نشان داد؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com