۴. از کجا داده بیاوریم: چرخطیار داده و برچسبزنی
داده را میشود پیدا کرد، خرید، برچسب زد یا ساخت. ولی ارزشمندترین منبع معمولاً جای دیگری است: کاربرهای خود اپلیکیشن هوش مصنوعی. این درس دربارهٔ «چرخطیار داده»، فهرست منبعهای دادهٔ عمومی، مسیر واقعی ساختن یک دیتاست، و سختترین قسمت برچسبزنی (Data Labeling) است: نوشتن راهنمایش.
از کجا داده بیاوریم: چرخطیار دادهی محصول، برچسبگذاری داده و راهنمای برچسبزنها.
هدف گردآوری
هدف، دیتاستی است بهقدر کافی بزرگ، با کیفیت و تنوع لازم — در حالی که به حریم خصوصی کاربرها احترام بگذارد و با قانون جور باشد. راهها: پیدا کردن دادهٔ عمومی، خریدن دادهٔ اختصاصی، برچسبزنی، و ساختن دادهٔ ساختگی (Synthetic Data). حتی رشتهای پژوهشی و رو به رشد به اسم راهبرد گردآوری داده هست: با بودجهٔ مشخص، چطور بهترین دیتاست (Dataset) را به دست آوریم.
مهمترین منبع: کاربرهای خودتان
مهمترین منبع داده معمولاً دادهٔ اپلیکیشن خودتان است. اگر راهی پیدا کنید که دادهٔ تولیدشده توسط کاربرها پیوسته محصول را بهتر کند، مزیت بزرگی دارید. اسمش چرخطیار داده (data flywheel) است:
دادهٔ اپلیکیشن ایدهآل است چون کاملاً مرتبط و همراستا با کار شماست؛ یعنی همان توزیعی را دارد که برایتان مهم است — چیزی که با هیچ منبع دیگری بهسختی به دست میآید. این داده میتواند محتوای کاربر باشد، دادهٔ سیستمی از استفادهٔ کاربرها، یا بازخورد کاربر (فصل ۱۰).
در حال بررسی دسترسی…
در این درس
- هدف گردآوری
- مهمترین منبع: کاربرهای خودتان
- اول بگردید، بعد بسازید
- منبعهای دادهٔ عمومی
- برچسبزنی، و سختتر از آن: راهنمایش
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- چرخطیار داده (data flywheel)؟
- چرا دادهٔ خود اپلیکیشن ارزشمندترین منبع است؟
- دیتاستی با مجوز تجاری پیدا شد؛ کافی است؟
- سختترین بخش برچسبزنی؟
- lm-evaluation-harness برای داده چه دارد؟