۱۰. پردازش داده (۲): تمیزکاری، فیلتر و قالب
دادهای که تکراریهایش رفته، هنوز آمادهٔ آموزش نیست: برچسب HTML، اطلاعات شخصی و نمونههای بیکیفیت باید بروند، و باقیمانده باید دقیقاً در قالبی دربیاید که مدل انتظار دارد. این درس آخرین قدمهای پردازش را میگوید، و فصل را جمعبندی میکند.
پاکسازی داده، فیلتر و قالب نهایی دادهی آموزشی برای فاینتیون مدل هوش مصنوعی.
تمیزکاری
داده باید تمیز شود تا مدل هم خوب کار کند و هم ایمن باشد. اول، نشانههای قالببندی اضافه. چون خیلی از دیتاستهای عمومی از اینترنت خراشیده شدهاند، برچسب HTML در آنها رایج است. مگر اینکه بخواهید مدل HTML یاد بگیرد، برشان دارید. Databricks دید حذف Markdown و HTML اضافه دقت مدلش را ۲۰٪ بالا برد و طول ورودیها را ۶۰٪ کم کرد.
دوم، هر چیزی که با سیاستهایتان جور نیست: PIIPersonally Identifiable Informationاطلاعات هویتی قابل شناسایی، دادهٔ حساس، دادهٔ دارای حق نشر، یا محتوای سمی. روشهای فصل ۴ کمک میکنند. فیلدهایی را که اجازهٔ استفادهشان را ندارید — کد پستی، اسم، جنسیت — حذف کنید.
فیلتر
دادههای بیکیفیت را با روشهای «وارسی داده» (درس ۷) پیدا و حذف کنید. بازرسی دستی اینجا هم حیاتی است: خیره شدن به داده الگوهایی نشان میدهد که میشوند قاعدهای برای پیدا کردن دادهٔ بد. این قاعدهها گاهی اصلاً بدیهی نیستند: Kern و همکاران (۲۰۲۴) دیدند برچسبهایی که در نیمهٔ دوم یک جلسهٔ برچسبزنی زده شدهاند کیفیت پایینتری دارند — احتمالاً از خستگی یا بیحوصلگی برچسبزن.
در حال بررسی دسترسی…
در این درس
- تمیزکاری
- فیلتر
- قالببندی
- جمعبندی فصل
- خودآزمایی
اصطلاحهای کلیدی این درس
- PII — Personally Identifiable Information
- اطلاعات هویتی قابل شناسایی: دادهای که فرد را شناسایی میکند: کد ملی، شماره تلفن، آدرس.
پرسشهایی که این درس جواب میدهد
- اثر حذف HTML و Markdown در Databricks؟
- یافتهٔ Kern و همکاران دربارهٔ کیفیت برچسب؟
- چرا دستورهای دادهٔ تنظیم معمولاً توضیح و مثال ندارند؟
- داده با
burger -->آموزش دیده. سه پرامپت دردسرساز؟ - یادگیری فعال و هرس داده برای چهاند؟