۹. بازخورد کاربر (۲): کارها، و طراحی جمعآوری
همهٔ بازخوردها در متن پیام نیستند: تولید دوباره، حذف و تغییر نام گفتوگو، طول و تنوع گفتوگو هم حرف میزنند. بعد پرسش مهمتری میآید: کِی و چطور بازخورد بخواهیم، بی آنکه کار کاربر را قطع کنیم؟ از Midjourney و Copilot میآموزیم، و از شکلک خشمگینی که Luma جای پنج ستاره گذاشته بود.
بازخورد کاربر در محصول هوش مصنوعی برای چه کارهایی است و جمعآوریاش را کجا و چطور طراحی کنیم.
بازخورد از کارها
گونههای دیگری از بازخورد گفتوگویی از کارهای کاربر بیرون میآیند، نه از پیامهایش:
بعد از تولید دوباره، بعضی اپلیکیشنها صریحاً میخواهند پاسخ تازه با قبلی مقایسه شود (ChatGPT میپرسد «این پاسخ بهتر بود یا بدتر؟»). این دادههای «بهتر یا بدتر» هم برای تنظیم ترجیحی (Preference Fine-tuning) به کار میآیند.
صریح کم است، ضمنی پرنویز
بازخورد صریح تفسیرش آسانتر است ولی از کاربر کار اضافه میخواهد. چون خیلیها حاضر نیستند این کار را بکنند، بازخورد صریح میتواند کمیاب باشد، بهخصوص در اپلیکیشنهایی با کاربر کم. و از سوگیری پاسخ رنج میبرد: کاربر ناراضی بیشتر احتمال دارد شکایت کند، پس بازخورد منفیتر از واقع به نظر میرسد.
بازخورد ضمنی فراوانتر است — حدش فقط تخیل شماست — ولی پرنویزتر. مثال کتاب: اشتراک گذاشتن گفتوگو هم میتواند منفی باشد هم مثبت. یکی از دوستان نویسنده بیشتر وقتی گفتوگو را به اشتراک میگذارد که مدل اشتباه فاحشی کرده، و دوست دیگری بیشتر گفتوگوهای مفید را با همکارانش به اشتراک میگذارد. پس باید کاربرها را مطالعه کنید تا بفهمید چرا هر کاری را میکنند. افزودن سیگنالهای بیشتر کمک میکند: اگر کاربر بعد از اشتراک لینک، سؤالش را بازنویسی کرد، شاید گفتوگو انتظارش را برآورده نکرده.
در حال بررسی دسترسی…
در این درس
- بازخورد از کارها
- صریح کم است، ضمنی پرنویز
- کِی بازخورد بخواهیم؟
- در شروع
- وقتی اتفاق بدی میافتد
- وقتی مدل مطمئن نیست
- وقتی اتفاق خوبی میافتد؟
- چطور بازخورد بخواهیم؟
- زمینه، رضایت، و شفافیت
- کار ناممکن نخواهید، و گیج نکنید
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- تولید دوباره همیشه نارضایتی است؟
- طول گفتوگو مثبت است یا منفی؟
- عیب بازخورد صریح و ضمنی؟
- چهار زمان مهم برای بازخورد؟
- سیگنالهای Midjourney؟
- چرا ChatGPT بازخوردی مثل Gmail ندارد؟
- جریان اهدای داده؟
- درس شکلکهای Luma؟