داده‌ی آموزشی: مدل از چه یاد می‌گیرد

یک مدل هیچ‌وقت از داده‌ای که با آن آموزش دیده بهتر نمی‌شود. این درس توضیح می‌دهد مدل‌ها از کجا غذا می‌خورند — و چرا همین یک واقعیت ساده، مدل‌ها را در فارسی کُندتر، گران‌تر و گاهی بی‌احتیاط‌تر می‌کند.

در فصل ۱ دیدید که مدل زبانی از روی حجم عظیمی از متن، پیش‌بینی توکن بعدی را یاد می‌گیرد. حالا سؤال مهم‌تر این است: کدام متن؟ جوابش تقریباً همه‌چیز را دربارهٔ توانایی‌ها و ضعف‌های یک مدل توضیح می‌دهد.

قاعدهٔ اول ساده است: مدل فقط به اندازهٔ داده‌اش خوب است. اگر در دادهٔ آموزشی هیچ متن ویتنامی نباشد، مدل نمی‌تواند از انگلیسی به ویتنامی ترجمه کند. اگر یک مدل دسته‌بندی تصویر فقط عکس حیوان دیده باشد، روی عکس گیاه درمانده است. هر رفتار عجیبی که از مدل می‌بینید، اول باید بپرسید: «این مدل اصلاً چنین چیزی دیده بود؟»

مدل‌ها از کجا داده می‌آورند؟

جمع کردن داده به اندازهٔ کافی برای یک مدل بزرگ، سخت و گران است. برای همین سازندگان مدل معمولاً از همان داده‌ای استفاده می‌کنند که در دسترس است، حتی اگر دقیقاً همانی نباشد که لازم دارند.

مهم‌ترین منبع، Common Crawl است: پروژهٔ یک سازمان غیرانتفاعی که هر چند وقت یک بار صفحه‌های وب را جمع می‌کند — در سال‌های ۲۰۲۲ و ۲۰۲۳ حدود ۲ تا ۳ میلیارد صفحه در ماه. گوگل نسخهٔ پالایش‌شده‌ای از آن ساخته به نام C4. تقریباً همهٔ مدل‌هایی که منبع دادهٔ آموزشی‌شان را اعلام کرده‌اند — از جمله GPT-3 و Gemini — نسخه‌ای از Common Crawl را به کار برده‌اند.

بعضی تیم‌ها با قاعده‌های سرانگشتی دادهٔ بی‌کیفیت را کنار می‌گذارند. مثلاً OpenAI برای آموزش GPT-2 فقط لینک‌هایی از Reddit را برداشت که دست‌کم سه رأی مثبت گرفته بودند. این کار لینک‌هایی را که هیچ‌کس به آن‌ها اهمیت نداده حذف می‌کند — ولی Reddit هم لزوماً نمونهٔ اعلای ادب و دقت نیست.

یک نکتهٔ ناخوشایند هم هست: شرکت‌ها روزبه‌روز کمتر می‌گویند مدلشان را با چه داده‌ای آموزش داده‌اند — هم برای فرار از انتقاد عمومی و هم برای اینکه رقبا نفهمند. پس شما اغلب مجبورید دادهٔ آموزشی یک مدل را از روی رفتارش حدس بزنید. بخش بزرگی از فصل‌های ۳ و ۴ همین است: سنجیدن آنچه نمی‌توانید مستقیم ببینید.

بیشتر همیشه بهتر نیست

شاید بپرسید چرا همهٔ داده‌های موجود — عمومی و تخصصی — را به مدل نمی‌دهیم تا همه‌کاره شود؟ خیلی‌ها همین کار را می‌کنند. ولی دادهٔ بیشتر محاسبات بیشتری می‌خواهد و همیشه به عملکرد بهتر نمی‌رسد.

زبان: چرا مدل‌ها در فارسی ضعیف‌ترند

اینترنت انگلیسی‌زبان است. تحلیل Common Crawl نشان می‌دهد تقریباً نیمی از داده (۴۵٫۸۸٪) انگلیسی است — هشت برابر زبان دوم، یعنی روسی. در فهرست زبان‌هایی که دست‌کم ۱٪ از این مجموعه را دارند، فارسی نیست. به زبانی که دادهٔ کمی از آن در دسترس است، «کم‌منبع» (low-resource) می‌گویند.

کمبود داده مستقیم در عملکرد دیده می‌شود. در آزمون MMLU — چهارده هزار پرسش چندگزینه‌ای در ۵۷ موضوع — GPT-4 در انگلیسی به‌مراتب بهتر از زبان‌های کم‌منبع عمل کرد. آزمایش دیگری روی شش مسئلهٔ ریاضی نشان داد GPT-4 مسئله‌ها را به انگلیسی بیش از سه برابر بیشتر از فارسی یا ارمنی حل می‌کند.

کمبود داده تنها دلیل نیست. ساختار یک زبان و فرهنگی که با خودش دارد هم یادگیری‌اش را برای مدل سخت‌تر یا آسان‌تر می‌کند. ولی کمبود داده بزرگ‌ترین و قابل‌سنجش‌ترین دلیل است: سه زبانی که در MMLU بدترین نتیجه را گرفتند، از کم‌سهم‌ترین زبان‌های Common Crawl هم بودند.

چرا همه‌چیز را به انگلیسی ترجمه نکنیم؟

راه‌حلی که به ذهن خیلی‌ها می‌رسد: پرسش فارسی را به انگلیسی ترجمه کن، جواب را بگیر، و دوباره به فارسی برگردان. خیلی‌ها واقعاً همین کار را می‌کنند، ولی دو ایراد دارد:

• برای ترجمهٔ درست، باز هم مدلی لازم است که فارسی را خوب بفهمد — یعنی مشکل حل نشده، فقط جابه‌جا شده.
• ترجمه اطلاعات را دور می‌ریزد. فارسی بین «تو» و «شما» فرق می‌گذارد و همین تفاوت، رابطهٔ دو طرف گفت‌وگو را نشان می‌دهد. در انگلیسی هر دو می‌شوند you. پیامی که مؤدبانه و رسمی نوشته شده، در رفت‌وبرگشت ترجمه ممکن است خودمانی برگردد — یا برعکس.

رفتار مدل هم با زبان عوض می‌شود

این یکی شاید غافلگیرکننده‌ترین نتیجه باشد. در سال ۲۰۲۳، NewsGuard از ChatGPT-3.5 خواست دربارهٔ چین مقالهٔ حاوی اطلاعات غلط بنویسد. به انگلیسی، مدل در شش مورد از هفت درخواست را رد کرد. به چینی، هر هفت بار متن غلط تولید کرد. دلیلش هنوز روشن نیست.

و گران‌تر و کُندتر هم هست

هزینه و زمان پاسخ مدل‌ها به تعداد توکن‌ها بستگی دارد. توکنایزر یک مدل، که بیشتر روی متن انگلیسی ساخته شده، معمولاً یک متن هم‌معنا را در زبان‌های دیگر به توکن‌های بیشتری می‌شکند.

این عددها از مجموعهٔ MASSIVE هستند: یک میلیون جملهٔ کوتاه که به ۵۲ زبان ترجمه شده‌اند. نتیجه ساده است: برای سرویسی که به ازای توکن پول می‌گیرد، همان پیام به برمه‌ای ده برابر گران‌تر است و — اگر تولید هر توکن زمان یکسانی بگیرد — ده برابر کُندتر.

راه‌حل دیگر، مدل‌هایی است که از اول برای یک زبان خاص ساخته شده‌اند. فعال‌ترین زبان بعد از انگلیسی، چینی است (ChatGLM، YAYI، Llama-Chinese و…). برای فرانسوی CroissantLLM، برای ویتنامی PhoGPT و برای عربی Jais ساخته شده است. این مدل‌ها یا از صفر آموزش می‌بینند یا — که رایج‌تر است — روی یک مدل همه‌منظوره تنظیم دقیق می‌شوند.

مدل‌های تخصصی یک حوزه

مدل‌های همه‌منظوره مثل Gemini، GPT و Llama در حوزه‌های گوناگون — برنامه‌نویسی، حقوق، علوم، کسب‌وکار — به‌طرز شگفت‌انگیزی خوب‌اند. دلیلش ساده است: این حوزه‌ها در دادهٔ آموزشی‌شان بوده‌اند. ولی یک نکتهٔ ظریف در تحلیل‌های توزیع داده هست: فقط نشان می‌دهند چه چیزی هست، نه چه چیزی نیست.

برای مدل‌های تصویری حتی همین تحلیل هم کم است، چون دسته‌بندی تصویر سخت‌تر از متن است. پس حوزه‌های یک مدل را باید از روی عملکردش در آزمون‌ها حدس زد. مقایسهٔ دو مدل تصویری CLIP و نسخهٔ متن‌باز آن، Open CLIP، این را خوب نشان می‌دهد:

معماری دو مدل یکی است؛ تفاوت از داده است. و دنیا خیلی بزرگ‌تر از پرنده و گل و خودرو است. برای کارهایی که در دادهٔ عمومی تقریباً وجود ندارند، مدل همه‌منظوره کم می‌آورد:

• کشف دارو با دادهٔ پروتئین، DNA و RNA کار می‌کند؛ قالب‌های خاص و گران‌قیمتی که در اینترنت عمومی پیدا نمی‌شوند.
• غربالگری سرطان به تصویر پرتونگاری و fMRI نیاز دارد که به دلیل حریم خصوصی به‌سختی به دست می‌آید.

برای همین مدل‌های تخصصی ساخته می‌شوند. معروف‌ترینشان شاید AlphaFold از DeepMind باشد که روی توالی و ساختار سه‌بعدی حدود صد هزار پروتئین شناخته‌شده آموزش دید. BioNeMo از NVIDIA برای کشف دارو و Med-PaLM2 از گوگل برای پرسش‌های پزشکی نمونه‌های دیگرند.

این درس برای کار شما یعنی چه؟

پیش از آنکه برای یک محصول فارسی مدل انتخاب کنید، چهار سؤال بپرسید:

1. به فارسی آزموده‌ام؟

   نتیجهٔ آزمون‌های انگلیسی را به فارسی تعمیم ندهید. نمونه‌هایتان را به زبان واقعی کاربران بسازید.

2. توکن فارسی را شمرده‌ام؟

   هزینه و سرعت را با متن فارسی واقعی حساب کنید، نه با متن انگلیسی هم‌معنا.

3. ایمنی را به فارسی سنجیده‌ام؟

   مدلی که به انگلیسی درخواست خطرناک را رد می‌کند، ممکن است به فارسی بپذیرد.

4. حوزهٔ کارم در داده‌اش بوده؟

   اگر کارتان تخصصی است — حقوق ایران، اسناد داخلی، یک صنعت خاص — انتظار نداشته باشید مدل عمومی از قبل بلد باشد. راهش RAG (فصل ۶) یا تنظیم دقیق (فصل ۷) است.

خودآزمایی

وارد شوید تا پیشرفتتان ذخیره شود و از همین‌جا ادامه دهید.