از مدل زبانی تا مدل پایه

قبل از اینکه چیزی بسازیم، باید بدانیم با چه چیزی طرفیم. این درس شما را از ساده‌ترین تعریف تا اصطلاح «مدل پایه» می‌برد — بدون هیچ پیش‌نیاز ریاضی.

مدل زبانی یعنی چه؟

تعریف رسمی‌اش این است: مدل زبانی اطلاعات آماری یک یا چند زبان را در خود ذخیره می‌کند. ولی بیایید ساده‌تر بگوییم.

یک دوست را تصور کنید که عادت دارد جمله‌های شما را تمام کند. می‌گویید «رنگ مورد علاقهٔ من ...» و او می‌گوید «آبی». چرا آبی گفت و نگفت «ماشین»؟ چون در تمام عمرش هزاران بار شنیده که بعد از این جمله یک رنگ می‌آید، نه یک وسیلهٔ نقلیه. او قاعدهٔ دستور زبان را حفظ نکرده — فقط آمار را از تجربه بلد است.

توکن: واحد شمارش دنیای مدل‌ها

مدل با «کلمه» کار نمی‌کند و با «حرف» هم کار نمی‌کند. واحد کارش چیزی بین این دو است که به آن توکن می‌گویند. کار شکستن متن به توکن را توکن‌سازی (tokenization) می‌نامند، و مجموعهٔ همهٔ توکن‌هایی که یک مدل می‌شناسد واژگان (vocabulary) آن مدل است.

همین ترفند باعث می‌شود مدل با کلمه‌ای که تا حالا ندیده هم کنار بیاید. کلمهٔ ساختگی chatgpting را می‌شکند به chatgpt و ing و حدس می‌زند که احتمالاً فعل است.

دو نوع مدل زبانی

چرا این یکی منفجر شد و بقیه نه؟

مدل زبانی فقط یکی از ده‌ها الگوریتم یادگیری ماشین است. مدل تشخیص چهره داریم، مدل پیش‌بینی آب‌وهوا داریم، مدل پیشنهاد فیلم داریم. پس چرا لحظهٔ انفجاری هوش مصنوعی با مدل زبانی رقم خورد؟

جواب در یک کلمه است: خودنظارتی (self-supervision).

روش سنتی، نظارت‌شده (supervised) بود: باید هزاران نمونه را دستی برچسب می‌زدید تا مدل یاد بگیرد. می‌خواهید مدل تقلب بانکی را تشخیص دهد؟ باید روی هزاران تراکنش دستی بنویسید «تقلب» یا «سالم».

خودنظارتی این گلوگاه را کنار می‌زند. ایدهٔ نابغه‌وارش این است: خود متن، برگهٔ پاسخ خودش است. هیچ انسانی لازم نیست چیزی برچسب بزند.

یک جملهٔ ساده را ببینید. از همین یک جمله، مدل به‌طور خودکار چند نمونهٔ آموزشی می‌سازد:

آن <BOS> و <EOS> دو توکن ویژه‌اند: BOS علامت شروع متن و EOS علامت پایان. دومی خیلی مهم‌تر از آن چیزی است که به‌نظر می‌رسد — همین توکن است که به مدل می‌گوید کِی حرفش را تمام کند. بدون آن، مدل تا ابد ادامه می‌دهد.

چقدر بزرگ، بزرگ است؟

اندازهٔ مدل را با تعداد پارامترهایش می‌سنجند. پارامتر یعنی یک عدد داخل مدل که در جریان آموزش تنظیم می‌شود — مثل یک پیچ تنظیم روی یک دستگاه غول‌پیکر. هرچه پیچ بیشتر، ظرفیت یادگیری بیشتر (البته نه همیشه).

معیار «بزرگ» مدام عوض می‌شود. در سال ۲۰۱۸ مدلی با ۱۱۷ میلیون پارامتر بزرگ حساب می‌شد؛ یک سال بعد همان عدد کوچک شد. امروز صد میلیارد پارامتر بزرگ است، و احتمالاً چند سال دیگر همین هم کوچک به‌نظر می‌رسد.

قدم آخر: از LLM به مدل پایه

مدل زبانی فقط متن می‌فهمد. ولی ما آدم‌ها دنیا را فقط با زبان درک نمی‌کنیم — می‌بینیم، می‌شنویم، لمس می‌کنیم. برای اینکه هوش مصنوعی در دنیای واقعی کار کند، باید فراتر از متن برود.

مدلی که با بیش از یک نوع داده کار می‌کند چندوجهی (multimodal) نام دارد. اگر چندوجهی و مولد باشد، به آن LMM می‌گویند. وقتی این مدل‌ها هم بزرگ شدند و هم چندوجهی، اصطلاح LLM دیگر کافی نبود. اینجا بود که نام مدل پایه یا FM باب شد.

سه راه برای رام کردن مدل

مدل پایه از جعبه که بیرون می‌آید همه‌منظوره است. برای کار شما «خوب» است ولی «عالی» نیست. فرض کنید می‌خواهید برای یک فروشگاه، توضیح محصول بنویسد. مدل متن درستی تولید می‌کند، اما لحن برند شما را ندارد و پر از کلیشه‌های تبلیغاتی است.

سه ابزار برای حل این مشکل دارید. کل باقی این دوره، شرح همین سه‌تاست:

خودآزمایی

وارد شوید تا پیشرفتتان ذخیره شود و از همین‌جا ادامه دهید.