۲. خودنظارتی: رازِ بزرگ شدن مدل‌ها

چرا این یکی منفجر شد؟

یادگیری ماشین پر از مدل است: مدل تشخیص اشیا، مدل موضوع‌یابی متن، سیستم پیشنهاددهنده، پیش‌بینی آب‌وهوا، پیش‌بینی قیمت سهام. پس چرا لحظهٔ انفجاری هوش مصنوعی — «لحظهٔ ChatGPT» — با مدل زبانی رقم خورد و مدل زبانی مرکز همهٔ این بزرگ‌سازی شد؟

جواب کتاب یک کلمه است: خودنظارتی (self-supervision). مدل زبانی را می‌شود با خودنظارتی آموزش داد، در حالی که بیشتر مدل‌های دیگر به نظارت نیاز دارند. برای فهمیدن فرقشان، اول ببینیم نظارت چیست.

نظارت: برچسب، گران و کند

در یادگیری نظارت‌شده (supervised)، نمونه‌ها را دستی برچسب می‌زنید تا رفتاری را که می‌خواهید به مدل نشان دهید، و مدل را روی همین نمونه‌ها آموزش می‌دهید. می‌خواهید مدل تقلب بانکی را تشخیص دهد؟ باید هزاران تراکنش را یکی‌یکی برچسب «تقلب» یا «سالم» بزنید. مدل که یاد گرفت، می‌تواند دربارهٔ تراکنش تازه هم حدس بزند.

موفقیت مدل‌های هوش مصنوعی در دههٔ ۲۰۱۰ بر همین نظارت بنا شده بود. مدلی که انقلاب یادگیری عمیق را شروع کرد، AlexNet (کریژفسکی و همکاران، ۲۰۱۲)، نظارت‌شده بود: یاد گرفت بیش از یک میلیون عکس مجموعه‌دادهٔ ImageNet را در یکی از ۱٬۰۰۰ دسته مثل «ماشین»، «بادکنک» یا «میمون» جا بدهد.

خودنظارتی: برچسب از خود داده

خودنظارتی این گلوگاه را دور می‌زند. به‌جای برچسب صریح، مدل برچسب را از خود داده بیرون می‌کشد. مدل‌سازی زبان خودنظارتی است چون هر رشته‌متن هم برچسب‌ها را دارد (توکن‌هایی که باید حدس زده شوند) و هم زمینه‌ای را که مدل برای حدس زدن به کار می‌برد. به بیان ساده: خود متن، برگهٔ پاسخ خودش است.

مثال کتاب جملهٔ I love street food. است که شش نمونهٔ آموزشی می‌دهد. همین را با یک جملهٔ فارسی ببینید:

<BOS> و <EOS> دو نشانهٔ ویژه‌اند: BOSBeginning Of Sequenceآغاز دنباله شروع رشته را نشان می‌دهد و EOSEnd Of Sequenceپایان دنباله پایانش را. این نشانه‌ها لازم‌اند تا مدل بتواند با چند رشته کار کند، و معمولاً هر کدام یک توکن ویژه حساب می‌شود. نشانهٔ پایان مهم‌تر از آن است که به نظر می‌رسد: به مدل یاد می‌دهد کِی حرفش را تمام کند — کتاب می‌گوید درست مثل آدم‌ها که باید بدانند کِی ساکت شوند.

چقدر بزرگ، بزرگ است؟

کتاب صریح می‌گوید «LLM» اصطلاح چندان علمی‌ای نیست: یک مدل زبانی چقدر باید بزرگ باشد تا «بزرگ» حساب شود؟ چیزی که امروز بزرگ است شاید فردا کوچک باشد.

اندازهٔ مدل را معمولاً با تعداد پارامترهایش می‌سنجند. پارامتر متغیری درون مدل است که در جریان آموزش به‌روز می‌شود — مثل یک پیچ تنظیم روی یک دستگاه غول‌پیکر. به‌طور کلی، هرچند نه همیشه، هرچه پارامتر بیشتر، ظرفیت مدل برای یادگیری رفتار دلخواه بیشتر. (کتاب در پانویس می‌گوید در مدرسه یاد گرفته پارامترها شامل وزن‌ها و بایاس‌های مدل‌اند، ولی امروز معمولاً به همه‌شان «وزن» می‌گویند.)

خودآزمایی