۵. قانون مقیاس و دیوارهای پیش رو

آیا بزرگ‌تر همیشه بهتر است؟

تا این‌جا فرض کردیم مدل بزرگ‌تر بهتر است. جایی هست که برعکس باشد؟ در ۲۰۲۲ Anthropic نتیجهٔ غیرمنتظره‌ای دید: آموزش همسوسازی بیشتر به مدل‌هایی رسید که کمتر با ترجیح انسان همسو بودند. به گفتهٔ مقاله، این مدل‌ها بسیار بیشتر دیدگاه سیاسی و مذهبی مشخص ابراز می‌کردند، از تجربهٔ آگاهانه و ارزش اخلاقی خودشان حرف می‌زدند، و تمایل داشتند خاموش نشوند.

در ۲۰۲۳ گروهی از پژوهشگران، بیشترشان از دانشگاه نیویورک، جایزهٔ مقیاس معکوس را گذاشتند تا کارهایی پیدا شود که مدل بزرگ‌تر در آن‌ها بدتر است: ۵٬۰۰۰ دلار برای هر جایزهٔ سوم، ۲۰٬۰۰۰ دلار برای هر جایزهٔ دوم و ۱۰۰٬۰۰۰ دلار برای جایزهٔ اول. از ۹۹ پیشنهاد، ۱۱ تا جایزهٔ سوم گرفتند. مدل‌های بزرگ‌تر گاهی در کارهایی که حفظیات می‌خواهد یا پیش‌فرض قوی دارد بدتر بودند. ولی جایزهٔ دوم و اول به کسی داده نشد، چون این شکست‌ها روی مجموعهٔ آزمون کوچک دیده می‌شدند، نه در دنیای واقعی.

قانون چین‌چیلا: بودجه را درست خرج کنید

سه چیز تا اینجا روشن شد: کیفیت مدل به اندازهٔ مدل و داده بستگی دارد؛ هر دو محاسبه می‌خواهند؛ و محاسبه پول است. پس سؤال درست این نیست که «چه مدل بزرگی بسازیم؟» بلکه این است: «با این بودجه، بهترین مدل ممکن چیست؟» مدلی که با یک بودجهٔ ثابت بهترین نتیجه را بدهد، بهینهٔ محاسباتی (compute-optimal) نام دارد.

پژوهشگران DeepMind در مقالهٔ معروف به چین‌چیلا بیش از ۴۰۰ مدل — از ۷۰ میلیون تا بیش از ۱۶ میلیارد پارامتر — را روی ۵ تا ۵۰۰ میلیارد توکن آموزش دادند و به یک قاعدهٔ ساده رسیدند:

حالا جدول زیر معنی پیدا می‌کند. ستون آخر را ببینید — قبل از چین‌چیلا، مدل‌های غول‌پیکر با دادهٔ خیلی کمتر از لازم آموزش دیده بودند:

با ماشین‌حساب زیر بازی کنید. ببینید با بزرگ‌تر شدن مدل، هر سه عدد مقیاس چطور با هم بالا می‌روند — و از کجا به بعد حتی اجرای مدل روی یک GPU ممکن نیست:

Sardana و همکاران (۲۰۲۳) قانون چین‌چیلا را طوری تغییر دادند که تقاضای استنتاج را هم حساب کند.

یک نکتهٔ دیگر هم هست: رسیدن به یک کیفیت ثابت هر سال ارزان‌تر می‌شود (هزینهٔ رسیدن به دقت ۹۳٪ در ImageNet از ۲۰۱۹ تا ۲۰۲۱ نصف شد)، ولی بهتر کردن کیفیت همچنان گران است. درست مثل چالش آخرین مایل فصل ۱: رفتن از ۹۰ به ۹۵ درصد از رفتن از ۸۵ به ۹۰ گران‌تر است. در مدل‌سازی زبان، یک بهبود ظاهراً کوچک در خطای مدل ممکن است ده برابر داده بخواهد — ولی همان بهبود کوچک در کیفیت محصول کاملاً حس می‌شود.

عددهای کتاب: طبق مقالهٔ Meta دربارهٔ قانون‌های مقیاس، مدلی با ۲٪ خطا شاید ده برابر مدلی با ۳٪ خطا داده، محاسبه یا انرژی بخواهد. در مدل‌سازی زبان، پایین آوردن زیان آنتروپی متقاطع از حدود ۳٫۴ به ۲٫۸ نَت ده برابر دادهٔ آموزشی می‌خواهد (این واحد را در فصل ۳ می‌بینیم). در مدل‌های بزرگ تصویر، دو برابر کردن نمونه‌ها از ۱ به ۲ میلیارد فقط چند درصد دقت ImageNet را بالا می‌برد.

یک شانس برای ابرپارامترها

این زیرشاخه برون‌یابی مقیاس نام دارد و هنوز تخصصی است، چون کمتر کسی منابع مطالعهٔ آموزش مدل‌های بزرگ را دارد. سختی‌اش تعداد و درهم‌تنیدگی ابرپارامترهاست: با ده ابرپارامتر باید ۱٬۰۲۴ ترکیب را بررسی کنید — هر کدام تنها، بعد دوتایی، سه‌تایی و همین‌طور تا آخر.

دو دیوار پیش رو: داده و برق

تا امروز هر ده برابر شدن اندازهٔ مدل، کیفیت را بالا برده است: GPT-2 ده برابر GPT-1 پارامتر داشت و GPT-3 صد برابر GPT-2. ولی این رشد تا کِی ادامه پیدا می‌کند؟ دو گلوگاه همین حالا دیده می‌شوند.

گلوگاه اول: داده. دادهٔ آموزشی خیلی سریع‌تر از تولید دادهٔ تازه در اینترنت رشد می‌کند و نگرانی واقعی این است که ظرف چند سال دادهٔ اینترنتی تمام شود. هرچه تا حالا در اینترنت گذاشته‌اید، فرض کنید در دادهٔ آموزشی یک مدل هست یا خواهد بود — چه رضایت داده باشید چه نه. از آن طرف اینترنت با سرعت از متن‌های تولیدشده با هوش مصنوعی پر می‌شود؛ یک بار مدل Grok درخواستی را با این جمله رد کرد که «خلاف سیاست OpenAI است»، و توضیح سازنده‌اش این بود که «وب پر از خروجی ChatGPT است». در همین حال سایت‌هایی مثل Reddit و Stack Overflow دسترسی به داده‌شان را بستند؛ تا ۲۰۲۴ حدود ۴۵٪ از مجموعه‌دادهٔ C4 محدود شده بود.

این وضع دو پیامد دیگر هم دارد. بعضی‌ها عمداً متنی منتشر می‌کنند تا در دادهٔ مدل‌های آینده جا بگیرد و جوابشان را جهت بدهد؛ بدخواه‌ها هم می‌توانند همین کار را برای حملهٔ تزریق پرامپت بکنند (فصل ۵). و یک پرسش پژوهشی باز هم هست: چطور مدل را وادار کنیم چیزی را فراموش کند؟ اگر پستی را که در داده بوده حذف کنید، مدل شاید هنوز محتوایش را بازتولید کند.

بعضی پژوهشگران نگران‌اند آموزش پی‌درپی روی دادهٔ ساخت هوش مصنوعی باعث شود مدل‌های تازه الگوهای دادهٔ اصلی را کم‌کم فراموش کنند و افت کنند (Shumailov و همکاران، ۲۰۲۳)؛ اثر واقعی دادهٔ ساختگی پیچیده‌تر است و در فصل ۸ می‌آید. بستن داده هم شتاب گرفته: Longpre و همکاران (۲۰۲۴) دیدند بین ۲۰۲۳ و ۲۰۲۴ بیش از ۲۸٪ مهم‌ترین منبع‌های C4 کاملاً محدود شدند، و با احتساب شرایط استفاده و محدودیت خزش، ۴۵٪ کل C4.

گلوگاه دوم: برق. مراکز داده امروز حدود ۱ تا ۲ درصد برق جهان را مصرف می‌کنند و تخمین زده می‌شود تا ۲۰۳۰ به ۴ تا ۲۰ درصد برسد. تا وقتی راهی برای تولید انرژی بیشتر پیدا نشود، مراکز داده حداکثر ۵۰ برابر می‌توانند بزرگ شوند — کمتر از دو مرتبهٔ بزرگی.

خودآزمایی