۳. از LLM به مدل پایه

فراتر از متن

مدل زبانی هر قدر هم توانا باشد، به متن محدود است. ولی ما آدم‌ها دنیا را فقط با زبان نمی‌فهمیم؛ می‌بینیم، می‌شنویم، لمس می‌کنیم. برای اینکه هوش مصنوعی در دنیای واقعی کار کند، باید بتواند داده‌ای جز متن را هم پردازش کند.

برای همین مدل‌های زبانی گسترش یافتند تا وجه‌های (modality) دیگر داده را هم بفهمند. GPT-4V و Claude 3 تصویر و متن را می‌فهمند؛ بعضی مدل‌ها حتی ویدیو، مدل سه‌بعدی و ساختار پروتئین را. OpenAI در کارت سیستمی GPT-4V (۲۰۲۳) نوشت که افزودن وجه‌های دیگر مثل ورودی تصویر به LLMها را بعضی‌ها یکی از مرزهای کلیدی پژوهش هوش مصنوعی می‌دانند.

این یک گسست از ساختار سنتی پژوهش هوش مصنوعی است. مدت‌ها پژوهش بر اساس نوع داده جدا بود: پردازش زبان طبیعی (NLPNatural Language Processingپردازش زبان طبیعی) فقط با متن کار می‌کرد و بینایی ماشین فقط با تصویر. مدل فقط‌متنی برای ترجمه و تشخیص هرزنامه بود؛ مدل فقط‌تصویری برای تشخیص و دسته‌بندی اشیا؛ مدل فقط‌صوتی برای بازشناسی گفتار (STTSpeech-To-Textگفتار به متن، گفتار به متن) و ساخت گفتار (TTSText-To-Speechمتن به گفتار، متن به گفتار).

مدلی که با بیش از یک وجه داده کار کند چندوجهی (multimodal) نام دارد، و مدل چندوجهیِ مولد را LMMLarge Multimodal Modelمدل چندوجهی بزرگ می‌گویند. اگر مدل زبانی توکن بعدی را فقط از روی توکن‌های متنی حدس می‌زند، مدل چندوجهی آن را از روی توکن‌های متن و تصویر (یا هر وجهی که پشتیبانی کند) حدس می‌زند.

خودنظارتی برای تصویر هم کار می‌کند

مدل چندوجهی هم برای بزرگ شدن داده می‌خواهد، و خودنظارتی این‌جا هم به داد می‌رسد. OpenAI برای آموزش مدل زبان-تصویرِ CLIP (۲۰۲۱) از گونه‌ای از خودنظارتی به اسم نظارت با زبان طبیعی استفاده کرد: به‌جای اینکه برای هر عکس دستی برچسب بسازد، جفت‌های (تصویر، متن) را پیدا کرد که در اینترنت کنار هم آمده بودند — مثلاً عکسی و زیرنویسش.

این‌طور مجموعه‌داده‌ای با ۴۰۰ میلیون جفت (تصویر، متن) ساخته شد، ۴۰۰ برابر ImageNet، بی هیچ هزینهٔ برچسب‌زنی دستی. همین داده CLIP را اولین مدلی کرد که بی آموزش اضافه، در چند کار مختلف دسته‌بندی تصویر خوب عمل کرد.

مدل پایه، و چرا این اسم؟

خیلی‌ها هنوز Gemini و GPT-4V را LLM می‌نامند، ولی کتاب می‌گوید بهتر است مدل پایه (foundation model، FMFoundation Modelمدل پایه) صدایشان کنیم. کتاب این اصطلاح را هم برای LLMها به کار می‌برد و هم برای LMMها.

از تک‌کاره به همه‌کاره

مدل پایه گذار از مدل تک‌کاره به مدل همه‌منظوره هم هست. قبلاً مدل‌ها برای یک کار مشخص ساخته می‌شدند، مثل تحلیل احساسات یا ترجمه؛ مدلی که برای تحلیل احساسات آموزش دیده بود نمی‌توانست ترجمه کند و برعکس. مدل پایه، به لطف بزرگی و روش آموزشش، طیف وسیعی از کارها را بلد است: یک LLM هم تحلیل احساسات می‌کند و هم ترجمه. آزمون Super-NaturalInstructions (Wang و همکاران، ۲۰۲۲) با فهرست بلندی از نوع کارها، تصوری از این گستره می‌دهد.

مدل همه‌منظوره از جعبه که بیرون می‌آید برای خیلی کارها نسبتاً خوب است، ولی معمولاً می‌شود برای یک کار مشخص بهترش کرد. مثال کتاب: برای یک خرده‌فروش، توضیح محصول برای وب‌سایتش می‌سازید. مدل آماده شاید توضیح درستی بنویسد، ولی لحن برند را نگیرد، پیام‌های اصلی برند را برجسته نکند، یا متنش پر از کلیشه‌های تبلیغاتی باشد.

سه راه برای رام کردن مدل

برای رساندن مدل به خروجی دلخواه، سه روش بسیار رایج دارید — و باقی این دوره شرح همین سه‌تاست:

با این حال مدل تک‌کاره هنوز مزیت‌هایی دارد: مثلاً ممکن است خیلی کوچک‌تر باشد، پس سریع‌تر و ارزان‌تر کار کند. اینکه مدل خودتان را بسازید یا از مدل موجود استفاده کنید، همان سؤال کلاسیک «بسازیم یا بخریم؟» است که هر تیم باید برای خودش جواب بدهد؛ فصل‌های بعد برای این تصمیم ابزار می‌دهند.

خودآزمایی