۱۱. طبیعت احتمالی: ناسازگاری و توهم

ناسازگاری: یک سؤال، دو جواب

از دوستتان بپرسید «بهترین غذای دنیا چیست؟» و یک دقیقه بعد دوباره بپرسید؛ دو بار یک جواب می‌شنوید. از یک مدل بپرسید و جوابش ممکن است عوض شود. اگر مدل فکر کند قورمه‌سبزی به احتمال ۷۰٪ بهترین غذای دنیاست و پیتزا ۳۰٪، هفتاد درصد مواقع می‌گوید قورمه‌سبزی و سی درصد پیتزا. نقطهٔ مقابل «احتمالی»، قطعی (deterministic) است: نتیجه بدون هیچ تصادفی معلوم است.

این ویژگی هوش مصنوعی را برای کار خلاقانه عالی می‌کند؛ خلاقیت جز بیرون رفتن از مسیر رایج چیست؟ ولی همین طبیعت در بقیهٔ کارها دردسر است.

ناسازگاری دو شکل دارد:

1. ورودی یکسان، خروجی متفاوت. نویسندهٔ کتاب از ChatGPT خواست به یک مقاله نمره بدهد. همان پرامپت را دو بار اجرا کرد و دو نمره گرفت: ۳ از ۵ و ۵ از ۵.
2. ورودی کمی متفاوت، خروجی کاملاً متفاوت. مثلاً فقط به‌خاطر بزرگ نوشتن یک حرف.

برای حالت اول چند راه هست:

• کش کردن پاسخ: سؤال تکراری، همان جواب قبلی را بگیرد (فصل ۹).
• ثابت کردن پیچ‌های نمونه‌برداری: دما، top-p و top-k.
• ثابت کردن بذر تصادفی (seed): نقطهٔ شروع مولد عدد تصادفی‌ای که قرعه با آن کشیده می‌شود. بذر یکسان، قرعهٔ یکسان. در درس ۱۲ این را با چشم خودتان می‌بینید.

حالت دوم سخت‌تر است. ثابت کردن تنظیمات کمکی نمی‌کند چون ورودی فرق دارد. پرامپت‌نویسی دقیق (فصل ۵) و یک سامانهٔ حافظه (فصل ۶) کمک می‌کنند.

توهم: حرفی که از هیچ ساخته شده

توهم (hallucination) یعنی پاسخی که بر واقعیت استوار نیست. برای کارهایی که به درستی وابسته‌اند، کشنده است. در ژوئن ۲۰۲۳ یک مؤسسهٔ حقوقی آمریکایی جریمه شد چون پژوهش حقوقی ساختگی به دادگاه داده بود — با ChatGPT تهیه‌اش کرده بودند و نمی‌دانستند ChatGPT توهم می‌زند.

توهم پدیدهٔ تازه‌ای نیست: در تولید متن از ۲۰۱۶ گزارش شده (Goyal و همکاران) و تشخیصش مدت‌هاست بخشی از تولید زبان طبیعی (NLGNatural Language Generationتولید زبان طبیعی) است. و نمی‌شود با اطمینان گفت مدل چیزی را هرگز ندیده، چون گشتن در کل دادهٔ آموزشی ناممکن است.

ناسازگاری از تصادفی بودن قرعه می‌آید؛ علت توهم پیچیده‌تر است. مدل از میان گزینه‌های محتمل انتخاب می‌کند، ولی چیزی که هرگز ندیده چطور محتمل می‌شود؟ دو فرضیهٔ اصلی وجود دارد:

فرضیهٔ اول: خودفریبی

مدل فرق بین داده‌ای که به او داده‌اند و داده‌ای که خودش ساخته را نمی‌فهمد. فرض کنید بپرسید «فلانی کیست؟» و اولین جملهٔ مدل این باشد: «فلانی یک معمار است». توکن بعدی بر اساس کل این متن ساخته می‌شود — و مدل جملهٔ «فلانی یک معمار است» را که خودش ساخته درست مثل یک واقعیتِ داده‌شده می‌بیند. از یک شروع کمی غلط، می‌تواند حقایق کاملاً ساختگی بسازد. پژوهشگران DeepMind اسمش را خودفریبی گذاشتند.

دیگران به این توهم برفی می‌گویند: یک فرض غلط اول، مثل گلولهٔ برف بزرگ و بزرگ‌تر می‌شود چون مدل بقیهٔ پاسخ را برای توجیه آن می‌سازد. در یک نمونه، مدلی شیشهٔ شامپو را با شیر اشتباه گرفت و بعد «شیر» را در فهرست مواد تشکیل‌دهندهٔ برچسب نوشت. در نمونهٔ دیگر، یک فرض غلط اول باعث شد مدل ادعا کند ۹۶۷۷ بر ۱۳ بخش‌پذیر است — چیزی که در حالت عادی می‌دانست درست نیست.

مقالهٔ DeepMind دو راه کاهش نشان داد: اول، از یادگیری تقویتی: مدل یاد بگیرد پرامپت کاربر (مشاهده) را از توکن‌های خودش (کنش) جدا کند. دوم، از یادگیری نظارت‌شده: نشانه‌های واقعی و خلاف واقع در دادهٔ آموزشی گنجانده شوند.

فرضیهٔ دوم: دانشی که مدل ندارد

در SFT مدل یاد می‌گیرد از پاسخ‌های برچسب‌زن‌ها تقلید کند. اگر برچسب‌زن در پاسخش از دانشی استفاده کند که خودش دارد ولی مدل ندارد، در عمل داریم به مدل یاد می‌دهیم چیز بسازد. جان شولمن، از بنیان‌گذاران OpenAI، دو راه پیشنهاد کرد: یکی وارسی — از مدل بخواهید منبعی را که پاسخش بر آن استوار است بیاورد؛ دیگری یک تابع پاداش بهتر که برای ساختن حرف، جریمهٔ سنگین‌تری بدهد.

این دیدگاه را نخست لئو گائو، پژوهشگر OpenAI، مطرح کرد. در نظریه اگر برچسب‌زن همهٔ دانشی را که به کار برده کنار هر پاسخ بنویسد، مدل یاد می‌گیرد فقط از چیزی که می‌داند استفاده کند؛ ولی این در عمل ممکن نیست. شولمن می‌گوید LLMها می‌دانند که چه می‌دانند — ادعای بزرگی است، و اگر درست باشد، با وادار کردن مدل به استفاده از همان دانسته‌ها می‌شود توهم را کم کرد.

این‌ها مشکل کوچکی نیستند. نویسنده سه ماه درخواست‌های پشتیبانی یک شرکت هوش مصنوعی را بررسی کرد و دید یک‌پنجم سؤال‌ها دربارهٔ کنار آمدن با ناسازگاری مدل بود. و در یک پنل با مدیرعامل‌های Dropbox و LangChain، همه موافق بودند که توهم بزرگ‌ترین مانع استفاده از هوش مصنوعی در سازمان‌هاست.

جمع‌بندی فصل

این فصل تصمیم‌های اصلی ساختن یک مدل پایه را دید. دادهٔ آموزشی اثر اول را دارد: مدل‌ها از دادهٔ در دسترس استفاده می‌کنند، برای همین در کار شما یا زبان شما لزوماً خوب نیستند. بعد معماری و اندازه: ترنسفورمر و مشکل‌هایی که حل کرد و محدودیت‌هایش، سه عدد مقیاس، قانون چین‌چیلا و دیوارهای داده و برق. به‌خاطر کیفیت پایین داده و خودنظارتی، پس‌آموزش لازم است: SFT و تنظیم ترجیحی، با اینکه ترجیح انسان در یک فرمول نمی‌گنجد. و نمونه‌برداری که مدل را احتمالی می‌کند: عالی برای خلاقیت، و منشأ ناسازگاری و توهم.

کار با مدل یعنی ساختن جریان کار دور همین طبیعت احتمالی. باقی دوره می‌خواهد مهندسی هوش مصنوعی را اگر نه قطعی، دست‌کم منظم کند، و قدم اول یک خط لولهٔ ارزیابی محکم است. برای همین دو فصل بعد ارزیابی‌اند.

خودآزمایی