۵. شباهت با مرجع: تطابق دقیق و واژگانی

شباهت با دادهٔ مرجع

اگر نمی‌شود خروجی را «اجرا» کرد، رایج‌ترین راه مقایسه با دادهٔ مرجع است. هر نمونهٔ این داده شکل (ورودی، پاسخ‌های مرجع) دارد — مثلاً یک جملهٔ فرانسوی و چند ترجمهٔ درست انگلیسی‌اش. به پاسخ مرجع «حقیقت زمینه» (ground truth) هم می‌گویند. سنجه‌هایی که مرجع لازم دارند مرجع‌محوراند و آن‌هایی که ندارند بی‌مرجع.

گلوگاه این روش، ساختن خود دادهٔ مرجع است. اگر آدم‌ها آن را بنویسند، یعنی کارکرد انسان را «استاندارد طلایی» گرفته‌ایم — ولی گران و کند است. برای همین خیلی‌ها دادهٔ مرجع را با هوش مصنوعی می‌سازند و فقط بازبینی‌اش را به انسان می‌سپارند، که خیلی کم‌زحمت‌تر از نوشتن از صفر است.

شباهت دو متن باز را چهار جور می‌شود سنجید: (۱) از یک داور — انسان یا هوش مصنوعی — بپرسید، (۲) تطابق دقیق، (۳) شباهت واژگانی، (۴) شباهت معنایی. اولی موضوع درس ۷ است؛ سه تای بعدی را یکی‌یکی می‌بینیم.

تطابق دقیق

پاسخ دقیقاً برابر یکی از پاسخ‌های مرجع است؟ این برای کارهایی با جواب کوتاه و قطعی خوب کار می‌کند: «۲ به‌علاوهٔ ۳ چند می‌شود؟»، «موجودی حسابم چقدر است؟»، «پاریس برای فرانسه مثل ___ برای انگلستان».

یک نسخهٔ آسان‌گیرتر: هر پاسخی که پاسخ مرجع را در خودش داشته باشد قبول است. اگر مرجع «۵» باشد، «جواب ۵ است» هم قبول می‌شود. ولی این دام دارد: آنه فرانک در ۱۲ ژوئن ۱۹۲۹ به دنیا آمد و جواب درستِ «چه سالی؟» می‌شود ۱۹۲۹. اگر مدل بگوید «۱۲ سپتامبر ۱۹۲۹»، سالِ درست داخل جوابش هست — ولی جوابش غلط است.

برای کارهای پیچیده‌تر تطابق دقیق تقریباً هیچ‌وقت کار نمی‌کند. «حالت چطوره؟» را می‌شود به «چطوری؟»، «احوالت چطوره؟»، «حال شما خوبه؟» و ده‌ها شکل دیگر گفت. هر شکلی که در فهرست مرجع نباشد، غلط حساب می‌شود.

شباهت واژگانی

شباهت واژگانی می‌سنجد دو متن چقدر هم‌پوشانی دارند. ساده‌ترین شکلش: چه کسری از واژه‌های مرجع در پاسخ هم آمده؟ اگر مرجع «گربه‌های من موش‌ها را می‌ترسانند» باشد، پاسخ «گربه‌های من موش‌ها را می‌خورند» بیشتر واژه‌ها را دارد و پاسخ «گربه‌ها و موش‌ها همیشه دعوا می‌کنند» کمتر. پس اولی «شبیه‌تر» است.

با شمردن ساده، مثال کتاب این است: مرجع «My cats scare the mice» پنج واژه دارد؛ پاسخ «My cats eat the mice» چهارتای آن را دارد (۸۰٪)، و «Cats and mice fight all the time» سه‌تا (۶۰٪). همیشه هم باید تصمیم بگیرید «cats» و «cat» یا «will not» و «won't» یک توکن حساب شوند یا دو توکن.

راه دیگر فاصلهٔ ویرایشی است: کمترین تعداد ویرایش برای تبدیل یک متن به دیگری. سه نوع ویرایش داریم: حذف («کتابها» ← «کتاب»)، درج («کار» ← «کارت») و جایگزینی («کتاب» ← «کباب»). مثلاً bad با یک ویرایش به bard می‌رسد و با سه ویرایش به cash؛ پس به اولی شبیه‌تر است. به این روش «تطبیق تقریبی» یا fuzzy matching هم می‌گویند.

راه سوم هم‌پوشانی n-gram است: به‌جای تک‌واژه، دنباله‌های چندواژه‌ای را مقایسه کنید. «گربه‌های من موش‌ها را» دوتایی‌هایی مثل «گربه‌های من»، «من موش‌ها» و «موش‌ها را» دارد. سنجه‌های معروف این خانواده — BLEUBilingual Evaluation Understudyسنجهٔ BLEU، ROUGERecall-Oriented Understudy for Gisting Evaluationسنجهٔ ROUGE، METEOR++، TER و CIDEr — فقط در جزئیات شمارش با هم فرق دارند. پیش از مدل‌های پایه این‌ها برای ترجمه خیلی رایج بودند؛ امروز کمتر.

بعضی روش‌ها جابه‌جایی دو حرف («mats» ← «mast») را هم یک ویرایش می‌گیرند و بعضی دو ویرایش: یک حذف و یک درج. n-gram یک‌تایی همان توکن است و دوتایی را bigram می‌گویند: جملهٔ پنج‌واژه‌ای مثال بالا چهار bigram دارد.

در این آزمایشگاه شش سنجه را روی یک جفت پاسخ ببینید. سه نمونهٔ آماده را امتحان کنید — مخصوصاً «دام شامل بودن» و «ي و ك عربی»:

هنوز چند آزمون از این سنجه‌ها استفاده می‌کنند، مثل WMT، COCO Captions و GEMv2. کیفیت پایین مرجع یکی از دلایلی است که سنجه‌های بی‌مرجع در همبستگی با نظر انسان، رقیب جدی سنجه‌های مرجع‌محور شدند.

خودآزمایی