شیدهوش
فصل ۱۰ · درس ۴ از ۱۷

۴. کش دقیق و کش معنایی

کش از قدیمی‌ترین ترفندهای نرم‌افزار برای کم کردن تأخیر و هزینه است. کش KV و کش پرامپت (Prompt Caching) فصل ۹ درون مدل بودند؛ این درس دربارهٔ کش سیستمی است: اگر جواب یک پرسش را قبلاً ساخته‌ایم، چرا دوباره سراغ مدل برویم؟ کش دقیق ساده و مطمئن است — به شرطی که اطلاعات شخصی را در آن نگذارید. کش معنایی (Semantic Cache) وسوسه‌انگیز است، ولی ارزشش به کتاب «مشکوک‌تر» است.

زمان مطالعه: ۲۲ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۱۰، بخش Step 4. Reduce Latency with Caches — صفحهٔ ۸۷۱

کش دقیق و کش معنایی برای مدل زبانی چطور هزینه را کم می‌کنند و کجا جواب غلط می‌دهند.

دو خانوادهٔ کش

بسیاری از ایده‌های کش نرم‌افزاری در اپلیکیشن‌های هوش مصنوعی هم به کار می‌آیند. کش‌های استنتاج (کش KV و کش پرامپت) را در فصل ۹ دیدیم؛ معمولاً ارائه‌دهنده‌ها پیاده‌شان می‌کنند و جایشان در جعبهٔ مدل است. این‌جا دو سازوکار اصلی کش سیستمی را می‌بینیم: کش دقیق و کش معنایی. چون کش فناوری قدیمی‌ای با ادبیات مفصل است، کتاب فقط خطوط کلی را می‌گوید.

کش دقیق

در کش دقیق (exact caching)، چیزی از کش فقط وقتی استفاده می‌شود که دقیقاً همان درخواست شده باشد. مثال کتاب: کاربر از مدل می‌خواهد یک محصول را خلاصه کند؛ سیستم در کش می‌گردد که خلاصهٔ همین محصول هست یا نه. اگر هست، همان را برمی‌دارد؛ اگر نه، خلاصه می‌سازد و در کش می‌گذارد.

کش دقیق برای بازیابی با امبدینگ هم به کار می‌رود تا جست‌وجوی برداری (Vector Search) تکراری انجام نشود: اگر پرسش تازه در کش جست‌وجوی برداری هست، نتیجهٔ کش‌شده را بردار؛ اگر نه، جست‌وجو کن و نتیجه را ذخیره کن. کش به‌خصوص برای پرسش‌هایی وسوسه‌انگیز است که چند قدم دارند (مثل زنجیرهٔ فکر) یا کارهای وقت‌گیر می‌خواهند (بازیابی، اجرای SQL، جست‌وجوی وب).

کجا نگهش داریم و کِی بیرونش کنیم

کش دقیق را می‌شود در حافظهٔ اصلی نگه داشت تا سریع باشد. ولی حافظه محدود است، پس کش را با پایگاه‌هایی مثل PostgreSQL، Redis یا ذخیره‌سازی چندطبقه هم می‌سازند تا سرعت و گنجایش متعادل شود. داشتن یک سیاست بیرون‌اندازی برای مدیریت اندازهٔ کش حیاتی است:

در حال بررسی دسترسی…

در این درس

  • دو خانوادهٔ کش
  • کش دقیق
  • کجا نگهش داریم و کِی بیرونش کنیم
  • کش معنایی
  • خودآزمایی

اصطلاح‌های کلیدی این درس

LFU — Least Frequently Used
کمتر از همه استفاده‌شده: سیاست بیرون‌اندازی کش: موردی که کمتر از همه استفاده شده بیرون می‌رود.
FIFO — First In, First Out
اولین ورودی، اولین خروجی: راهبردی که قدیمی‌ترین مورد را اول بیرون می‌اندازد.

پرسش‌هایی که این درس جواب می‌دهد

  • کش دقیق در برابر کش معنایی؟
  • LRU، LFU و FIFO؟
  • کدام پرسش‌ها نباید کش شوند؟
  • مثال کتاب از نشت داده با کش؟
  • سه قدم کش معنایی؟
  • چرا ارزش کش معنایی «مشکوک‌تر» است؟
  • کش معنایی در ذهن‌یار چه کرد؟
  • ارزان‌ترین بهبود کش دقیق؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com