شیدهوش
فصل ۹ · درس ۹ از ۱۵

۹. کرنل‌ها و کامپایلرها

کدی که برای یک تراشهٔ خاص بهینه شده «کرنل» نام دارد. نوشتنش زمانی هنری مرموز بود که چند نفر بلد بودند؛ حالا مهندس‌های هوش مصنوعی بیشتری سراغش می‌روند. این درس چهار ترفند رایج کرنل‌نویسی و نقش کامپایلرها را می‌گوید.

زمان مطالعه: ۱۵ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۹، بخش Kernels and compilers — صفحهٔ ۸۱۵

کرنل‌ها و کامپایلرها چطور استنتاج مدل زبانی را روی همان سخت‌افزار سریع‌تر می‌کنند.

FlashAttention: یک کرنل معروف

FlashAttention (Dao و همکاران، ۲۰۲۲) چند عملگر رایج ترنسفورمر (Transformer) را در یک کرنل ادغام کرد تا سریع‌تر اجرا شوند. برای فهم اینکه چرا ادغام کمک می‌کند، سلسله‌مراتب حافظهٔ درس ۴ را یادتان بیاورید: اگر هر عملگر جدا اجرا شود، خروجی‌اش را در HBM کند می‌نویسد و عملگر بعدی دوباره از آنجا می‌خواندش.

کرنل چیست؟

کرنل تکه کدی تخصصی است که برای یک شتاب‌دهندهٔ خاص، مثل GPU یا TPU، بهینه شده. کرنل‌ها معمولاً برای روال‌های سنگینی نوشته می‌شوند که باید بارها و اغلب موازی اجرا شوند. عمل‌های رایج هوش مصنوعی — ضرب ماتریس، محاسبهٔ توجه، و کانولوشن (که در مولدهای تصویر مثل Stable Diffusion زیاد است) — همه کرنل‌های تخصصی دارند.

در حال بررسی دسترسی…

در این درس

  • FlashAttention: یک کرنل معروف
  • کرنل چیست؟
  • چهار ترفند رایج
  • کرنل‌ها مال یک سخت‌افزارند
  • کامپایلر: پل بین مدل و سخت‌افزار
  • خودآزمایی

اصطلاح‌های کلیدی این درس

CUDA — Compute Unified Device Architecture
معماری یکپارچهٔ محاسبه روی دستگاه: زبان و بستر برنامه‌نویسی GPUهای NVIDIA.
ROCm — Radeon Open Compute
محاسبهٔ باز رادئون: جایگزین متن‌باز AMD برای CUDA.
TVM — Tensor Virtual Machine
ماشین مجازی تنسور: کامپایلر متن‌باز Apache برای اجرای مدل روی سخت‌افزارهای گوناگون.
MLIR — Multi-Level Intermediate Representation
نمایش میانی چندسطحی: زیرساخت کامپایلر برای بردن مدل به سخت‌افزارهای مختلف.
XLA — Accelerated Linear Algebra
جبر خطی شتاب‌یافته: کامپایلری که اول برای TensorFlow ساخته شد؛ نسخهٔ متن‌بازش OpenXLA است.

پرسش‌هایی که این درس جواب می‌دهد

  • کرنل؟
  • چهار ترفند رایج کرنل‌نویسی؟
  • ادغام عملگرها چرا سریع‌تر است؟
  • پایین بردن (lowering) و کامپایلر؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com