شیدهوش
فصل ۹ · درس ۴ از ۱۵

۴. شتاب‌دهنده‌ها: محاسبه، حافظه و برق

سرعت و هزینهٔ نرم‌افزار به سخت‌افزارش بستگی دارد. این درس نگاهی کوتاه به شتاب‌دهنده‌های هوش مصنوعی است: GPU چه فرقی با CPU دارد، تراشه‌ها با چه سه عددی مقایسه می‌شوند، حافظه چه طبقه‌هایی دارد، و چرا برق به گلوگاه بزرگ شدن هوش مصنوعی تبدیل شده.

زمان مطالعه: ۲۰ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۹، بخش AI Accelerators — صفحهٔ ۷۸۴

GPU در هوش مصنوعی چیست و TPU و دیگر شتاب‌دهنده‌ها چه فرقی دارند: محاسبه، حافظه و برق.

هوش مصنوعی و سخت‌افزار، همیشه با هم

پیشرفت مدل‌ها و سخت‌افزار همیشه درهم‌تنیده بوده. نبود کامپیوترهای به‌قدر کافی قوی یکی از دلایل زمستان اول هوش مصنوعی در دههٔ ۱۹۷۰ بود. در ۱۹۶۹، ماروین مینسکی و سیمور پیپرت در کتاب معروف «پرسپترون‌ها» نوشتند که شبکه‌های عصبی با لایهٔ پنهان هم کار چندانی از پیش نمی‌برند؛ قدرت محاسبهٔ کافی برای رد این حرف نبود و همین بارها دلیل خشک شدن بودجه‌ها ذکر شد.

بازگشت یادگیری عمیق (Deep Learning) در ۲۰۱۲ هم به محاسبه گره خورده بود. یکی از دلایل شهرت AlexNet این بود که اولین مقاله‌ای بود که با موفقیت از GPU برای آموزش شبکهٔ عصبی (Neural Network) استفاده کرد. پیش از آن، برای آموزش مدلی در مقیاس AlexNet به هزاران CPU نیاز بود — مثل سامانه‌ای که گوگل چند ماه قبلش معرفی کرده بود. چند GPU برای دانشجوی دکترا خیلی در دسترس‌تر بود و موج پژوهش یادگیری عمیق راه افتاد.

شتاب‌دهنده چیست؟

شتاب‌دهنده (accelerator) تراشه‌ای است که برای سریع کردن نوع خاصی از محاسبه طراحی شده. رایج‌ترین شتاب‌دهندهٔ هوش مصنوعی GPU است و بزرگ‌ترین برندهٔ اقتصادی رونق هوش مصنوعی در اوایل دههٔ ۲۰۲۰ بی‌شک NVIDIA. فرق اصلی CPU و GPU:

در حال بررسی دسترسی…

در این درس

  • هوش مصنوعی و سخت‌افزار، همیشه با هم
  • شتاب‌دهنده چیست؟
  • تراشهٔ مخصوص استنتاج (Inference)
  • اسکالر، بردار، تنسور
  • سه عدد بزرگ هر تراشه
  • ۱. توان محاسبه
  • ۲. اندازه و پهنای باند حافظه
  • ۳. مصرف برق
  • انتخاب شتاب‌دهنده
  • خودآزمایی

اصطلاح‌های کلیدی این درس

TPU — Tensor Processing Unit
واحد پردازش تانسور: تراشهٔ اختصاصی گوگل که فقط برای محاسبات یادگیری ماشین ساخته شده.
IPU — Intelligence Processing Unit
واحد پردازش هوشمند: تراشهٔ Graphcore برای هوش مصنوعی.
LPU — Language Processing Unit
واحد پردازش زبان: تراشهٔ Groq برای استنتاج مدل‌های زبانی.
TF32 — TensorFloat-32
تنسورفلوت ۳۲: قالب محاسبهٔ NVIDIA با ۱۹ بیت: بازهٔ FP32 و دقت FP16.
DDR — Double Data Rate
نرخ دادهٔ دوگانه: نوع رایج حافظهٔ CPU با ساختار دوبعدی.
HBM — High-Bandwidth Memory
حافظهٔ پرپهنای باند: حافظهٔ سه‌بعدی انباشتهٔ GPUهای رده‌بالا؛ صدها گیگابایت تا بیش از ۱٫۵ ترابایت بر ثانیه.
DRAM — Dynamic Random-Access Memory
حافظهٔ دسترسی تصادفی پویا: حافظهٔ اصلی کامپیوتر (RAM)؛ بزرگ و ارزان ولی کندتر.
SRAM — Static Random-Access Memory
حافظهٔ دسترسی تصادفی ایستا: حافظهٔ روی خود تراشه؛ بسیار سریع و بسیار کوچک.
CUDA — Compute Unified Device Architecture
معماری یکپارچهٔ محاسبه روی دستگاه: زبان و بستر برنامه‌نویسی GPUهای NVIDIA.
ROCm — Radeon Open Compute
محاسبهٔ باز رادئون: جایگزین متن‌باز AMD برای CUDA.

پرسش‌هایی که این درس جواب می‌دهد

  • AlexNet چه نقشی در سخت‌افزار هوش مصنوعی داشت؟
  • CPU در برابر GPU؟
  • چرا تراشه‌های استنتاج روی دقت پایین و دسترسی سریع به حافظه تمرکز دارند؟
  • سه عدد بزرگ هر تراشه؟
  • سه طبقهٔ حافظهٔ شتاب‌دهنده؟
  • TDP؟
  • سه سؤال انتخاب شتاب‌دهنده؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com