شیدهوش
فصل ۶ · درس ۱۳ از ۱۷

۱۳. ایجنت‌های هوش مصنوعی چطور شکست می‌خورند و چطور بسنجیمشان؟

ارزیابی یعنی پیدا کردن شکست‌ها. این درس فهرست کتاب از راه‌های شکست ایجنت (AI Agent) را می‌آورد و سنجه‌هایی را که هر کدام را اندازه می‌گیرند.

زمان مطالعه: ۱۵ دقیقهرایگان با ثبت‌ناممرجع در کتاب: فصل ۶، بخش Agent Failure Modes and Evaluation — صفحهٔ ۵۷۶

حالت‌های شکست ایجنت هوش مصنوعی در برنامه‌ریزی، ابزار و کارایی، و راه سنجیدنشان.

ایجنت‌ها چطور شکست می‌خورند؟

ارزیابی یعنی پیدا کردن شکست‌ها. هرچه کار ایجنت پیچیده‌تر، نقاط شکست بیشتر. علاوه بر شکست‌های مشترک همهٔ اپلیکیشن‌ها (فصل‌های ۳ و ۴)، ایجنت‌ها شکست‌های مخصوص خودشان را دارند: در برنامه‌ریزی، در اجرای ابزار، و در کارایی. روش کلی: حالت‌های شکست را بشناسید و بسنجید هر کدام چقدر رخ می‌دهد.

۱. شکست برنامه‌ریزی

رایج‌ترینش، شکست استفاده از ابزار است:

نوع دیگر، شکست هدف: ایجنت به هدف نمی‌رسد — یا چون برنامه کار را حل نمی‌کند، یا چون حلش می‌کند ولی قیدها را رعایت نمی‌کند. سفر دوهفته‌ای به هانوی با بودجهٔ ۵۰۰۰ دلار را می‌خواهید؛ ایجنت سفری به هوشی‌مین برنامه می‌ریزد، یا سفری به هانوی که خیلی گران‌تر از بودجه است. قیدی که زیاد فراموش می‌شود زمان است: ایجنتی که پیش‌نویس درخواست کمک‌هزینه را بعد از مهلت آماده کند، به درد نمی‌خورد.

در حال بررسی دسترسی…

در این درس

  • ایجنت‌ها چطور شکست می‌خورند؟
  • ۱. شکست برنامه‌ریزی
  • ۲. شکست ابزار
  • ۳. کارایی
  • خودآزمایی

پرسش‌هایی که این درس جواب می‌دهد

  • سه نوع «شکست استفاده از ابزار»؟
  • خطرناک‌ترین حالت شکست از خطای بازاندیشی چیست؟
  • سه دستهٔ شکست مخصوص ایجنت‌ها؟
  • شکست هدف چیست؟
  • سه سنجهٔ کارایی ایجنت؟
آکادمی هوش مصنوعی شیدهوش — بخشی از shidhoosh.com