۹. موفقیت، نقشهٔ راه و نگهداری

موفقیت را عددی تعریف کنید

وقتی تصمیم گرفتید این اپلیکیشن را خودتان بسازید، قدم بعد این است که بدانید موفقیت چه شکلی است: چطور می‌سنجیدش؟ تا وقتی نتوانید بگویید «موفقیت یعنی این عدد به این‌جا برسد»، نمی‌دانید کِی کار تمام است و کِی باید دست بکشید.

مهم‌ترین سنجه، اثر اپلیکیشن بر کسب‌وکار است. برای یک چت‌بات پشتیبانی، کتاب این سنجه‌ها را مثال می‌زند:

• چند درصد پیام‌های مشتری‌ها را می‌خواهید چت‌بات خودکار جواب دهد؟
• چت‌بات باید اجازه دهد چند پیام بیشتر رسیدگی کنید؟
• با چت‌بات چقدر سریع‌تر جواب می‌دهید؟
• چت‌بات چقدر کار انسانی را صرفه‌جویی می‌کند؟

ولی چت‌باتی که به پیام بیشتری جواب می‌دهد لزوماً کاربر را خوشحال‌تر نمی‌کند؛ پس رضایت مشتری و بازخورد کاربر را هم باید دنبال کرد (فصل ۱۰ طراحی سیستم بازخورد را می‌بیند).

آستانهٔ سودمندی

برای اینکه محصول پیش از آماده شدن جلوی مشتری نرود، انتظار روشنی از آستانهٔ سودمندی داشته باشید: محصول چقدر خوب باشد تا به درد بخورد. آستانه معمولاً از این گروه‌های سنجه ساخته می‌شود:

نقشهٔ مرحله‌ای

وقتی هدف قابل‌سنجش گذاشتید، برای رسیدن به آن برنامه می‌خواهید، و برنامه به نقطهٔ شروع بستگی دارد. اول مدل‌های موجود را ارزیابی کنید تا توانایی‌شان را بفهمید؛ هرچه مدل آماده قوی‌تر، کار شما کمتر. اگر هدفتان خودکار کردن ۶۰٪ تیکت‌های پشتیبانی است و مدل آماده همین حالا ۳۰٪ را خودکار می‌کند، احتمالاً زحمت کمتری دارید تا وقتی که هیچ تیکتی را از پس برنمی‌آید.

چالش آخرین مایل

برنامه‌ریزی محصول هوش مصنوعی باید چالش آخرین مایل را در نظر بگیرد. موفقیت اولیه با مدل پایه می‌تواند گمراه‌کننده باشد: چون توانایی پایهٔ این مدل‌ها خیره‌کننده است، ساختن یک دموی سرگرم‌کننده وقت زیادی نمی‌برد. ولی دموی اولیهٔ خوب، محصول نهایی خوب را تضمین نمی‌کند. شاید دمو یک آخر هفته طول بکشد و محصول چند ماه یا حتی چند سال.

در مقالهٔ UltraChat، Ding و همکاران (۲۰۲۳) نوشتند «مسیر صفر تا ۶۰ آسان است، ولی پیش رفتن از ۶۰ تا ۱۰۰ به‌شدت سخت می‌شود.» LinkedIn هم در ۲۰۲۴ همین را گفت: یک ماه طول کشید تا به ۸۰٪ تجربه‌ای که می‌خواستند برسند، و همین موفقیت اولیه باعث شد زمان لازم برای بهتر کردن محصول را به‌شدت دست‌کم بگیرند. چهار ماه دیگر طول کشید تا سرانجام از ۹۵٪ بگذرند. بیشتر این وقت صرف رفع گیرهای محصول و کنار آمدن با توهم مدل شد، و کندی هر ۱٪ بهبودِ بعدی دلسردکننده بود.

نگهداری: سوار بر قطار سریع

برنامه‌ریزی محصول با رسیدن به هدف تمام نمی‌شود؛ باید فکر کنید محصول با زمان چطور عوض می‌شود و چطور نگهش می‌دارید. سرعت تغییر هوش مصنوعی چالش اضافه‌ای است: این حوزه در دههٔ گذشته فوق‌العاده سریع حرکت کرده و احتمالاً در دههٔ آینده هم همین‌طور. ساختن روی مدل پایه یعنی سوار شدن بر این قطار سریع.

بسیاری از تغییرها خوب‌اند: محدودیت‌های مدل‌ها رفع می‌شود، طول زمینه بیشتر می‌شود، خروجی‌ها بهتر می‌شوند، و استنتاج — محاسبهٔ خروجی برای یک ورودی — سریع‌تر و ارزان‌تر می‌شود. کتاب نموداری از Katrina Nguyen (۲۰۲۴) می‌آورد که نشان می‌دهد هزینهٔ رسیدن به یک امتیاز مشخص در آزمون MMLUMassive Multitask Language Understandingدرک زبانی چندوظیفه‌ای گسترده بین ۲۰۲۲ و ۲۰۲۴ چقدر سریع پایین آمده.

ولی حتی تغییر خوب هم در کارتان اصطکاک می‌سازد. باید همیشه گوش‌به‌زنگ باشید و برای هر سرمایه‌گذاری فناوری حساب هزینه و فایده کنید؛ بهترین گزینهٔ امروز شاید بدترین گزینهٔ فردا باشد:

• تصمیم می‌گیرید مدل را خودتان میزبانی کنید چون از پول دادن به ارائه‌دهنده ارزان‌تر است؛ سه ماه بعد ارائه‌دهنده‌ها قیمت را نصف می‌کنند و میزبانی خودتان گران‌ترین گزینه می‌شود.
• روی راه‌حل یک شرکت ثالث سرمایه می‌گذارید و زیرساختتان را دورش می‌چینید؛ آن شرکت سرمایه جذب نمی‌کند و تعطیل می‌شود.

بعضی تغییرها را راحت‌تر می‌شود هضم کرد. مثلاً چون APIهای ارائه‌دهنده‌ها به هم نزدیک می‌شوند، عوض کردن یک API با دیگری آسان‌تر شده. ولی هر مدل عادت‌ها، قوت‌ها و ضعف‌های خودش را دارد، و توسعه‌دهنده باید جریان کار، پرامپت و داده‌اش را با مدل تازه جور کند. بدون زیرساخت درست برای نسخه‌بندی و ارزیابی، این کار دردسر بزرگی است.

بعضی تغییرها سخت‌ترند، به‌خصوص آن‌هایی که به مقررات مربوط‌اند. فناوری‌های هوش مصنوعی برای خیلی از کشورها مسئلهٔ امنیت ملی است؛ یعنی منابع هوش مصنوعی — توان محاسباتی، متخصص و داده — به‌شدت تحت مقررات‌اند. تخمین زده‌اند رعایت مقررات حفاظت از دادهٔ اروپا (GDPRGeneral Data Protection Regulationمقررات عمومی حفاظت از داده) برای کسب‌وکارها ۹ میلیارد دلار خرج داشت. دسترسی به توان محاسباتی هم می‌تواند یک‌شبه عوض شود، وقتی قانون تازه‌ای خرید و فروش آن را محدود می‌کند (مثل فرمان اجرایی اکتبر ۲۰۲۳ آمریکا). اگر فروشندهٔ GPU شما ناگهان از فروش به کشورتان منع شود، به دردسر افتاده‌اید.

خودآزمایی