۷. API یا میزبانی خودتان؟ هفت محور تصمیم

هفت محور تصمیم

پاسخ «API یا میزبانی خودمان؟» به کاربرد بستگی دارد و برای یک کاربرد هم با زمان عوض می‌شود. کتاب هفت محور را بررسی می‌کند:

۱. حریم خصوصی داده

برای شرکتی که سیاست سخت حریم خصوصی دارد، API بیرونی عملاً منتفی است. معروف‌ترین ماجرا: کارمندهای سامسونگ اطلاعات محرمانهٔ شرکت را در ChatGPT گذاشتند و راز شرکت بیرون رفت؛ سامسونگ در مه ۲۰۲۳ استفاده از ChatGPT را ممنوع کرد. بعضی کشورها هم قانون دارند که داده‌های خاصی نباید از مرزشان خارج شود. خطر دیگر: ارائه‌دهنده از داده‌تان برای آموزش مدلش استفاده کند. بیشترشان می‌گویند نمی‌کنند، ولی سیاست‌ها عوض می‌شوند — Zoom در اوت ۲۰۲۳ بی‌سروصدا شرایط استفاده‌اش را عوض کرد تا بتواند با دادهٔ کاربران مدل آموزش دهد. چرا این خطرناک است؟ مدل‌ها نمونه‌های آموزشی را حفظ می‌کنند؛ مثلاً معلوم شد مدل StarCoder حدود ۸٪ مجموعهٔ آموزشی‌اش را حفظ کرده.

۲. تبار داده و حق نشر

دربارهٔ دادهٔ آموزشی بیشتر مدل‌ها شفافیت کمی هست. قانون مالکیت فکری هوش مصنوعی هم در حال تغییر است. شرکت‌هایی که وجودشان به مالکیت فکری بسته است — مثل استودیوهای بازی و فیلم — در استفاده از هوش مصنوعی مردد مانده‌اند. بعضی‌ها برای همین سراغ مدل‌های کاملاً باز می‌روند تا داده را خودشان بررسی کنند (که در عمل با این حجم داده تقریباً ناممکن است). بعضی برعکس سراغ مدل تجاری می‌روند: اگر مدل متن‌بازی حق نشر کسی را نقض کرده باشد، صاحب حق احتمالاً سراغ شما می‌آید، نه سازندهٔ مدل؛ ولی قرارداد با ارائه‌دهندهٔ تجاری ممکن است از شما محافظت کند.

۳. عملکرد

فاصلهٔ مدل‌های متن‌باز و تجاری در آزمون‌هایی مثل MMLU کم شده. ولی نویسندهٔ کتاب فکر نمی‌کند انگیزه‌ها اجازه دهند فاصله کاملاً بسته شود: اگر قوی‌ترین مدل را داشتید، بازش می‌کردید تا دیگران از آن پول دربیاورند؟ دلیل دیگر: سازندهٔ مدل متن‌باز بازخورد کاربران را نمی‌بیند. با این حال، برای خیلی از کاربردها که به قوی‌ترین مدل نیاز ندارند، مدل متن‌باز کافی است.

چرا سازندهٔ مدل اصلاً مدلش را باز کند؟ کتاب می‌گوید ممکن است Meta مدل باز بدهد تا رقیبانش را مهار کند، و Mistral و Cohere هم مدل باز دارند و هم API. بعضی هم می‌گویند متن‌باز به سود جامعه است. نویسنده امیدوار است این انگیزه کافی باشد.

۴. امکانات

دور هر مدل امکانات زیادی لازم است: مقیاس‌پذیری، فراخوانی ابزار (برای RAG و ایجنت‌ها، فصل ۶)، خروجی ساختاریافته، نگهبان خروجی. ساختن این‌ها سخت است و خیلی‌ها برای همین سراغ API می‌روند. ولی با API فقط به همان امکاناتی دسترسی دارید که ارائه‌دهنده داده. مثلاً logprob (احتمال هر توکن) برای دسته‌بندی، ارزیابی و تفسیر مدل خیلی مفید است، ولی خیلی از APIها نمی‌دهندش یا محدود می‌دهند — از ترس اینکه دیگران با آن مدلشان را کپی کنند. تنظیم دقیق هم فقط وقتی شدنی است که ارائه‌دهنده اجازه بدهد.

۵. هزینهٔ API در برابر هزینهٔ مهندسی

API به‌ازای مصرف پول می‌گیرد و در مصرف سنگین خیلی گران می‌شود. ولی میزبانی خودتان زمان، نیروی متخصص و کار مهندسی زیادی می‌خواهد: بهینه‌سازی مدل، مقیاس دادن، نگهداری، نگهبانی. API گران است، ولی مهندسی می‌تواند گران‌تر باشد. از طرف دیگر با API به توافق‌نامهٔ سطح خدمات (SLAService-Level Agreementتوافق‌نامهٔ سطح خدمات — تعهد ارائه‌دهنده دربارهٔ دسترس‌پذیری و کیفیت سرویس. (Service-Level Agreement — توافق‌نامهٔ سطح خدمات)) آن‌ها وابسته‌اید. هر کدام را انتخاب کنید، مدلی بخواهید که از یک API استاندارد پیروی کند تا عوض کردنش آسان باشد؛ بیشتر ارائه‌دهنده‌ها شکل API شرکت OpenAI را تقلید می‌کنند — دقیقاً به همین دلیل لایهٔ openai_compat ذهن‌یار در فصل ۱ با سرویس‌های زیادی کار می‌کند.

جامعهٔ کاربران هم مهم است: هرچه مدل توانایی بیشتری داشته باشد عادت‌های عجیب بیشتری دارد، و در جامعهٔ بزرگ احتمالاً کسی قبلاً مشکل شما را حل کرده. به گفتهٔ کتاب، کسانی که بیشترین ضربه را از هزینهٔ API می‌خورند احتمالاً بزرگ‌ترین شرکت‌ها نیستند، چون آن‌ها می‌توانند قیمت بهتری بگیرند.

۶. کنترل، دسترسی و شفافیت

در پژوهش a16z (۲۰۲۴)، کنترل و قابلیت شخصی‌سازی دو دلیل اصلی علاقهٔ سازمان‌ها به مدل متن‌باز بود. با API تابع شرایط و سقف درخواست ارائه‌دهنده‌اید. ارائه‌دهنده‌ها برای محافظت از خودشان نگهبان ایمنی می‌گذارند و مدل تجاری بیشتر به سمت سانسور بیش از حد می‌رود. شرکت Convai که شخصیت‌های سه‌بعدی می‌سازد که می‌توانند اشیا را بردارند، با مدل‌های تجاری مدام این جواب را می‌گرفت: «من به‌عنوان یک مدل هوش مصنوعی توانایی فیزیکی ندارم» — آخر سر مدل متن‌باز را تنظیم دقیق کرد. خطر دیگر: مدل تجاری را نمی‌شود منجمد کرد؛ بی‌اعلام به‌روز می‌شود و پرامپت‌هایتان بی‌صدا از کار می‌افتند. ارائه‌دهنده ممکن است کاربرد یا کشور شما را پشتیبانی نکند، یا کشورتان آن را ممنوع کند (ایتالیا در ۲۰۲۳ مدتی OpenAI را ممنوع کرد).

۷. اجرا روی دستگاه

اگر مدل باید روی خود دستگاه اجرا شود — چون اینترنت مطمئن نیست، یا چون نمی‌خواهید داده از دستگاه بیرون برود — API بیرونی منتفی است.

خودآزمایی