۳. مسیریاب و دروازهٔ مدل
وقتی اپلیکیشن هوش مصنوعی بیش از یک مدل دارد، دو جزء تازه پیدا میشود. مسیریاب (Router) تصمیم میگیرد هر پرسش پیش کدام راهحل برود — مدل تخصصی، مدل ارزان، اپراتور انسانی، یا یک جواب آماده. دروازه یک در یکپارچه و امن برای همهٔ مدلهاست: کلید، دسترسی، بودجه، و برنامه برای روزی که API اصلی جواب نمیدهد.
دروازهی مدل (LLM gateway) و مسیریاب نیت: یک واسط برای چند مدل، با کلید، بودجه و جایگزین.
مسیریاب: هر پرسش، راهحل خودش
به جای یک مدل برای همهٔ پرسشها، میتوانید برای هر نوع پرسش راهحل جدایی داشته باشید. دو سود دارد: اول، مدلهای تخصصی که برای پرسشهای خاص شاید از یک مدل همهمنظوره بهتر باشند — یکی متخصص عیبیابی فنی، دیگری متخصص صورتحساب. دوم، صرفهجویی: به جای یک مدل گران برای همه، پرسشهای سادهتر را پیش مدلهای ارزانتر بفرستید.
مسیریاب معمولاً یک دستهبند نیت (intent classifier) است که پیشبینی میکند کاربر میخواهد چه کند، و بر اساس آن پرسش را به راهحل مناسب میفرستد. مثال کتاب، یک چتبات (Chatbot) پشتیبانی:
- اگر کاربر میخواهد رمز عبورش را بازنشانی کند، او را به صفحهٔ پرسشهای رایج دربارهٔ بازیابی رمز بفرستید.
- اگر درخواست اصلاح اشتباه صورتحساب است، به اپراتور انسانی بفرستید.
- اگر درخواست عیبیابی یک مشکل فنی است، به چتباتی که برای عیبیابی تخصص دارد بفرستید.
دستهبند نیت جلوی گفتوگوهای بیرون از دامنه را هم میگیرد. اگر پرسش نامناسب تشخیص داده شد، چتبات میتواند با یک جواب آماده مؤدبانه رد کند، بی آنکه یک فراخوانی API هدر برود. مثلاً اگر کاربر بپرسد «در انتخابات آینده به کی رأی میدهی؟»، جواب: «بهعنوان یک چتبات توان رأی دادن ندارم. اگر سؤالی دربارهٔ محصولاتمان دارید، خوشحال میشوم کمک کنم.»
و میتواند پرسشهای مبهم را تشخیص دهد و توضیح بخواهد. در جواب پرسش «یخ زد!» (Freezing)، سیستم شاید بپرسد «میخواهید حسابتان را مسدود کنید یا دربارهٔ هوا حرف میزنید؟» یا ساده بگوید «ببخشید، بیشتر توضیح میدهید؟»
در حال بررسی دسترسی…
در این درس
- مسیریاب: هر پرسش، راهحل خودش
- مسیریابهای دیگر
- دروازه: یک در برای همهٔ مدلها
- خودآزمایی
پرسشهایی که این درس جواب میدهد
- دو سود مسیریاب؟
- دستهبند نیت چه کارهایی میکند؟
- چرا مسیریاب باید کوچک باشد؟
- پیشبینیکنندهٔ کار بعدی؟
- دروازهٔ مدل؟
- کارهای دروازه بهجز واسط یکسان؟
- چرا به اپلیکیشنها کلید دروازه بدهیم، نه کلید OpenAI؟
- دروازه چطور نگهداری کد را آسان میکند؟