Маршрутизация промптов
EN · Prompt RoutingМаршрутизация промптов — выбор модели, шаблона или агента для запроса по его типу, сложности или стоимости.Определение на английскомDirecting an incoming request to the most appropriate AI model, agent, or workflow based on the request's characteristics—complexity, domain, required capabilities, cost sensitivity, and latency requirements. A prompt router might send simple FAQ questions to a small, fast model (Haiku-class) and complex reasoning tasks to a large, capable model (Opus-class), optimizing the cost-quality tradeoff across the full spectrum of requests. Advanced routing considers user tier, request urgency, and current system load.
Автор: Max Zeshut
Основатель Agentmelt
Пример
Система поддержки получает 1 000 запросов в день. Маршрутизатор отправляет 600 простых вопросов (сброс пароля, статус заказа) малой модели по $0,001 за запрос, 350 средних — модели среднего уровня по $0,01 и 50 сложных эскалаций — фронтирной модели по $0,05, экономя 90% по сравнению с отправкой всего во фронтирную модель.
Часто задаваемые вопросы
- Чем маршрутизация промптов отличается от классификации намерений?
- Классификация намерений определяет, чего хочет пользователь (возврат, вопрос, жалоба). Маршрутизация решает, какая модель или агент это обработает. Они часто работают вместе: классификация определяет тип задачи, а маршрутизация выбирает оптимальную модель по сложности и требованиям этого типа. Маршрутизация также учитывает операционные факторы — стоимость, задержку и текущую доступность моделей.