Дрейф агента
EN · Agent DriftДрейф агента — постепенное ухудшение работы ИИ-агента со временем: данные, поведение пользователей или бизнес-контекст меняются, а конфигурация агента остаётся прежней. Выявляется регулярной оценкой на тестовом наборе.Определение на английскомThe gradual degradation of an AI agent's performance over time as the underlying data, user behavior, or business context changes while the agent's configuration remains static. Drift manifests as declining accuracy, increased hallucination rates, or irrelevant responses—often so gradually that it is not noticed until performance has significantly deteriorated. Common causes include knowledge base staleness, shifting customer vocabulary, product catalog changes, and upstream model updates by the LLM provider.
Автор: Max Zeshut
Основатель Agentmelt
Пример
Агент поддержки, обученный на прошлогодней документации, продолжает отвечать на вопросы о функции, которую убрали три месяца назад, — уверенно давая инструкции по несуществующей функциональности.
Часто задаваемые вопросы
- Как обнаружить дрейф агента?
- Отслеживайте ключевые метрики во времени: долю решённых обращений, удовлетворённость клиентов, долю эскалаций и долю галлюцинаций. Настройте еженедельные автоматические оценки на эталонном наборе тестовых запросов с известными верными ответами. Падение любой метрики на 5%+ за 30 дней сигнализирует о дрейфе, который нужно расследовать.