Гниение контекста
EN · Context RotДеградация контекста — снижение качества ответов модели по мере роста и «замусоривания» контекстного окна устаревшей или нерелевантной информацией.Определение на английскомThe gradual degradation of an AI agent's response quality as conversation context grows longer. Even when a model technically supports a million-token context window, response quality typically peaks at much shorter context lengths. As context grows, the model's attention spreads thinner across more information, instruction following weakens, and earlier instructions get diluted by later content. Context rot is why long-running agent conversations need periodic context compression, not just larger context windows.
Автор: Max Zeshut
Основатель Agentmelt
Пример
Агент для кода работает над долгой отладочной сессией, накапливая 200K токенов контекста. Качество отличное на 20K токенов, хорошее на 60K, посредственное на 120K и ненадёжное на 200K — хотя модель «поддерживает» 200K. Команда внедряет сжатие контекста, резюмирующее ранние ходы при превышении 80K, и качество восстанавливается.
Часто задаваемые вопросы
- Чем гниение контекста отличается от лимита контекстного окна?
- Лимит окна жёсткий — его превышение вызывает ошибку. Гниение контекста — мягкая деградация качества, наступающая задолго до лимита. Модель с окном 200K обычно работает лучше всего на 10–30K токенов, и качество плавно снижается дальше. Считайте задокументированное окно максимумом, а не оптимумом, — и проектируйте управление контекстом под оптимум.