Спекулятивное декодирование
EN · Speculative DecodingСпекулятивное декодирование — ускорение генерации: малая модель предлагает несколько токенов, большая проверяет их за один проход.Определение на английскомAn inference optimization technique where a small, fast 'draft' model generates candidate tokens ahead of the main model, and the main model verifies them in parallel. When the draft model's predictions match what the main model would have produced, tokens are accepted instantly—reducing latency by 2–3x without changing output quality. Speculative decoding is particularly valuable for AI agents where response latency directly affects user experience, especially voice agents and live-chat support agents.
Автор: Max Zeshut
Основатель Agentmelt
Часто задаваемые вопросы
- Меняет ли спекулятивное декодирование вывод модели?
- Нет. Спекулятивное декодирование математически эквивалентно стандартному — последнее слово по каждому токену за основной моделью. Черновая модель лишь предлагает кандидатов; любой токен, который основная модель не сгенерировала бы, отклоняется. Распределение вывода идентично; растёт только скорость.