Смесь экспертов (MoE)
EN · Mixture of Experts (MoE)Смесь экспертов (MoE) — архитектура модели, где для каждого токена активируется лишь часть параметров-«экспертов»; даёт большую ёмкость при меньших вычислениях.Определение на английскомA model architecture where multiple specialized sub-networks ('experts') exist within a single model, and a routing mechanism activates only the most relevant experts for each input. MoE models can be very large in total parameters but fast and efficient at inference because only a fraction of the network is active per request. This architecture powers several frontier models and enables better performance without proportional increases in compute cost.
Автор: Max Zeshut
Основатель Agentmelt
Пример
Модель с 8 экспертными подсетями направляет вопрос по коду к экспертам по коду, а маркетинговый вопрос — к экспертам по языку и креативу, используя одну модель, но разные внутренние пути для каждой задачи.
Часто задаваемые вопросы
- Как MoE влияет на стоимость ИИ-агентов?
- MoE-модели часто дешевле за токен, чем плотные модели сопоставимого качества, потому что активируют меньше параметров на запрос. Для агентов, обрабатывающих тысячи запросов в день, это напрямую снижает операционные расходы без потери качества.