MoE (смесь экспертов)
EN · MoE (Mixture of Experts)MoE — сокращение от Mixture of Experts, архитектуры с частичной активацией параметров; см. «Смесь экспертов».Определение на английскомA model architecture where the network contains multiple specialized sub-networks (experts), and a routing mechanism activates only a subset of experts for each input. A 400B-parameter MoE model might activate only 50B parameters per token, achieving near-frontier quality at the inference cost of a much smaller model. MoE architectures (used in models like Mixtral and reportedly in GPT-4) are why some AI agents can deliver high-quality responses at surprisingly low latency and cost—the model is large in total but efficient per-query.
Автор: Max Zeshut
Основатель Agentmelt
Часто задаваемые вопросы
- Почему MoE важна для создателей ИИ-агентов?
- MoE-модели дают лучшее соотношение качества и стоимости, чем плотные модели с тем же общим числом параметров. Для создателей агентов это доступ к почти фронтирному рассуждению по цене среднего уровня — или self-hosting качественной модели на железе, которое не потянуло бы эквивалентную плотную. Оценивая модели для агента, проверяйте, используют ли они MoE-архитектуру — это влияет на стоимость, задержку и требования к хостингу.