Квантизация
EN · QuantizationКвантование — сжатие модели за счёт снижения точности чисел в весах; уменьшает размер и ускоряет инференс при небольшой потере качества.Определение на английскомA technique that reduces the numerical precision of an AI model's weights—typically from 16-bit floating point to 8-bit or 4-bit integers—to shrink model size and speed up inference with minimal quality loss. A 70B-parameter model that requires 140GB of GPU memory at full precision fits in 35GB at 4-bit quantization, enabling deployment on a single consumer GPU instead of a multi-GPU server. Quantization is the key enabler for self-hosted and edge-deployed AI agents.
Автор: Max Zeshut
Основатель Agentmelt
Пример
Компания размещает у себя модель на 70 млрд параметров для анализа документов on-premise. В полной точности понадобилось бы 4× A100 ($60K+). С 4-битной квантизацией модель работает на одной A100 с деградацией качества менее 2% на их бенчмарках извлечения из документов.
Часто задаваемые вопросы
- Снижает ли квантизация качество модели?
- Минимально. 8-битная квантизация обычно даёт менее 1% потери качества. 4-битная может дать 1–3% на общих бенчмарках, но для узких агентных задач (классификация, извлечение, маршрутизация) эффект часто не обнаруживается. Всегда тестируйте на своей задаче перед развёртыванием квантизованной модели.