Quando uma proposta técnica fala em “rodar modelo na sua própria máquina” e menciona quantization, quase ninguém sabe o que é. Mas é uma peça importante para entender custo de projeto de IA. Esse texto explica o que é quantization, sem jargão, e mostra quando ela faz diferença na conta final.
Veja também a definição no nosso glossário de IA.
O que é Quantization (em uma frase)
Quantization é a técnica de reduzir a precisão numérica de um modelo de IA para ele ocupar menos memória e rodar em máquina menor, com pequena perda de qualidade.
Em português direto: é como comprimir um arquivo. Você perde um pouco de nitidez, mas o arquivo cabe num pendrive e abre em computador mais simples.
Em IA, modelo grande (como um LLM open source) costuma precisar de placa de vídeo potente, com muita memória. Quantization permite rodar o mesmo modelo em máquina mais simples — às vezes num servidor que sua empresa já tem.
Por que isso importa
Empresas brasileiras estão cada vez mais interessadas em rodar IA na própria infraestrutura, por três motivos:
- Privacidade — dado sensível (saúde, financeiro, jurídico) não pode ir para API pública sem contrato pesado.
- Custo previsível — API cobra por uso; em volume alto, fica caro. Rodar na própria máquina tem custo fixo.
- Soberania — dado fica dentro do Brasil, sob controle da empresa.
O problema: modelo bom é grande. Um LLM moderno em tamanho cheio precisa de placa de vídeo de dezenas de milhares de reais, às vezes mais. Quantization permite rodar esse modelo em hardware muito mais barato, abrindo porta para empresa média que não é data center.
Sem quantization, IA “on-premise” fica restrita a empresa grande. Com ela, vira viável para empresa média.
Como funciona, sem código
Pense num modelo como uma planilha gigante com bilhões de número, cada um com várias casas decimais. Quantization faz mais ou menos isso:
- Cada número do modelo é representado com menos bits — por exemplo, de 16 bits para 4 bits.
- O modelo fica 4 vezes menor em memória.
- A qualidade cai um pouco — geralmente poucos pontos percentuais em benchmark.
- A velocidade pode até subir — menos dado para mover.
Existem níveis: quantization de 8 bits perde quase nada; de 4 bits perde um pouco mais; de 2 bits já compromete bastante. A escolha é equilíbrio entre custo e qualidade.
Exemplo prático: escritório de advocacia
Imagine um escritório que quer rodar IA própria para revisar contrato, sem mandar documento de cliente para API externa (questão de sigilo profissional).
Sem quantization: o escritório precisaria de servidor com 2 placas de vídeo de R$ 30.000 cada, mais energia e refrigeração. Investimento alto, inviável para escritório médio.
Com quantization de 4 bits: o mesmo modelo roda numa placa de vídeo de R$ 8.000, num servidor comum de TI. O escritório mantém sigilo (nada sai da máquina dele), paga custo fixo, e perde pouca qualidade — o suficiente para a tarefa de revisão contratual, que não exige topo de performance.
A conta muda de “impossível” para “viável”. Esse é o ganho da quantization na prática.
Onde quantization vale a pena
A técnica faz sentido quando algum desses sinais aparece:
- Você quer rodar IA na própria máquina por privacidade.
- Volume de uso alto torna API cara.
- Hardware de topo não está no orçamento.
- Tarefa não exige topo absoluto de qualidade — pequena perda é aceitável.
- Necessidade de rodar offline ou em rede isolada.
Quanto mais desses pontos você reconhece, mais faz sentido. Em projeto que vai usar API comercial (OpenAI, Anthropic, Google), quantization não entra — você não controla o modelo deles.
Onde NÃO é a solução
Quantization resolve rodar modelo grande em máquina menor. Não resolve:
- Tarefa que exige qualidade máxima — quantization sempre perde um pouco.
- Modelo que precisa ser servido para milhares de usuário simultâneo — aí o gargalo não é memória, é paralelismo.
- Decisão de “qual modelo usar” — quantization melhora o que já existe, não substitui escolha de modelo certo.
Ela é ajuste fino de custo. Não é mágica que faz modelo fraco virar forte.
O que precisa pra usar
- Modelo open source — você só quantiza o que pode baixar (Llama, Mistral, Qwen). Não dá pra quantizar GPT-4.
- Ferramenta de quantization — já existe pronta, não é trabalho manual.
- Hardware-alvo — a máquina onde o modelo vai rodar. Quantization é feita pensando nela.
- Teste de qualidade — comparar resultado antes e depois, para garantir que a perda é aceitável.
Em projeto bem feito, quantization é uma das decisões técnicas que o time toma junto com você, baseado no seu caso. Não é algo que gestor escolhe sozinho.
Quantization, LoRA e fine-tuning: qual a diferença?
Termos parecidos, propósitos diferentes:
- Quantization — comprimir modelo para rodar mais barato.
- LoRA — treinar modelo mais rápido, só com parte dele.
- Fine-tuning — especializar modelo para sua tarefa.
Os três podem ser combinados. Em projeto avançado, você pode pegar modelo open source, aplicar LoRA para especializá-lo, e quantizar para rodar mais barato. Cada um resolve um problema.
Perguntas frequentes
Quantization prejudica muito a qualidade do modelo?
Depende do nível. Quantization de 8 bits perde quase nada — em geral, imperceptível em uso real. Quantization de 4 bits perde um pouco, mas ainda é viável para muitas tarefas. Quantization de 2 bits já compromete bastante. A escolha depende da tarefa e de teste prático.
Posso usar quantization em modelo da OpenAI ou Anthropic?
Não. Você só controla modelo que pode baixar — open source. GPT-4, Claude e Gemini rodam na nuvem deles; você não tem acesso ao modelo para quantizar. Para esses, o que você faz é usar via API. Quantization é para quem decide rodar próprio modelo.
Vale a pena para empresa média que não tem equipe de TI grande?
Depende. Para tarefa simples e bem definida (classificação, extração, resumo), vale. Para tarefa complexa que exige ajuste contínuo, a complexidade de manter modelo próprio pode superar o ganho. Em muitos casos, começa com API e só migra para modelo próprio (com quantization) quando o volume justifica.
Próximo passo
Quantization é uma das decisões técnicas que muda a conta final de projeto de IA, especialmente quando privacidade exige modelo próprio. Se você quer entender se faz sentido no seu caso, com seu volume e seu tipo de dado, fazemos um diagnóstico gratuito. Mostramos o que dá pra rodar local, o que não dá, e quanto custaria.
Conceitos relacionados
- O que é Embedding? Explicação simples para gestores
- O que é Llama? Explicação simples para gestores
- O que é Temperature? Explicação simples para gestores
