O que ganhamos trocando LLMs por modelos de decisão
O que ganhamos trocando LLMs por modelos de decisão
Nas decisões de triagem de uma operação real, o Jev respondeu cerca de 3,5 vezes mais rápido que o LLM que usávamos, custou entre um quarto e um terço do valor e acertou 43 de 44 casos, contra 44 de 44. A Decisions API, da OpenAI, foi ainda mais rápida. Nenhum deles serve para tudo, e saber onde cada um cabe é o que faz a diferença.
No texto anterior, explicamos o que são os modelos de decisão: em vez de escrever uma resposta, eles escolhem uma alternativa e dizem quanta certeza têm. Faltava ver o que isso muda numa operação de verdade.
Colocamos o Jev e a Decisions API lado a lado com o LLM que já usávamos, em duas decisões que acontecem logo que um pedido chega à administradora: que tipo de pedido é este? e de qual condomínio ele está falando? Os três responderam às mesmas perguntas, com as mesmas alternativas, sobre os mesmos casos, no mesmo dia.
Resultado 1: que tipo de pedido é este?
Trinta pedidos, cada um repetido três vezes por modelo.
| LLM | Jev | Decisions API (OpenAI) | |
|---|---|---|---|
| Acerto | 30 de 30 | 29 de 30 | 29 de 30 |
| Tempo de resposta típico | 1,7 s | 0,5 s | 0,3 s |
| Tempo nos casos mais lentos | 2,9 s | 0,6 s | 0,5 s |
| Custo por mil pedidos | US$ 0,087 | US$ 0,020 | US$ 0,024 |
| Pedidos com 80% ou mais de certeza | não informa | 87%, todos certos | 67%, todos certos |
O LLM acertou os 30 pedidos; cada modelo de decisão errou um, e não o mesmo. Em troca, os dois responderam de três a seis vezes mais rápido e custaram cerca de um quarto do que o LLM custava. Parte da economia vem da forma de cobrança: um LLM cobra pelo texto que lê e, mais caro, pelo texto que escreve; os modelos de decisão cobram só pelo que leem.
Os erros contam uma história ainda melhor. Os dois vieram com certeza baixa, abaixo de 40%, em todas as tentativas. Ou seja: o modelo errou, mas sabia que não tinha certeza. É exatamente o tipo de caso que deve ir para uma pessoa.
Quando o Jev disse ter 80% ou mais de certeza, ele acertou todas as classificações. Isso aconteceu em 87% dos pedidos.
Na prática, quase nove em cada dez pedidos podem seguir sozinhos, e o sistema sabe de antemão quais são os outros. Com o LLM, tínhamos uma resposta. Com o modelo de decisão, temos uma resposta e um critério para saber quando confiar nela.
A Decisions API também acertou todos os pedidos acima de 80% de certeza, mas chegou a esse nível em dois terços deles: com o mesmo critério, mais pedidos iriam para revisão humana. Em compensação, ela se mostrou totalmente previsível: nas três repetições de cada pedido, deu a mesma resposta com exatamente a mesma porcentagem. A certeza do Jev oscilou um pouco de uma tentativa para outra.
Resultado 2: de qual condomínio ele está falando?
Esta pergunta é mais delicada. Errar o condomínio manda o pedido para o lugar errado, o que é pior do que admitir que não identificou.
| LLM | Jev | Decisions API (OpenAI) | |
|---|---|---|---|
| Condomínio certo | 14 de 14 | 14 de 14 | 14 de 14 |
| Condomínio errado apontado | nenhum | nenhum | nenhum |
| Tempo de resposta típico | 1,8 s | 0,5 s | 0,3 s |
| Tempo nos casos mais lentos | 3,1 s | 0,6 s | 0,5 s |
| Custo por mil pedidos | US$ 0,094 | US$ 0,034 | US$ 0,056 |
Aqui os três empataram em acerto, e nenhum apontou um condomínio errado. O Jev custou pouco mais de um terço do LLM; a Decisions API, cerca de 60%.
Somando as duas decisões, um pedido que levava cerca de 3,5 segundos para ser classificado e ter o condomínio identificado passou a levar cerca de 1 segundo com o Jev e 0,6 segundo com a Decisions API.
Um extra: e-mails que não deveriam entrar
Testamos a mesma ideia numa terceira pergunta: este e-mail é de trabalho, newsletter, publicidade ou golpe? Aqui o erro pesa diferente para cada lado. Descartar um e-mail de trabalho é grave; deixar passar uma newsletter é só um incômodo.
O conjunto tinha 111 e-mails, 35 deles de trabalho, a maioria escrita de propósito para parecer suspeita. Os dois modelos cumpriram a regra que mais importa: nenhum e-mail de trabalho foi descartado. A Decisions API barrou mais indesejados, até 99% deles; o Jev chegou a 95% e custou 39% menos por e-mail. Golpes feitos sob medida continuam sendo o caso mais difícil para os dois, e são o próximo desafio.
Jev ou Decisions API?
Cada um levou vantagem em algo diferente. O Jev saiu mais barato e chegou mais vezes ao nível de certeza que permite agir sozinho. A Decisions API foi a mais rápida, respondeu sempre igual às mesmas perguntas e é a única que lê imagens. Como os dois respondem ao mesmo tipo de pergunta, escolher entre eles virou uma decisão de engenharia, medida caso a caso, e não uma aposta.
E nenhum dos dois substitui o LLM onde a resposta precisa ser escrita. Eles substituem o LLM onde ele estava sendo usado para escolher.
Como medimos
- Todos os números vêm de uma mesma rodada, em 8 de outubro de 2026.
- Cada pergunta foi testada com casos reais ou realistas cuja resposta certa já conhecíamos. Nas duas primeiras, cada caso rodou três vezes por modelo, e valeu a resposta da maioria.
- O LLM de comparação foi o que já estava em uso, um modelo de uso geral da OpenAI.
- Preços de tabela em outubro de 2026, por milhão de tokens: o LLM cobra US$ 0,20 pelo que lê e US$ 1,20 pelo que escreve; o Jev, US$ 0,042, e a Decisions API, US$ 0,10, só pelo que leem.
- Os tempos foram medidos do nosso lado e incluem a internet.
- Os conjuntos são pequenos (30, 14 e 111 casos) e servem para orientar uma decisão de arquitetura, não como um ranking definitivo de modelos.
Se você está avaliando onde a IA cabe nos processos da sua empresa, e onde ela não cabe, gostaríamos de conversar.
Tags: #InteligênciaArtificial #ModelosDeDecisão #LLM #DecisionsAPI #OpenAI #Jev #AutomaçãoDeProcessos #CustoDeIA #TriagemAutomática #ArquiteturaDeIA #IAParaEmpresas #MLOps #ProcessamentoDeTexto #IANaOperação #OtimizaçãoDeIA