Qué ganamos al cambiar LLMs por modelos de decisión
Qué ganamos al cambiar LLMs por modelos de decisión
En las decisiones de clasificación de una operación real, Jev respondió unas 3,5 veces más rápido que el LLM que usábamos, costó entre un cuarto y un tercio del precio, y acertó 43 de 44 casos, frente a 44 de 44. La Decisions API de OpenAI fue incluso más rápida. Ninguno sirve para todo, y saber dónde encaja cada uno es lo que marca la diferencia.
En el artículo anterior, explicamos qué son los modelos de decisión: en lugar de redactar una respuesta, eligen una alternativa e indican con qué nivel de certeza lo hacen. Lo que faltaba era ver qué cambia en una operación real.
Pusimos a Jev y a la Decisions API frente al LLM que ya usábamos, en dos decisiones que ocurren en el momento en que una solicitud llega a la administradora: ¿qué tipo de solicitud es esta? y ¿de qué condominio está hablando? Los tres respondieron las mismas preguntas, con las mismas alternativas, sobre los mismos casos y el mismo día.
Resultado 1: ¿qué tipo de solicitud es esta?
Treinta solicitudes, cada una repetida tres veces por modelo.
| LLM | Jev | Decisions API (OpenAI) | |
|---|---|---|---|
| Aciertos | 30 de 30 | 29 de 30 | 29 de 30 |
| Tiempo de respuesta típico | 1,7 s | 0,5 s | 0,3 s |
| Tiempo en los casos más lentos | 2,9 s | 0,6 s | 0,5 s |
| Costo por mil solicitudes | US$ 0,087 | US$ 0,020 | US$ 0,024 |
| Solicitudes con 80% o más de certeza | no informa | 87%, todas correctas | 67%, todas correctas |
El LLM acertó las 30 solicitudes; cada modelo de decisión falló una, y no la misma. A cambio, ambos respondieron entre tres y seis veces más rápido y costaron alrededor de un cuarto de lo que costaba el LLM. Parte del ahorro viene del modelo de cobro: un LLM cobra por el texto que lee y, más caro aún, por el texto que escribe; los modelos de decisión solo cobran por lo que leen.
Los errores cuentan una historia aún más interesante. En ambos casos, el modelo respondió con una certeza baja, por debajo del 40%, en todos los intentos. Es decir: el modelo se equivocó, pero sabía que no estaba seguro. Es exactamente el tipo de caso que debería ir a revisión humana.
Cuando Jev declaró tener 80% o más de certeza, acertó todas las clasificaciones. Eso ocurrió en el 87% de las solicitudes.
En la práctica, casi nueve de cada diez solicitudes pueden avanzar solas, y el sistema sabe de antemano cuáles son las demás. Con el LLM teníamos una respuesta. Con el modelo de decisión tenemos una respuesta y un criterio para saber cuándo confiar en ella.
La Decisions API también acertó todas las solicitudes por encima del 80% de certeza, pero alcanzó ese nivel solo en dos tercios de ellas: con el mismo criterio, más solicitudes irían a revisión humana. A cambio, demostró ser totalmente predecible: en las tres repeticiones de cada solicitud, dio la misma respuesta con exactamente el mismo porcentaje. La certeza de Jev varió ligeramente de un intento a otro.
Resultado 2: ¿de qué condominio está hablando?
Esta pregunta es más delicada. Equivocarse de condominio envía la solicitud al lugar incorrecto, lo cual es peor que admitir que no se pudo identificar.
| LLM | Jev | Decisions API (OpenAI) | |
|---|---|---|---|
| Condominio correcto | 14 de 14 | 14 de 14 | 14 de 14 |
| Condominio incorrecto señalado | ninguno | ninguno | ninguno |
| Tiempo de respuesta típico | 1,8 s | 0,5 s | 0,3 s |
| Tiempo en los casos más lentos | 3,1 s | 0,6 s | 0,5 s |
| Costo por mil solicitudes | US$ 0,094 | US$ 0,034 | US$ 0,056 |
Aquí los tres empataron en precisión y ninguno señaló un condominio incorrecto. Jev costó poco más de un tercio del LLM; la Decisions API, alrededor del 60%.
Sumando ambas decisiones, una solicitud que antes tardaba unos 3,5 segundos en ser clasificada e identificada pasó a tardar alrededor de 1 segundo con Jev y 0,6 segundos con la Decisions API.
Un extra: correos que no deberían entrar
Probamos la misma idea con una tercera pregunta: ¿este correo es de trabajo, un boletín, publicidad o un intento de fraude? Aquí el peso del error es distinto según el lado. Descartar un correo de trabajo es grave; dejar pasar un boletín es solo una molestia.
El conjunto tenía 111 correos, 35 de ellos de trabajo, la mayoría redactados a propósito para parecer sospechosos. Ambos modelos cumplieron la regla más importante: ningún correo de trabajo fue descartado. La Decisions API bloqueó más correos no deseados, hasta el 99% de ellos; Jev llegó al 95% y costó un 39% menos por correo. Los intentos de fraude diseñados a medida siguen siendo el caso más difícil para ambos, y son el próximo desafío.
¿Jev o Decisions API?
Cada uno tuvo ventaja en algo distinto. Jev resultó más económico y alcanzó con mayor frecuencia el nivel de certeza que permite actuar de forma autónoma. La Decisions API fue la más rápida, respondió siempre igual ante las mismas preguntas y es la única que puede leer imágenes. Como ambos responden al mismo tipo de pregunta, elegir entre ellos se convierte en una decisión de ingeniería, medida caso a caso, y no en una apuesta a ciegas.
Y ninguno de los dos reemplaza al LLM cuando la respuesta debe ser redactada. Lo reemplazan donde se lo estaba usando para elegir.
Cómo medimos
- Todos los números provienen de una misma ronda, realizada el 8 de octubre de 2026.
- Cada pregunta se probó con casos reales o realistas cuya respuesta correcta ya conocíamos. En los dos primeros, cada caso se ejecutó tres veces por modelo y se tomó la respuesta mayoritaria.
- El LLM de comparación fue el que ya estaba en uso: un modelo de propósito general de OpenAI.
- Precios de lista en octubre de 2026, por millón de tokens: el LLM cobra US$ 0,20 por lo que lee y US$ 1,20 por lo que escribe; Jev, US$ 0,042, y la Decisions API, US$ 0,10, solo por lo que leen.
- Los tiempos se midieron desde nuestro lado e incluyen la latencia de red.
- Los conjuntos son pequeños (30, 14 y 111 casos) y sirven para orientar una decisión de arquitectura, no como un ranking definitivo de modelos.
Si estás evaluando dónde encaja la IA en los procesos de tu empresa —y dónde no encaja—, nos encantaría conversar.
Tags: #InteligenciaArtificial #ModelosDeDecision #LLM #DecisionsAPI #OpenAI #Jev #AutomatizacionDeProcesos #CostosDeIA #ClasificacionAutomatica #ArquitecturaDeIA #IAParaEmpresas #MLOps #ProcesamientoDeTexto #IAEnOperaciones #OptimizacionDeIA