Ce qu'on gagne en remplaçant les LLM par des modèles de décision
Ce qu'on gagne en remplaçant les LLM par des modèles de décision
Sur les décisions de triage d'une opération réelle, Jev a répondu environ 3,5 fois plus vite que le LLM que nous utilisions, pour un coût représentant entre un quart et un tiers du sien, avec 43 bonnes réponses sur 44 contre 44 sur 44. La Decisions API d'OpenAI s'est montrée encore plus rapide. Aucun des deux ne convient à tout, et savoir où chacun trouve sa place, c'est précisément ce qui fait la différence.
Dans l'article précédent, nous avons expliqué ce que sont les modèles de décision : plutôt que de rédiger une réponse, ils choisissent parmi des alternatives et indiquent leur niveau de certitude. Il restait à voir ce que cela change concrètement dans une opération réelle.
Nous avons mis Jev et la Decisions API face au LLM que nous utilisions déjà, sur deux décisions qui interviennent dès qu'une demande arrive chez un gestionnaire de copropriété : de quel type de demande s'agit-il ? et de quelle copropriété parle-t-on ? Les trois ont répondu aux mêmes questions, avec les mêmes alternatives, sur les mêmes cas, le même jour.
Résultat 1 : de quel type de demande s'agit-il ?
Trente demandes, chacune répétée trois fois par modèle.
| LLM | Jev | Decisions API (OpenAI) | |
|---|---|---|---|
| Bonne réponse | 30 sur 30 | 29 sur 30 | 29 sur 30 |
| Temps de réponse typique | 1,7 s | 0,5 s | 0,3 s |
| Temps dans les cas les plus lents | 2,9 s | 0,6 s | 0,5 s |
| Coût pour mille demandes | 0,087 $ | 0,020 $ | 0,024 $ |
| Demandes avec 80 % de certitude ou plus | non communiqué | 87 %, toutes correctes | 67 %, toutes correctes |
Le LLM a répondu correctement aux 30 demandes ; chaque modèle de décision en a raté une, et pas la même. En contrepartie, les deux ont répondu trois à six fois plus vite et ont coûté environ un quart du prix du LLM. Une partie de l'économie vient du mode de facturation : un LLM facture le texte qu'il lit et, plus cher encore, le texte qu'il génère ; les modèles de décision ne facturent que ce qu'ils lisent.
Les erreurs racontent une histoire encore plus intéressante. Dans les deux cas, elles sont survenues avec un niveau de certitude faible, inférieur à 40 %, à chaque tentative. Autrement dit : le modèle s'est trompé, mais il savait qu'il n'était pas sûr de lui. C'est exactement le type de cas qui doit être transmis à un humain.
Lorsque Jev a indiqué 80 % de certitude ou plus, il a obtenu toutes les classifications correctes. Cela s'est produit pour 87 % des demandes.
En pratique, près de neuf demandes sur dix peuvent être traitées automatiquement, et le système sait à l'avance lesquelles nécessitent une vérification. Avec le LLM, nous avions une réponse. Avec le modèle de décision, nous avons une réponse et un critère pour savoir quand lui faire confiance.
La Decisions API a également répondu correctement à toutes les demandes au-dessus de 80 % de certitude, mais n'a atteint ce seuil que pour deux tiers d'entre elles : avec le même critère, davantage de demandes auraient été orientées vers une révision humaine. En revanche, elle s'est montrée totalement prévisible : sur les trois répétitions de chaque demande, elle a donné la même réponse avec exactement le même pourcentage. La certitude de Jev, elle, a légèrement varié d'une tentative à l'autre.
Résultat 2 : de quelle copropriété parle-t-on ?
Cette question est plus délicate. Se tromper de copropriété envoie la demande au mauvais endroit, ce qui est pire que d'admettre qu'on ne l'a pas identifiée.
| LLM | Jev | Decisions API (OpenAI) | |
|---|---|---|---|
| Bonne copropriété | 14 sur 14 | 14 sur 14 | 14 sur 14 |
| Mauvaise copropriété indiquée | aucune | aucune | aucune |
| Temps de réponse typique | 1,8 s | 0,5 s | 0,3 s |
| Temps dans les cas les plus lents | 3,1 s | 0,6 s | 0,5 s |
| Coût pour mille demandes | 0,094 $ | 0,034 $ | 0,056 $ |
Sur ce point, les trois sont à égalité, et aucun n'a désigné une mauvaise copropriété. Jev a coûté un peu plus d'un tiers du prix du LLM ; la Decisions API, environ 60 %.
En cumulant les deux décisions, une demande qui prenait environ 3,5 secondes pour être classifiée et associée à une copropriété ne prend plus qu'environ 1 seconde avec Jev et 0,6 seconde avec la Decisions API.
En bonus : les e-mails qui ne devraient pas passer
Nous avons appliqué la même logique à une troisième question : cet e-mail est-il professionnel, une newsletter, de la publicité ou une tentative d'arnaque ? Ici, le coût de l'erreur n'est pas le même selon le sens. Supprimer un e-mail professionnel est grave ; laisser passer une newsletter n'est qu'un désagrément.
L'ensemble comprenait 111 e-mails, dont 35 professionnels, la plupart rédigés exprès pour paraître suspects. Les deux modèles ont respecté la règle la plus importante : aucun e-mail professionnel n'a été supprimé. La Decisions API a bloqué davantage d'indésirables, jusqu'à 99 % d'entre eux ; Jev a atteint 95 % pour un coût inférieur de 39 % par e-mail. Les arnaques sur mesure restent le cas le plus difficile pour les deux, et constituent le prochain défi à relever.
Jev ou Decisions API ?
Chacun s'est distingué sur un point différent. Jev est sorti moins cher et a atteint plus souvent le niveau de certitude permettant d'agir de manière autonome. La Decisions API a été la plus rapide, a toujours donné la même réponse aux mêmes questions et est la seule à pouvoir analyser des images. Comme les deux répondent au même type de question, choisir entre eux est devenu une décision d'ingénierie, évaluée au cas par cas, et non un pari.
Et aucun des deux ne remplace le LLM lorsqu'une réponse doit être rédigée. Ils remplacent le LLM là où il était utilisé pour choisir.
Comment nous avons mesuré
- Tous les chiffres proviennent d'une même session de tests, le 8 octobre 2026.
- Chaque question a été testée avec des cas réels ou réalistes dont nous connaissions déjà la bonne réponse. Pour les deux premières, chaque cas a été soumis trois fois par modèle, et c'est la réponse majoritaire qui a été retenue.
- Le LLM de comparaison est celui que nous utilisions déjà en production, un modèle généraliste d'OpenAI.
- Tarifs publics en octobre 2026, par million de tokens : le LLM facture 0,20 $ pour ce qu'il lit et 1,20 $ pour ce qu'il génère ; Jev, 0,042 $, et la Decisions API, 0,10 $, uniquement pour ce qu'ils lisent.
- Les temps ont été mesurés de notre côté et incluent le transit réseau.
- Les ensembles sont de taille réduite (30, 14 et 111 cas) et servent à orienter une décision d'architecture, non à établir un classement définitif des modèles.
Si vous cherchez à identifier où l'IA a sa place dans les processus de votre entreprise, et où elle ne l'a pas —, nous serions ravis d'en discuter.
Tags: #IntelligenceArtificielle #ModèlesDecision #LLM #DecisionsAPI #OpenAI #Jev #AutomatisationDesProcessus #CoûtIA #TriageAutomatique #ArchitectureIA #IAPourEntreprises #MLOps #TraitementDuTexte #IAEnOpération #OptimisationIA