用决策模型替代大语言模型，我们得到了什么
用决策模型替代大语言模型，我们得到了什么
在一个真实业务场景的分类决策中，Jev 的响应速度约是原有大语言模型的 3.5 倍，成本仅为其四分之一到三分之一，44 个案例中答对了 43 个，而大语言模型答 对了 44 个。OpenAI 的 Decisions API 速度更快。但两者都不是万能的——知道在哪里用哪个，才是真正的关键。
在上一篇文章中，我们介绍了什么是决策模型：它不生成文字回答，而是从给定选项中做出选择，并给出置信度。但理论归理论，它在真实业务中究竟能带来什么变化？
这次，我们让 Jev 和 Decisions API 与现有的大语言模型同台竞技，聚焦于物业管理公司在收到请求时最先需要做出的两个判断：这是什么类型的请求？ 以及 它涉及哪个小区？ 三个模型面对相同的问题、相同的选项、相同的案例，在同一天完成测试。
测试一：这是什么类型的请求？
共 30 条请求，每条由每个模型重复作答 3 次。
| 大语言模型 | Jev | Decisions API（OpenAI） | |
|---|---|---|---|
| 准确率 | 30/30 | 29/30 | 29/30 |
| 典型响应时间 | 1.7 秒 | 0.5 秒 | 0.3 秒 |
| 最慢响应时间 | 2.9 秒 | 0.6 秒 | 0.5 秒 |
| 每千条请求成本 | US$ 0.087 | US$ 0.020 | US$ 0.024 |
| 置信度 ≥ 80% 的请求 | 不提供 | 87%，全部正确 | 67%，全部正 确 |
大语言模型 30 条全对；两个决策模型各错了 1 条，且错的不是同一条。作为交换，它们的响应速度快了 3 到 6 倍，成本约为大语言模型的四分之一。部分节省来自计费方式的差异：大语言模型按读取的文字和生成的文字分别计费，而生成部分更贵；决策模型只按读取计费。
出错的案例反而说明了更多问题。两个模型在所有出错的尝试中，置信度均低于 40%。也就是说：模型答错了，但它知道自己没把握。这正是应该交给人工处理的情况。
当 Jev 的置信度达到 80% 及以上时，它的分类全部正确。 这种情况覆盖了 87% 的请求。
实际上，近九成的请求可以自动流转，而系统事先就能判断出哪些需要人工介入。用大语言模型，我们只得到一个答案；用决策模型，我们得到一个答案，以及一个判断何时可以信任它的依据。
Decisions API 在置信度 80% 以上时同样全部答对，但达到这一置信度的请求只占三分之二——用同样的标准，会有更多请求被转入人工审核。不过它展现出了极强的一致性：对同一条请求的三次作答，给出的结果和置信度百分比完全相同。Jev 的置信度在不同尝试间存在轻微波动。
测试二：它涉及哪个小区？
这个问题更为关键。认错小区会把请求发到错误的地方，比识别不出来还要糟糕。
| 大语言模型 | Jev | Decisions API（OpenAI） | |
|---|---|---|---|
| 小区识别正确 | 14/14 | 14/14 | 14/14 |
| 错误识别小区 | 无 | 无 | 无 |
| 典型响应时间 | 1.8 秒 | 0.5 秒 | 0.3 秒 |
| 最慢响应时间 | 3.1 秒 | 0.6 秒 | 0.5 秒 |
| 每千条请求成本 | US$ 0.094 | US$ 0.034 | US$ 0.056 |
三个模型在准确率上打平，均未出现错误识别。Jev 的成本约为大语言模型的三分之一多一点；Decisions API 约为 60%。
综合两项测试，一条请求从分类到识别小区，原本需要约 3.5 秒，现在用 Jev 只需约 1 秒，用 Decisions API 只需约 0.6 秒。
附加测试：不该进来的邮件
我们用同样的思路测试了第三个问题：这封邮件是工作邮件、新闻订阅、广告，还是诈骗？ 这里不同方向的错误代价截然不同。误删一封工作邮件是严重失误；放过一封订阅邮件只是小麻烦。
测试集共 111 封邮件，其中 35 封是工作邮件，大多数被刻意写得像可疑邮件。两个模型都遵守了最重要的规则：没有任何一封工作邮件被误删。Decisions API 拦截了更多垃圾邮件，最高达 99%；Jev 达到 95%，每封邮件的成本低 39%。专门定制的诈骗邮件对两者来说仍是最大挑战，也是下一步要攻克的难题。
选 Jev 还是 Decisions API？
两者各有所长。Jev 成本更低，且更频繁地达到可以自动执行的置信度阈值。Decisions API 速度最快，对相同问题的回答高度一致，并且是唯一支持图像识别的选项。由于两者回答的是 同类问题，如何在它们之间做选择，已经成为一个可以逐案量化的工程决策，而不是一场赌博。
当然，两者都无法替代大语言模型在需要生成文字回答的场景中的作用。它们替代的，是大语言模型被用来"做选择"的那部分场景。
测试说明
- 所有数据来自 2026 年 10 月 8 日同一轮测试。
- 每个问题均使用已知正确答案的真实或仿真案例进行测试。前两项测试中，每个案例由每个模型作答三次，取多数结果。
- 对比用的大语言模型是当时已在使用的 OpenAI 通用模型。
- 2026 年 10 月官方定价（每百万 token）：大语言模型读取 US$ 0.20，生成 US$ 1.20；Jev US$ 0.042；Decisions API US$ 0.10，后两者均只按读取计费。
- 响应时间从我方侧测量，包含网络传输时间。
- 样本量较小（分别为 30、14 和 111 个案例），适合用于架构决策参考，不构成模型能力的权威排名。
如果您正在评估 AI 适合融入企业哪些流程、又该在哪些地方保持克制，欢迎与我们交流。
Tags: #人工智能 #决策模型 #大语言模型 #LLM #DecisionsAPI #OpenAI #Jev #流程自动化 #AI成本 #自动分类 #AI架构 #企业AI #MLOps #文本处理 #AI优化