LLM की जगह डिसीज़न मॉडल अपनाने से क्या मिला

एक असली ऑपरेशन में ट्रायज़ निर्णयों के दौरान, Jev ने हमारे मौजूदा LLM की तुलना में लगभग 3.5 गुना तेज़ जवाब दिया, लागत एक-चौथाई से एक-तिहाई के बीच रही, और 44 में से 43 मामलों में सही रहा, जबकि LLM ने 44 में से 44 में सही जवाब दिया। OpenAI की Decisions API और भी तेज़ निकली। दोनों में से कोई भी हर काम के लिए नहीं है, और यही समझना असली खेल है।

पिछले लेख में हमने बताया था कि डिसीज़न मॉडल होते क्या हैं: ये कोई जवाब लिखने की बजाय एक विकल्प चुनते हैं और बताते हैं कि उन्हें कितना भरोसा है। अब देखना था कि यह किसी असली ऑपरेशन में क्या बदलाव लाता है।

हमने Jev और Decisions API को उस LLM के साथ आमने-सामने रखा जो हम पहले से इस्तेमाल कर रहे थे, दो ऐसे फ़ैसलों पर जो किसी कंडोमिनियम मैनेजमेंट कंपनी में अनुरोध आते ही लिए जाते हैं: यह अनुरोध किस तरह का है? और यह किस कंडोमिनियम की बात कर रहा है? तीनों ने एक ही दिन, एक ही मामलों पर, एक ही विकल्पों के साथ, एक ही सवालों के जवाब दिए।

नतीजा 1: यह अनुरोध किस तरह का है?

तीस अनुरोध, हर एक को हर मॉडल ने तीन बार परखा।

	LLM	Jev	Decisions API (OpenAI)
सही जवाब	30 में से 30	30 में से 29	30 में से 29
सामान्य प्रतिक्रिया समय	1.7 सेकंड	0.5 सेकंड	0.3 सेकंड
सबसे धीमे मामलों में समय	2.9 सेकंड	0.6 सेकंड	0.5 सेकंड
प्रति हज़ार अनुरोध लागत	US$ 0.087	US$ 0.020	US$ 0.024
80% या उससे अधिक आत्मविश्वास वाले अनुरोध	जानकारी नहीं देता	87%, सभी सही	67%, सभी सही

LLM ने सभी 30 अनुरोधों में सही जवाब दिया; दोनों डिसीज़न मॉडल में से हर एक ने एक-एक गलती की, और वो एक ही मामला नहीं था। बदले में, दोनों ने तीन से छह गुना तेज़ जवाब दिया और लागत LLM की तुलना में लगभग एक-चौथाई रही। इस बचत का एक हिस्सा बिलिंग के तरीके से आता है: LLM जो पढ़ता है उसके लिए चार्ज करता है और जो लिखता है उसके लिए और भी ज़्यादा; डिसीज़न मॉडल सिर्फ़ पढ़ने के लिए चार्ज करते हैं।

गलतियों की कहानी और भी दिलचस्प है। दोनों मॉडल ने हर बार 40% से कम आत्मविश्वास के साथ गलत जवाब दिया। यानी मॉडल ने गलती की, लेकिन उसे खुद पता था कि वो अनिश्चित है। और यही वो मामले हैं जो किसी इंसान के पास जाने चाहिए।

जब Jev ने 80% या उससे अधिक आत्मविश्वास जताया, तो उसने सभी वर्गीकरण सही किए। ऐसा 87% अनुरोधों में हुआ।

व्यावहारिक रूप से, लगभग दस में से नौ अनुरोध बिना किसी दखल के आगे बढ़ सकते हैं, और सिस्टम पहले से जानता है कि बाकी कौन से हैं। LLM के साथ हमें बस एक जवाब मिलता था। डिसीज़न मॉडल के साथ हमें जवाब भी मिलता है और यह भी पता चलता है कि उस पर कब भरोसा करना है।

Decisions API ने भी 80% से ऊपर के सभी मामलों में सही जवाब दिए, लेकिन वो इस स्तर तक केवल दो-तिहाई मामलों में पहुंची, यानी उसी मानदंड पर ज़्यादा अनुरोध इंसानी समीक्षा के लिए जाते। दूसरी तरफ, वो पूरी तरह अनुमानित रही: हर अनुरोध की तीनों बार बिल्कुल एक जैसा जवाब और बिल्कुल एक जैसा प्रतिशत। Jev का आत्मविश्वास एक कोशिश से दूसरी में थोड़ा बदलता रहा।

नतीजा 2: यह किस कंडोमिनियम की बात कर रहा है?

यह सवाल ज़्यादा नाज़ुक है। गलत कंडोमिनियम चुनने का मतलब है अनुरोध गलत जगह पहुंचना, जो यह न पहचान पाने से भी बुरा है।

	LLM	Jev	Decisions API (OpenAI)
सही कंडोमिनियम	14 में से 14	14 में से 14	14 में से 14
गलत कंडोमिनियम बताया	कोई नहीं	कोई नहीं	कोई नहीं
सामान्य प्रतिक्रिया समय	1.8 सेकंड	0.5 सेकंड	0.3 सेकंड
सबसे धीमे मामलों में समय	3.1 सेकंड	0.6 सेकंड	0.5 सेकंड
प्रति हज़ार अनुरोध लागत	US$ 0.094	US$ 0.034	US$ 0.056

यहाँ तीनों की सटीकता बराबर रही और किसी ने भी गलत कंडोमिनियम नहीं बताया। Jev की लागत LLM की तुलना में एक-तिहाई से थोड़ी ज़्यादा रही; Decisions API की लगभग 60%।

दोनों फ़ैसलों को मिलाकर देखें तो, एक अनुरोध को वर्गीकृत करने और कंडोमिनियम पहचानने में जो 3.5 सेकंड लगते थे, वो Jev के साथ 1 सेकंड और Decisions API के साथ 0.6 सेकंड हो गए।

एक बोनस: वो ईमेल जो आने ही नहीं चाहिए थे

हमने यही सोच एक तीसरे सवाल पर भी आज़माई: यह ईमेल काम का है, न्यूज़लेटर है, विज्ञापन है या धोखाधड़ी? यहाँ हर तरफ की गलती का वज़न अलग है। किसी काम के ईमेल को हटाना गंभीर है; किसी न्यूज़लेटर को आने देना बस एक छोटी-सी परेशानी।

इस सेट में 111 ईमेल थे, जिनमें से 35 काम के थे, और उनमें से ज़्यादातर जानबूझकर संदिग्ध दिखने के लिए लिखे गए थे। दोनों मॉडल ने सबसे ज़रूरी नियम का पालन किया: काम का एक भी ईमेल नहीं हटाया गया। Decisions API ने ज़्यादा अनचाहे ईमेल रोके, 99% तक; Jev 95% तक पहुंचा और प्रति ईमेल 39% सस्ता रहा। जानबूझकर बनाए गए धोखाधड़ी के ईमेल दोनों के लिए अब भी सबसे मुश्किल मामले हैं, और यही अगली चुनौती है।

Jev या Decisions API?

दोनों ने अलग-अलग मोर्चों पर बेहतर प्रदर्शन किया। Jev सस्ता रहा और ज़्यादा बार उस आत्मविश्वास के स्तर तक पहुंचा जहाँ बिना किसी दखल के काम हो सके। Decisions API सबसे तेज़ रही, हर बार एक जैसा जवाब दिया, और वो अकेली है जो तस्वीरें भी पढ़ सकती है। चूंकि दोनों एक ही तरह के सवालों का जवाब देते हैं, इनके बीच चुनाव एक इंजीनियरिंग निर्णय बन गया है, जो हर मामले के हिसाब से मापा जाता है, न कि कोई अंधा दांव।

और दोनों में से कोई भी LLM की जगह वहाँ नहीं ले सकता जहाँ जवाब लिखना ज़रूरी हो। ये सिर्फ़ वहाँ LLM की जगह लेते हैं जहाँ उसे चुनाव करने के लिए इस्तेमाल किया जा रहा था।

हमने मापा कैसे

सभी आंकड़े 8 अक्टूबर 2026 को एक ही राउंड में लिए गए।
हर सवाल को ऐसे असली या यथार्थवादी मामलों पर परखा गया जिनका सही जवाब हमें पहले से पता था। पहले दो सवालों में हर मामला हर मॉडल पर तीन बार चला, और बहुमत का जवाब माना गया।
तुलना के लिए इस्तेमाल किया गया LLM वही था जो पहले से उपयोग में था, OpenAI का एक सामान्य उद्देश्य वाला मॉडल।
अक्टूबर 2026 की सूचीबद्ध कीमतें, प्रति दस लाख टोकन: LLM पढ़ने के लिए US$ 0.20 और लिखने के लिए US$ 1.20 चार्ज करता है; Jev US$ 0.042 और Decisions API US$ 0.10, सिर्फ़ पढ़ने के लिए।
समय हमारी तरफ से मापा गया और इसमें इंटरनेट का समय भी शामिल है।
डेटासेट छोटे हैं (30, 14 और 111 मामले) और ये किसी आर्किटेक्चर निर्णय को दिशा देने के लिए हैं, मॉडलों की कोई अंतिम रैंकिंग नहीं।

अगर आप यह सोच रहे हैं कि AI आपकी कंपनी की प्रक्रियाओं में कहाँ फिट बैठता है, और कहाँ नहीं, तो हम बात करना चाहेंगे।

Tags: #आर्टिफिशियलइंटेलिजेंस #डिसीज़नमॉडल #LLM #DecisionsAPI #OpenAI #Jev #प्रक्रियास्वचालन #AIलागत #स्वचालितट्रायज़ #AIआर्किटेक्चर #एंटरप्राइज़AI #MLOps #टेक्स्टप्रोसेसिंग #ऑपरेशनलAI #AIऑप्टिमाइज़ेशन