विस्तृत मार्गदर्शिका
AI रैपर और LLM टोकन मार्जिन स्ट्रेस टेस्ट
उद्योग का कार्यकारी विश्लेषण
सॉफ़्टवेयर की सीमांत लागत पहले लगभग शून्य हुआ करती थी। कोड लिख लेने के बाद एक और ग्राहक को सेवा देने में होस्टिंग के कुछ पैसे लगते थे, इसीलिए सब्सक्रिप्शन में अस्सी-नब्बे प्रतिशत मार्जिन सामान्य हो गया और निवेशकों ने सॉफ़्टवेयर में माल की लागत को नज़रअंदाज़ करना सीख लिया। AI उत्पादों ने यह नियम तोड़ दिया। उपयोगकर्ता का हर अनुरोध अब मॉडल प्रदाता का बिल खड़ा करता है, और बिल इस पर निर्भर करता है कि उपयोगकर्ता कितना करता है, इस पर नहीं कि वह कितना चुकाता है। चौबीस डॉलर के फ़्लैट प्लान वाला ग्राहक एक महीने पाँच डॉलर और अगले महीने पचास डॉलर का पड़ सकता है, अगर उसे ऐसा वर्कफ़्लो मिल जाए जो पूरे दिन मॉडल को लूप में चलाता रहे।
यह AI रैपर की केंद्रीय समस्या है, यानी ऐसा उत्पाद जो किसी और के मॉडल के ऊपर इंटरफ़ेस और वर्कफ़्लो जोड़ता है। आपकी कीमत तय है, आपकी लागत परिवर्तनशील है और आपका आपूर्तिकर्ता कभी भी अपनी कीमतें या मॉडल बदल सकता है। डेमो में जो मार्जिन स्वस्थ दिखता था, जहाँ एक संस्थापक ने मुट्ठी भर अनुरोध परखे थे, वह तब गायब हो सकता है जब असली उपयोगकर्ता लंबे दस्तावेज़, बड़े संदर्भ और ऐसे एजेंट लेकर आते हैं जो एक काम निपटाने के लिए मॉडल को बीस बार बुलाते हैं। स्ट्रेस टेस्ट इसी लिए है कि आपका बिल आने से पहले आपको दिख जाए कि वह मार्जिन कितना पतला है।
डोमिनो मॉडल पैसे के पीछे पाँच चरणों में चलता है। पहला, आपके टोकन खर्च का कितना हिस्सा उन उपयोगकर्ताओं पर जाता है जो कुछ नहीं चुकाते, क्योंकि फ़्री टियर टोकनों में चुकाया जाने वाला मार्केटिंग बजट है। दूसरा, राजस्व का कितना हिस्सा मॉडल बिल खा जाता है। तीसरा, मॉडलों और शुल्कों के बाद बचा सकल मार्जिन। चौथा, क्या राजस्व हर लागत को गुंजाइश के साथ ढकता है। पाँचवाँ, लाभ। किसी एक उत्तोलक में बदलाव, जैसे ज़्यादा बार रीट्राई करने वाले एजेंट या लंबा प्रॉम्प्ट, पहले दो बॉक्स को हिलाता है और बाकी उसके पीछे आते हैं, इसलिए खातों में दिखने से एक महीना पहले ही आपको मार्जिन की समस्या आती दिख जाती है।
आइसबर्ग दिखाता है कि साधारण मॉडल बिल क्या छिपाता है। जलरेखा के ऊपर भुगतान करने वाले उपयोगकर्ताओं का मॉडल बिल और स्थायी इन्फ़्रास्ट्रक्चर हैं। उसके नीचे फ़्री उपयोगकर्ताओं का मॉडल बिल, रीट्राई और एजेंट लूप में जले टोकन, हर गंभीर उत्पाद द्वारा जोड़े जाने वाले मॉडरेशन, लॉगिंग और मूल्यांकन, और भुगतान शुल्क हैं। कई AI उत्पादों में फ़्री टियर और रीट्राई मिलकर भुगतान करने वाले उपयोगकर्ताओं के अपने उपयोग से ज़्यादा लागत करते हैं। सिमुलेटर से वह कीमत, टोकन संख्या या फ़्री उपयोगकर्ताओं की संख्या खोजें जिस पर आपका मार्जिन ढह जाता है, फिर तय करें कि सीमा लगानी है, कैश करना है, रूट करना है या कीमत बदलनी है।
सूत्र और कार्यप्रणाली का खाका
मॉडल मासिक आधार पर चलता है। प्रति उपयोगकर्ता टोकन अनुरोधों गुणा प्रति अनुरोध टोकन हैं, जिन्हें रीट्राई हिस्से से बढ़ाया जाता है। फ़्री उपयोगकर्ता भुगतान करने वाले उपयोगकर्ता के एक चौथाई अनुरोध करते हैं। प्रभावी टोकन कीमत मिश्रित कीमत है जिसे कैश किए टोकनों की छूट से घटाया गया है। मॉडल बिल दस लाख में टोकन गुणा वह प्रभावी कीमत है, जिसके ऊपर मूल्यांकन का ओवरहेड जुड़ता है। शुद्ध लाभ सब्सक्रिप्शन राजस्व घटा शुल्क, मॉडल बिल, ओवरहेड और स्थायी इन्फ़्रास्ट्रक्चर है।
- प्रति भुगतान करने वाले उपयोगकर्ता टोकन
- T = अनुरोध × प्रति अनुरोध टोकन × (1 + रीट्राई)
- एक भुगतान करने वाला उपयोगकर्ता रीट्राई और एजेंट लूप समेत महीने में जितना टोकन बोझ बनाता है।
- प्रभावी टोकन कीमत
- P = मिश्रित कीमत × (1 − कैश हिट × 0.9)
- कैश किए टोकन लगभग दसवें हिस्से में पड़ते हैं, इसलिए हिट दर वह कीमत घटाती है जो आप वास्तव में चुकाते हैं।
- मॉडल बिल
- AI = (भुगतान करने वाले × T + फ़्री × T × 0.25) × P × 1.08
- भुगतान करने वाले और फ़्री उपयोग को प्रभावी दर पर आँका गया है, ऊपर से मूल्यांकन और लॉगिंग के लिए आठ प्रतिशत।
- शुद्ध लाभ
- शुद्ध = भुगतान करने वाले × कीमत − शुल्क − AI − इन्फ़्रास्ट्रक्चर
- मासिक परिणाम। टूटने का बिंदु वह है जहाँ यह शून्य पर पहुँचता है।
- फ़्री टियर की लागत
- F = फ़्री × T × 0.25 × P
- फ़्री उपयोगकर्ता बिना कुछ चुकाए हर महीने मॉडल बिलों में कितना खर्च कराते हैं।
- सकल मार्जिन
- GM = (राजस्व − शुल्क − AI) ÷ राजस्व
- स्थायी इन्फ़्रास्ट्रक्चर से पहले, शुल्क और मॉडल बिल के बाद राजस्व का बचा हिस्सा।
क्रमिक संवेदनशीलता
प्रति अनुरोध टोकन और टोकन कीमत सीधे मॉडल बिल में गुणा होते हैं, इसलिए ये सबसे संवेदनशील उत्तोलक हैं: इनमें से किसी को आधा करने से बिल आधा हो जाता है। फ़्री उपयोगकर्ता अगला सबसे बड़ा कारक हैं, क्योंकि वे बिना राजस्व के लागत जोड़ते हैं। प्रति उपयोगकर्ता कीमत रैखिक है पर शक्तिशाली, क्योंकि वह हर भुगतान करने वाले उपयोगकर्ता को एक साथ ऊपर उठाती है। स्थायी इन्फ़्रास्ट्रक्चर एक दहलीज़ की तरह काम करता है जिसे लाभ दिखने से पहले मार्जिन को पार करना होता है।
वास्तविक दुनिया के तीन केस अध्ययन
स्वयं-वित्तपोषित शुरुआती व्यवसाय
अकेले संस्थापक के पहले भुगतान करने वाले उपयोगकर्ता
एक अकेला संस्थापक नब्बे भुगतान करने वाले और छह सौ फ़्री उपयोगकर्ताओं के साथ लेखन सहायक लॉन्च करता है, जिसमें सस्ता मॉडल और छोटे प्रॉम्प्ट हैं। संख्याएँ छोटी हैं, होस्टिंग लगभग मुफ़्त है और लाभ पतला पर सकारात्मक है। इसे लोड करके देखें कि कुछ पावर उपयोगकर्ताओं के आ जाने पर नए उत्पाद के पास कितनी कम गुंजाइश होती है।
विस्तार करता मध्यम बाज़ार
स्मार्ट रूटिंग वाला बड़े पैमाने का उत्पाद
नौ हज़ार भुगतान करने वाले उपयोगकर्ताओं वाला उत्पाद अधिकांश ट्रैफ़िक सस्ते मॉडल पर भेजता है, अपने लगभग आधे इनपुट को कैश करता है और रीट्राई कम रखता है। मॉडल बिल निरपेक्ष रूप से बड़ा है पर राजस्व का छोटा हिस्सा। इसे लोड करके देखें कि इंजीनियरिंग अनुशासन बड़े पैमाने पर मार्जिन की रक्षा कैसे करता है।
ब्लैक स्वान संकट
फ़्लैट कीमत पर वायरल एजेंट
एक उत्पाद ऐसा एजेंट जोड़ता है जो हर काम पर मॉडल को लूप में चलाता है, और उसका फ़्री टियर वायरल हो जाता है। प्रति अनुरोध टोकन तीन गुना हो जाते हैं, रीट्राई फट पड़ते हैं और कीमत बारह डॉलर पर टिकी रहती है। राजस्व बढ़ता है जबकि हर नया उपयोगकर्ता घाटे को गहरा करता है। इसे लोड करके देखें कि कौन-सा उत्तोलक महीने को वापस पटरी पर लाता है।
उद्योग बेंचमार्क तालिका
| मापदंड | खतरे का क्षेत्र | उद्योग औसत | शीर्ष 10% श्रेष्ठ |
|---|---|---|---|
| राजस्व के हिस्से के रूप में AI बिल | 35% से अधिक | 15–25% | 10% से कम |
| मॉडलों और शुल्कों के बाद सकल मार्जिन | 50% से कम | 65–75% | 80% से अधिक |
| फ़्री उपयोगकर्ताओं पर खर्च हुए टोकनों का हिस्सा | 50% से अधिक | 20–35% | 15% से कम |
| प्रॉम्प्ट कैश हिट दर | 10% से कम | 25–40% | 60% से अधिक |
| रीट्राई और एजेंट-लूप ओवरहेड | 40% से अधिक | 10–20% | 8% से कम |
चर और नियंत्रक कारक
भुगतान करने वाले उपयोगकर्ता
इस महीने सशुल्क प्लान पर मौजूद ग्राहक।
नियंत्रक कारक: भुगतान करने वाले उपयोगकर्ता तभी बढ़ाएँ जब हर एक मॉडल की लागत से ज़्यादा कमाता हो, वरना वृद्धि घाटे को और बड़ा कर देती है।
प्रति उपयोगकर्ता मासिक कीमत
छूट के बाद, भुगतान करने वाले उपयोगकर्ता से हर महीने जो वसूला जाता है।
नियंत्रक कारक: उपयोग-आधारित या स्तरीय कीमत अपनाएँ, ताकि भारी उपयोगकर्ता अपने खर्च किए टोकनों के अनुपात में भुगतान करें।
फ़्री टियर के उपयोगकर्ता
वे सक्रिय उपयोगकर्ता जो बिना भुगतान किए उत्पाद इस्तेमाल करते हैं।
नियंत्रक कारक: फ़्री टियर को अनुरोधों की सीमा से बाँधें, उसे सस्ते मॉडल पर भेजें या समय-सीमित करें, क्योंकि फ़्री उपयोगकर्ता सबसे बड़ी छिपी लागत हैं।
प्रति उपयोगकर्ता मासिक अनुरोध
एक सक्रिय भुगतान करने वाला उपयोगकर्ता महीने में कितने मॉडल कॉल करता है।
नियंत्रक कारक: हर प्लान पर उचित-उपयोग की सीमाएँ तय करें और उपयोगकर्ताओं को उनका उपयोग दिखाएँ, क्योंकि भारी उपयोगकर्ताओं का एक छोटा हिस्सा आमतौर पर अधिकांश बिल बनाता है।
प्रति अनुरोध टोकन
एक कॉल के इनपुट और आउटपुट टोकन का योग, सिस्टम प्रॉम्प्ट और प्राप्त संदर्भ समेत।
नियंत्रक कारक: प्रॉम्प्ट छोटे करें, इतिहास का सार बनाएँ और कम संदर्भ प्राप्त करें, क्योंकि प्रति अनुरोध टोकन बाकी सब चीज़ों को गुणा कर देते हैं।
प्रति दस लाख टोकन मिश्रित कीमत
आपके इस्तेमाल किए मॉडलों में प्रति दस लाख टोकन आप जो औसत कीमत चुकाते हैं।
नियंत्रक कारक: आसान अनुरोधों को छोटे मॉडलों पर भेजें और प्रीमियम मॉडल कठिन मामलों के लिए रखें।
कैश हिट दर
इनपुट टोकन का वह हिस्सा जो कैश या प्रॉम्प्ट कैश से भारी छूट पर परोसा जाता है।
नियंत्रक कारक: प्रॉम्प्ट इस तरह बनाएँ कि लंबा स्थिर हिस्सा पहले आए और कैश हो सके, फिर हर हफ़्ते हिट दर मापें।
रीट्राई और एजेंट लूप
विफल कॉल, रीट्राई, रिफ़्लेक्शन और टूल लूप पर खर्च हुए अतिरिक्त टोकन।
नियंत्रक कारक: रीट्राई शुरू करने वाली विफलताएँ ठीक करें और एजेंट लूप सीमित करें, क्योंकि हर रीट्राई एक ही उत्तर का दूसरा बिल है।
स्थायी इन्फ़्रास्ट्रक्चर और टूल
होस्टिंग, वेक्टर डेटाबेस, मॉनिटरिंग और मॉडल के आसपास के टूल।
नियंत्रक कारक: इन्फ़्रास्ट्रक्चर को मौजूदा उपयोगकर्ताओं के अनुरूप रखें, क्योंकि स्थायी लागत तय करती है कि आप एक खराब महीने में कितने समय टिक सकते हैं।
भुगतान शुल्क
सब्सक्रिप्शन राजस्व में से आपका भुगतान प्रदाता जो प्रतिशत रख लेता है।
नियंत्रक कारक: वार्षिक प्लान बैंक ट्रांसफ़र पर ले जाएँ, या राजस्व पर्याप्त बड़ा होने पर प्रोसेसर शुल्क पर मोलभाव करें।
इस सिमुलेटर का उपयोग कैसे करें
- 1यथार्थवादी प्रीसेट से शुरू करें या अपने उपयोगकर्ता, कीमत, टोकन और कैशिंग दर दर्ज करें।
- 2पाँचों डोमिनो बॉक्स पढ़ें और देखें कि फ़्री उपयोगकर्ता, मॉडल बिल या मार्जिन पहले लाल होता है।
- 3“मेरा टूटने का बिंदु खोजें” दबाएँ और जानें कि कौन-सी कीमत, टोकन संख्या या उपयोगकर्ता मिश्रण लाभ को शून्य पर धकेलता है।
- 4समानांतर ब्रह्मांड टैब में मौजूदा योजना की तुलना 24 महीनों में रूटिंग और सीमा योजना से करें।
- 5शेयर लिंक कॉपी करें ताकि आपकी टीम या निवेशक वही परिदृश्य खोल सकें।
इन गलतियों से बचें
- मुट्ठी भर डेमो अनुरोधों से मार्जिन परखना। असली उपयोगकर्ता लंबे इनपुट भेजते हैं और ज़्यादा कॉल शुरू करते हैं, इसलिए प्रोडक्शन डेटा से औसत और सबसे भारी दस प्रतिशत उपयोगकर्ताओं को मापें।
- फ़्लैट कीमत पर असीमित प्लान देना। जो उपयोगकर्ता असीमित को सबसे ज़्यादा महत्व देते हैं वे आमतौर पर सबसे ज़्यादा लागत कराते हैं, जिससे आपके सबसे अच्छे ग्राहक आपका सबसे बड़ा घाटा बन जाते हैं।
- यूनिट इकोनॉमिक्स में फ़्री टियर को अनदेखा करना। फ़्री उपयोगकर्ता हर महीने टोकन खर्च कराते हैं और शायद ही कभी राजस्व के बगल में दिखते हैं, इसलिए यही वह लागत है जिसे सबसे अक्सर भुला दिया जाता है।
- यह मान लेना कि आपके प्रदाता की कीमत स्थिर रहेगी। कीमतें और मॉडल का व्यवहार बदलते रहते हैं, इसलिए मार्जिन का बफ़र रखें और दूसरे मॉडल पर जाने या रूट करने की क्षमता बनाए रखें।
अक्सर पूछे जाने वाले प्रश्न
सामान्य सॉफ़्टवेयर की तुलना में AI उत्पाद में मार्जिन बनाना कठिन क्यों है?
हर अनुरोध एक ऐसे मॉडल को कॉल करता है जिसका भुगतान आप करते हैं, इसलिए लागत उपयोग के साथ बढ़ती है जबकि आपकी कीमत स्थिर रहती है। सामान्य सॉफ़्टवेयर में एक और अनुरोध की लागत लगभग शून्य होती है।
टोकन क्या है?
टोकन पाठ का एक टुकड़ा है, अंग्रेज़ी में लगभग एक शब्द का तीन चौथाई। प्रदाता इनपुट और आउटपुट टोकन का बिल अलग-अलग बनाते हैं, और यह मॉडल सरलता के लिए प्रति दस लाख टोकन एक मिश्रित कीमत इस्तेमाल करता है।
कैशिंग मेरी लागत कैसे घटाती है?
प्रदाता उन टोकनों के लिए बहुत कम शुल्क लेते हैं जिन्हें वे किसी हालिया अनुरोध में पहले ही प्रोसेस कर चुके हैं। लंबे, दोहराए जाने वाले निर्देशों को पहले रखने से वे कैश हो सकते हैं, जिससे प्रभावी कीमत घटती है।
AI उत्पाद की कीमत कैसे तय करूँ?
उपयोग की एक सीमा शामिल करें और भारी उपयोग पर शुल्क लें, या मात्रा के अनुसार प्लान के स्तर बनाएँ। फ़्लैट असीमित प्लान उन्हीं उपयोगकर्ताओं को साइन-अप के लिए बुलाता है जो सबसे ज़्यादा लागत कराते हैं।
क्या मुझे फ़्री टियर हटा देना चाहिए?
ज़रूरी नहीं। उसे अनुरोधों से सीमित करें, उसके लिए सस्ता मॉडल इस्तेमाल करें और मापें कि कितने फ़्री उपयोगकर्ता भुगतान करने वाले बनते हैं। फ़्री टियर एक मार्केटिंग लागत है और उसका बजट उसी तरह बनना चाहिए।
यह कितना सटीक है?
यह बताई गई मान्यताओं वाला एक शैक्षिक योजना मॉडल है, वित्तीय सलाह नहीं। इनपुट की जगह अपना उपयोग डेटा और अपने प्रदाता की मौजूदा कीमतें डालें।
यह घोषित मान्यताओं पर आधारित एक शैक्षिक योजना मॉडल है। यह वित्तीय, कर संबंधी या कानूनी सलाह नहीं है। इनपुट की जगह अपने आँकड़े डालें और महत्वपूर्ण निर्णयों की पुष्टि किसी योग्य पेशेवर से कराएँ।