विस्तृत मार्गदर्शिका
RAG और वेक्टर डेटाबेस लागत सिमुलेटर: हर पुनर्प्राप्त उत्तर की असली कीमत क्या है
उद्योग का कार्यकारी विश्लेषण
पुनर्प्राप्ति-संवर्धित जनरेशन चैट फीचर में एक छोटे जोड़ जैसा दिखता है: अपने दस्तावेजों को वेक्टर के रूप में रखिए, हर प्रश्न के लिए सबसे अच्छे अंश निकालिए और भाषा मॉडल से उत्तर लिखवाइए। पहले प्रोटोटाइप की लागत लगभग कुछ नहीं होती। समस्या अधिक मात्रा पर दिखती है, क्योंकि हर उत्तर भुगतान वाले चरणों की वही कड़ी दोहराता है, और उनमें सबसे बड़ा, यानी प्रॉम्प्ट के टोकन, स्थिर नहीं है। वह इस पर निर्भर करता है कि आप कितना टेक्स्ट चिपकाते हैं। परीक्षण में एक पैसे के अंश में पड़ने वाला फीचर उत्पादन में प्रति उत्तर कई पैसे का हो सकता है।
समस्या की संरचना प्रति माह लागत के ऊपर रखी प्रति उत्तर लागत है। प्रति उत्तर आप इनपुट टोकन, आउटपुट टोकन, संभावित रीरैंकिंग कॉल और डेटाबेस रीड का भुगतान करते हैं। प्रति माह आप वेक्टरों को मेमोरी में रखने, बदलने वाले दस्तावेजों को दोबारा एम्बेड करने और मूल्यांकन व ट्रेसिंग चलाने का भुगतान करते हैं। राजस्व उत्तरों से जुड़ा है, इसलिए उत्पाद का मार्जिन मासिक परत को मात्रा पर बांटने के बाद प्रति उत्तर आय और प्रति उत्तर परिवर्ती लागत का अंतर है।
डोमिनो मॉडल इसे पांच चरणों में अपनाता है। संदर्भ का आकार और प्रॉम्प्ट प्रति उत्तर टोकन तय करते हैं। मॉडल के मूल्य के साथ मिलकर वे प्रति हजार उत्तर लागत तय करते हैं। प्रति उत्तर राजस्व से तुलना करने पर यह लागत का हिस्सा बन जाता है। ऑब्जर्वेबिलिटी के बाद जो बचता है वह योगदान मार्जिन है, और टीम की स्थिर लागतें मासिक लाभ तय करती हैं। लंबा संदर्भ, महंगा मॉडल या रीरैंकिंग का बड़ा हिस्सा, हर एक दूसरे खाने को ऊपर चढ़ाता है, और उपयोग बढ़ने पर नुकसान पतला होने के बजाय कई गुना हो जाता है।
आइसबर्ग उस बिल को जो आपको दिखता है, उन बिलों से अलग करता है जो नहीं दिखते। जलरेखा के ऊपर मॉडल इनपुट टोकन और वेक्टर डेटाबेस हैं। उसके नीचे हैं आउटपुट टोकन, जिनका मूल्य इनपुट का कई गुना है; हर खोज पर रीरैंकिंग कॉल; दस्तावेज बदलने पर उन्हें दोबारा एम्बेड करने की लागत; और मूल्यांकन, ट्रेसिंग व लॉगिंग जिनकी उत्पादन प्रणालियों को जरूरत होती है। शुरुआती अनुमान में इनमें से हर एक को छोड़ देना आसान है। सिमुलेटर से वह संदर्भ आकार या मॉडल मूल्य खोजिए जहां आपका महीना शून्य पर पहुंचता है और तय कीजिए कि सबसे पहले क्या छांटना है।
सूत्र और कार्यप्रणाली का खाका
मॉडल प्रति माह के हिसाब से चलता है। राजस्व है उत्तर गुणा प्रति उत्तर राजस्व। हर उत्तर मॉडल को पुनर्प्राप्त संदर्भ और एक निश्चित प्रॉम्प्ट भेजता है और इनपुट दर से चार गुना कीमत वाला निश्चित लंबाई का उत्तर पाता है। वेक्टर डेटाबेस का बिल मेमोरी पर बनता है: चंक गुणा एम्बेडिंग आयाम गुणा चार बाइट, इंडेक्स ओवरहेड सहित, प्रति गीगाबाइट मूल्य पर, और साथ में प्रति मिलियन क्वेरी रीड शुल्क। रीरैंकिंग की कीमत प्रति खोज लगती है और चुने हुए हिस्से की क्वेरी पर लागू होती है। बदले हुए दस्तावेज हर महीने दोबारा एम्बेड होते हैं।
- मॉडल इनपुट
- I = उत्तर × (संदर्भ + प्रॉम्प्ट टोकन) ÷ 1e6 × मूल्य
- अधिकतर उत्पादों के लिए सबसे बड़ी मद; यह संदर्भ के आकार और उत्तरों की मात्रा के साथ बढ़ती है।
- मॉडल आउटपुट
- O = उत्तर × 350 टोकन ÷ 1e6 × मूल्य × 4
- आउटपुट टोकन की कीमत इनपुट टोकन की कई गुना होती है, इसलिए लंबे उत्तर तेजी से जुड़ते हैं।
- वेक्टर स्टोरेज
- V = चंक × 1,536 × 4 बाइट × 1.5 × $5 प्रति GB + रीड
- इंडेक्स ओवरहेड सहित मेमोरी में रखे वेक्टर, और प्रति क्वेरी रीड शुल्क।
- रीरैंक और दोबारा एम्बेड
- R = उत्तर × रीरैंक हिस्सा × $0.002 + चंक × 8% × 400 टोकन × एम्बेड मूल्य
- हर रीरैंक की गई खोज पर एक कॉल और बदले हुए दस्तावेजों का मासिक ताज़ा किया जाना।
- शुद्ध लाभ
- शुद्ध = राजस्व − I − O − V − R − ऑब्जर्वेबिलिटी − स्थिर
- मासिक परिणाम। टूटने का बिंदु वह है जहां यह शून्य पर पहुंचता है।
क्रमिक संवेदनशीलता
संदर्भ टोकन और मॉडल मूल्य सबसे संवेदनशील इनपुट हैं, क्योंकि वे एक-दूसरे को और फिर उत्तरों की मात्रा को गुणा करते हैं। आय की ओर प्रति उत्तर राजस्व उतना ही प्रभावी है। रीरैंकिंग का हिस्सा और इंडेक्स का आकार नरम हैं पर स्थायी। उत्तरों की मात्रा दोनों तरफ काटती है: अधिक उत्तर अधिक कमाते हैं, लेकिन केवल तब तक जब तक प्रति उत्तर आय उसे बनाने की परिवर्ती लागत से ऊपर रहे।
वास्तविक दुनिया के तीन केस अध्ययन
स्वयं-वित्तपोषित शुरुआती व्यवसाय
सुव्यवस्थित इंडेक्स वाला एक छोटा सहायता बॉट
एक उत्पाद टीम सहायता लेखों के कुछ लाख चंक इंडेक्स करती है और मामूली मॉडल, छोटे संदर्भ तथा कम रीरैंकिंग के साथ महीने में साठ हजार उत्तर देती है। हर उत्तर अच्छी कमाई करता है। इसे लोड कीजिए और देखिए कि जब प्रॉम्प्ट कसा हुआ और ज्ञान आधार छोटा हो तो पुनर्प्राप्ति कितनी किफायती होती है।
विस्तार करता मध्यम बाज़ार
कुशल प्रॉम्प्ट वाला अधिक मात्रा का सहायक
एक प्लेटफॉर्म साठ मिलियन चंकों पर महीने में पच्चीस लाख उत्तर देता है, पर संदर्भ छोटा रखता है और कम लागत वाला मॉडल इस्तेमाल करता है। प्रति उत्तर राजस्व पतला है पर मात्रा बड़ी है। इसे लोड कीजिए और देखिए कि प्रॉम्प्ट का अनुशासन पैमाने को लाभ में कैसे बदलता है और महंगे मॉडल के प्रति वह कितना संवेदनशील है।
ब्लैक स्वान संकट
प्रीमियम मॉडल पर विशाल संदर्भ
एक टीम हर प्रॉम्प्ट में पंद्रह हजार टोकन के दस्तावेज चिपकाती है, प्रीमियम मॉडल इस्तेमाल करती है और सौ मिलियन चंकों पर हर खोज को रीरैंक करती है। हर उत्तर केवल दो सेंट कमाता है। इसे लोड कीजिए और देखिए कि अकेले मॉडल टोकन राजस्व से ज्यादा हो जाते हैं और महीना गहरे घाटे में चला जाता है।
उद्योग बेंचमार्क तालिका
| मापदंड | खतरे का क्षेत्र | उद्योग औसत | शीर्ष 10% श्रेष्ठ |
|---|---|---|---|
| राजस्व के हिस्से के रूप में मॉडल और पुनर्प्राप्ति लागत | 60% से अधिक | 20–40% | 15% से कम |
| प्रति उत्तर संदर्भ टोकन | 9,000 से अधिक | 2,000–5,000 | 1,500 से कम |
| रीरैंक की गई खोजों का हिस्सा | हर खोज पर 100% | 30–60% | चयनात्मक, 30% से कम |
| इंडेक्स का मासिक दोबारा एम्बेड होने वाला हिस्सा | 25% से अधिक | 5–10% | 3% से कम |
| प्रति उत्तर योगदान मार्जिन | 25% से कम | 45–60% | 70% से अधिक |
चर और नियंत्रक कारक
प्रति माह उत्तर
आपका उत्पाद महीने में जितने प्रश्नों का उत्तर देता है, हर एक में एक पुनर्प्राप्ति और एक मॉडल कॉल।
नियंत्रक कारक: उपयोग तभी बढ़ाइए जब प्रति उत्तर लागत प्रति उत्तर राजस्व से कम हो, और उन मुफ्त उपयोगकर्ताओं पर दर-सीमा लगाइए जो लागत जोड़ते हैं पर आय नहीं।
प्रति उत्तर राजस्व
एक उत्तर के हिस्से में आने वाली औसत आय, सदस्यता या उपयोग शुल्क को दिए गए उत्तरों से भाग देकर।
नियंत्रक कारक: उपयोग के आधार पर मूल्य तय कीजिए या भारी उपयोगकर्ताओं के लिए ऊंचा स्तर जोड़िए, ताकि प्रति उत्तर आय मॉडल के बिल के साथ चले।
इंडेक्स किए गए चंक
वेक्टर डेटाबेस में संग्रहीत टेक्स्ट चंकों की संख्या, मिलियन में।
नियंत्रक कारक: इंडेक्स से दोहराव हटाइए और उसे छांटिए, और कम इस्तेमाल होने वाली सामग्री को सस्ते स्टोरेज में रखिए, क्योंकि मेमोरी में रखे वेक्टरों का बिल हर महीने बनता है।
प्रति उत्तर संदर्भ टोकन
हर उत्तर के लिए प्रॉम्प्ट में चिपकाए गए पुनर्प्राप्त अंश। मॉडल लागत का यही सबसे बड़ा कारक है।
नियंत्रक कारक: कम लेकिन बेहतर अंश पुनर्प्राप्त कीजिए और प्रॉम्प्ट से पहले उन्हें छांट लीजिए, क्योंकि इनपुट टोकन का भुगतान हर एक उत्तर पर होता है।
प्रति मिलियन इनपुट टोकन मॉडल मूल्य
भाषा मॉडल प्रति मिलियन इनपुट टोकन जितना शुल्क लेता है। आउटपुट टोकन का मूल्य इसके कई गुना होता है।
नियंत्रक कारक: सरल प्रश्नों को छोटे मॉडल की ओर भेजिए और दोहराए गए उत्तर कैश कीजिए, क्योंकि प्रति टोकन मूल्य सबसे बड़ी मद को गुणा करता है।
रीरैंकिंग का उपयोग करने वाले उत्तर
खोजों का वह हिस्सा जो पुनर्प्राप्त अंशों का क्रम सुधारने के लिए रीरैंकिंग मॉडल से गुजरता है।
नियंत्रक कारक: केवल अस्पष्ट खोजों को रीरैंक कीजिए, और सटीकता में मिले लाभ का इस्तेमाल मॉडल को भेजे जाने वाले संदर्भ को छोटा करने में कीजिए।
इस सिमुलेटर का उपयोग कैसे करें
- 1अपने बिलिंग डेटा से मासिक उत्तर और प्रति उत्तर औसत आय दर्ज कीजिए।
- 2पुनर्प्राप्त संदर्भ के औसत टोकन और मॉडल का प्रति मिलियन इनपुट टोकन मूल्य जोड़िए।
- 3इंडेक्स किए गए चंकों की संख्या और रीरैंकिंग का उपयोग करने वाली खोजों का हिस्सा भरिए।
- 4“मेरा टूटने का बिंदु खोजें” दबाकर देखिए कि कौन-सा इनपुट लाभ को सबसे पहले शून्य पर पहुंचाता है।
- 524 महीनों में वर्तमान डिजाइन की तुलना कसी हुई पुनर्प्राप्ति से कीजिए, उसकी सेटअप लागत सहित।
इन गलतियों से बचें
- प्रोटोटाइप से लागत का अनुमान लगाना। परीक्षण ट्रैफिक में छोटे प्रॉम्प्ट और कम उपयोगकर्ता होते हैं; उत्पादन में लंबे संदर्भ, पुनः प्रयास और दोहराए गए प्रश्न जुड़ जाते हैं।
- आउटपुट टोकन को भूल जाना। उत्तरों का प्रति टोकन मूल्य प्रॉम्प्ट से ऊंचा होता है, और लंबे, बातूनी जवाब चुपचाप बिल बढ़ाते हैं।
- इंडेक्स को मुफ्त मान लेना। मेमोरी में रखे वेक्टरों का शुल्क हर महीने लगता है, चाहे कोई क्वेरी करे या नहीं।
- और भी बड़े संदर्भ से गुणवत्ता का पीछा करना। एक बिंदु के बाद अधिक अंश सटीकता से तेज लागत बढ़ाते हैं, और बेहतर पुनर्प्राप्ति सस्ती पड़ती है।
अक्सर पूछे जाने वाले प्रश्न
RAG उत्तर की लागत को सबसे ज्यादा क्या बढ़ाता है?
आमतौर पर भाषा मॉडल को भेजे गए टोकन। प्रॉम्प्ट में चिपकाए गए हर पुनर्प्राप्त अंश का भुगतान हर उत्तर पर होता है, इसलिए संदर्भ का आकार जांचने का पहला उपाय है।
क्या वेक्टर डेटाबेस महंगा है?
अक्सर वह छोटा हिस्सा होता है। दसियों मिलियन चंकों पर या जब सब कुछ मेमोरी में रखा जाए, तब वह महत्वपूर्ण बन जाता है। छंटाई और स्तरीकरण मदद करते हैं।
क्या रीरैंकिंग अपनी लागत खुद निकाल लेती है?
निकाल सकती है, जब बेहतर क्रम के कारण आप मॉडल को कम अंश भेज पाएं। जांचिए कि बचाए गए इनपुट टोकन अतिरिक्त कॉल से ज्यादा हैं या नहीं।
मॉडल में आउटपुट टोकन क्यों शामिल हैं?
उनका मूल्य इनपुट टोकन का कई गुना होता है। उसी संदर्भ आकार पर लंबा उत्तर संक्षिप्त उत्तर से ज्यादा महंगा पड़ता है।
मैं टूटने का बिंदु कैसे खोजूं?
“मेरा टूटने का बिंदु खोजें” दबाइए। टूल हर इनपुट को उसके बुरे छोर की ओर ले जाता है और वह मान बताता है जहां मासिक लाभ शून्य हो जाता है।
यह कितना सटीक है?
यह घोषित मान्यताओं वाला एक शैक्षिक मॉडल है, वित्तीय सलाह नहीं। अपने टोकन लॉग और इनवॉइस का उपयोग कीजिए और विक्रेता का वर्तमान मूल्य जांच लीजिए।
यह घोषित मान्यताओं पर आधारित एक शैक्षिक योजना मॉडल है। यह वित्तीय, कर संबंधी या कानूनी सलाह नहीं है। इनपुट की जगह अपने आँकड़े डालें और महत्वपूर्ण निर्णयों की पुष्टि किसी योग्य पेशेवर से कराएँ।