Verdiepende handleiding
Kostensimulator voor RAG en vectordatabases: wat elk opgehaald antwoord werkelijk kost
Brancheanalyse voor het management
Retrieval-augmented generation lijkt een kleine toevoeging aan een chatfunctie: sla uw documenten op als vectoren, haal de beste passages op voor elke vraag en laat een taalmodel het antwoord schrijven. Het eerste prototype kost bijna niets. Het probleem verschijnt bij volume, omdat elk antwoord dezelfde keten van betaalde stappen herhaalt, en de grootste daarvan, de tokens in de prompt, is niet vast. Ze hangt af van hoeveel tekst u erin plakt. Een functie die tijdens het testen een fractie van een cent kost, kan in productie meerdere centen per antwoord kosten.
De kern van het probleem is een kostenlaag per antwoord, gestapeld op een kostenlaag per maand. Per antwoord betaalt u voor invoertokens, uitvoertokens, een eventuele rerankingaanroep en een leesactie in de database. Per maand betaalt u om de vectoren in het geheugen te houden, om documenten die veranderen opnieuw te embedden en om evaluatie en tracing uit te voeren. De omzet hangt aan antwoorden, dus de marge van het product is het verschil tussen de inkomsten per antwoord en de variabele kosten per antwoord, nadat de maandlaag over het volume is gespreid.
Het domino-effectmodel volgt dit in vijf stappen. De contextgrootte en de prompt bepalen de tokens per antwoord. Samen met de modelprijs bepalen ze de kosten per duizend antwoorden. Afgezet tegen de omzet per antwoord wordt dat het kostenaandeel. Na observability blijft de bijdragemarge over, en de vaste teamkosten bepalen de maandwinst. Een langere context, een duurder model of een groter aandeel reranking verhogen elk het tweede vak, en groei in gebruik vermenigvuldigt de schade dan in plaats van haar te verdunnen.
De ijsberg scheidt de rekening die u opmerkt van de rekeningen die u niet opmerkt. Boven de waterlijn staan de invoertokens van het model en de vectordatabase. Eronder liggen de uitvoertokens, die op een veelvoud van invoer worden geprijsd, rerankingaanroepen bij elke zoekactie, de kosten van het opnieuw embedden van documenten wanneer ze veranderen, en de evaluatie, tracing en logging die productiesystemen nodig hebben. Elk daarvan laat u gemakkelijk weg uit een eerste raming. Gebruik de simulator om de contextgrootte of modelprijs te vinden waarbij uw maand op nul uitkomt en beslis wat u het eerst inkort.
Blauwdruk van formules en methodiek
Het model rekent per maand. De omzet is antwoorden maal de omzet per antwoord. Elk antwoord stuurt de opgehaalde context plus een vaste prompt naar het model en ontvangt een antwoord van vaste lengte, geprijsd op vier keer het invoertarief. De vectordatabase wordt gefactureerd voor geheugen: chunks maal embeddingdimensies maal vier bytes, met index-overhead, geprijsd per gigabyte, plus een leestarief per miljoen vragen. Reranking wordt geprijsd per zoekactie en geldt voor het gekozen deel van de vragen. Gewijzigde documenten worden elke maand opnieuw geëmbed.
- Modelinvoer
- I = antwoorden × (context + prompttokens) ÷ 1e6 × prijs
- De grootste post bij de meeste producten; ze groeit met contextgrootte en antwoordvolume.
- Modeluitvoer
- O = antwoorden × 350 tokens ÷ 1e6 × prijs × 4
- Uitvoertokens kosten een veelvoud van invoertokens, dus lange antwoorden tellen snel op.
- Vectoropslag
- V = chunks × 1.536 × 4 bytes × 1,5 × $5 per GB + leesacties
- Vectoren in het geheugen met index-overhead, plus een leestarief per vraag.
- Rerank en opnieuw embedden
- R = antwoorden × rerankaandeel × $0,002 + chunks × 8% × 400 tokens × embeddingprijs
- Een aanroep bij elke gererankte zoekactie en de maandelijkse verversing van gewijzigde documenten.
- Nettowinst
- Netto = omzet − I − O − V − R − observability − vast
- Het maandresultaat. Het breekpunt ligt waar dit nul bereikt.
Doorwerkende elasticiteit
Contexttokens en modelprijs zijn de meest elastische invoeren, omdat ze elkaar en daarna het antwoordvolume vermenigvuldigen. De omzet per antwoord is aan de inkomstenkant even krachtig. Het reranking-aandeel en de indexgrootte zijn milder maar constant. Het antwoordvolume werkt twee kanten op: meer antwoorden leveren meer op, maar alleen zolang de inkomsten per antwoord boven de variabele kosten van het produceren ervan blijven.
Drie praktijkvoorbeelden
Starter op eigen kracht
Een kleine supportbot met een nette index
Een productteam indexeert een paar honderdduizend chunks aan helpartikelen en levert zestigduizend antwoorden per maand met een bescheiden model, korte context en weinig reranking. Elk antwoord levert goed op. Laad dit scenario om te zien hoe betaalbaar retrieval is wanneer de prompt slank is en de kennisbank klein.
Opschalend middensegment
Een assistent met hoog volume en efficiënte prompts
Een platform levert tweeënhalf miljoen antwoorden per maand over zestig miljoen chunks, maar houdt de context kort en gebruikt een goedkoop model. De omzet per antwoord is dun, maar het volume is groot. Laad dit scenario om te zien hoe promptdiscipline schaal in winst omzet en hoe gevoelig dat is voor een duurder model.
Crisis door zwarte zwaan
Een enorme context op een premiummodel
Een team plakt vijftienduizend tokens aan documenten in elke prompt, gebruikt een premiummodel en rerankt elke zoekactie over honderd miljoen chunks. Elk antwoord levert slechts twee cent op. Laad dit scenario om te zien hoe alleen al de modeltokens de omzet overstijgen en de maand diep negatief wordt.
Matrix met branchebenchmarks
| Maatstaf | Gevarenzone | Branchegemiddelde | Elite (top 10%) |
|---|---|---|---|
| Model- en retrievalkosten als aandeel van de omzet | Boven 60% | 20–40% | Onder 15% |
| Contexttokens per antwoord | Boven 9.000 | 2.000–5.000 | Onder 1.500 |
| Aandeel gererankte zoekacties | 100% bij elke zoekactie | 30–60% | Selectief, onder 30% |
| Maandelijks opnieuw geëmbed deel van de index | Boven 25% | 5–10% | Onder 3% |
| Bijdragemarge per antwoord | Onder 25% | 45–60% | Boven 70% |
Variabelen en hefbomen
Antwoorden per maand
Aantal vragen dat uw product in een maand beantwoordt, elk met een zoekactie en een modelaanroep.
Hefboom: Schaal het gebruik pas op wanneer de kosten per antwoord onder de omzet per antwoord liggen, en beperk gratis gebruikers die kosten maar geen inkomsten opleveren.
Omzet per antwoord
Gemiddelde opbrengst die aan één antwoord is toe te rekenen: abonnements- of gebruiksvergoedingen gedeeld door het aantal geleverde antwoorden.
Hefboom: Reken af op gebruik of voeg een hoger abonnement toe voor intensieve gebruikers, zodat de inkomsten per antwoord de modelrekening volgen.
Geïndexeerde chunks
Aantal tekstfragmenten (chunks) dat in de vectordatabase staat, in miljoenen.
Hefboom: Ontdubbel en snoei de index en bewaar zelden gebruikte inhoud in goedkopere opslag, want vectoren in het geheugen worden elke maand gefactureerd.
Contexttokens per antwoord
Opgehaalde passages die voor elk antwoord in de prompt worden geplakt. Dit is de grootste drijfveer van de modelkosten.
Hefboom: Haal minder, betere passages op en kort ze in vóór de prompt, want invoertokens betaalt u bij elk afzonderlijk antwoord.
Modelprijs per miljoen invoertokens
Wat het taalmodel rekent per miljoen invoertokens. Uitvoertokens worden geprijsd op een veelvoud hiervan.
Hefboom: Stuur eenvoudige vragen naar een kleiner model en cache herhaalde antwoorden, want de prijs per token vermenigvuldigt de grootste kostenpost.
Antwoorden met reranking
Het deel van de zoekacties dat door een rerankingmodel gaat om de volgorde van de opgehaalde passages te verbeteren.
Hefboom: Rerank alleen de dubbelzinnige zoekacties en gebruik de winst in precisie om de context die u naar het model stuurt te verkorten.
Zo gebruikt u deze simulator
- 1Voer de antwoorden per maand en de gemiddelde opbrengst per antwoord in uit uw factureringsgegevens.
- 2Voeg de gemiddelde tokens van de opgehaalde context toe en de prijs van het model per miljoen invoertokens.
- 3Stel het aantal geïndexeerde chunks in en het deel van de zoekacties dat reranking gebruikt.
- 4Druk op Zoek mijn breekpunt om te zien welke invoer de winst als eerste naar nul duwt.
- 5Vergelijk het huidige ontwerp met strakkere retrieval over 24 maanden, inclusief de installatiekosten.
Fouten die u moet vermijden
- De kosten schatten op basis van een prototype. Testverkeer gebruikt korte prompts en weinig gebruikers; productie voegt lange contexten, nieuwe pogingen en herhaalde vragen toe.
- Uitvoertokens vergeten. Antwoorden worden per token hoger geprijsd dan prompts, en lange, spraakzame reacties verhogen de rekening ongemerkt.
- De index als gratis beschouwen. Vectoren in het geheugen worden elke maand in rekening gebracht, of iemand ze nu bevraagt of niet.
- Kwaliteit najagen met een steeds grotere context. Voorbij een bepaald punt voegen extra passages sneller kosten toe dan nauwkeurigheid, en betere retrieval is goedkoper.
Veelgestelde vragen
Wat drijft de kosten van een RAG-antwoord het meest?
Meestal de tokens die naar het taalmodel worden gestuurd. Elke opgehaalde passage die u in de prompt plakt, betaalt u bij elk antwoord, dus de contextgrootte is de eerste hefboom om te onderzoeken.
Is de vectordatabase duur?
Vaak is het het kleinere deel. Het wordt aanzienlijk bij tientallen miljoenen chunks of wanneer alles in het geheugen staat. Snoeien en gelaagde opslag helpen.
Betaalt reranking zichzelf terug?
Dat kan, wanneer u dankzij een betere volgorde minder passages naar het model hoeft te sturen. Test of de bespaarde invoertokens zwaarder wegen dan de extra aanroep.
Waarom zitten uitvoertokens in het model?
Ze worden geprijsd op een veelvoud van invoertokens. Een uitgebreid antwoord kost meer dan een beknopt antwoord bij dezelfde contextgrootte.
Hoe vind ik het breekpunt?
Druk op Zoek mijn breekpunt. De tool schuift elke invoer richting het ongunstige uiteinde en meldt de waarde waarbij de maandwinst nul bereikt.
Hoe nauwkeurig is dit?
Het is een educatief model met vermelde aannames, geen financieel advies. Gebruik uw eigen tokenlogboeken en facturen en controleer de actuele prijzen van de leverancier.
Dit is een educatief planningsmodel met vermelde aannames. Het is geen financieel, fiscaal of juridisch advies. Vervang de invoer door uw eigen cijfers en laat belangrijke beslissingen controleren door een gekwalificeerde professional.