Vertiefender Leitfaden
RAG- und Vektordatenbank-Kostensimulator: Was jede abgerufene Antwort wirklich kostet
Branchenanalyse für Entscheider
Retrieval-Augmented Generation wirkt wie ein kleiner Zusatz zu einer Chat-Funktion: Sie speichern Ihre Dokumente als Vektoren, rufen für jede Frage die besten Textstellen ab und lassen ein Sprachmodell die Antwort schreiben. Der erste Prototyp kostet fast nichts. Das Problem zeigt sich bei großem Volumen, denn jede Antwort wiederholt dieselbe Kette bezahlter Schritte, und der größte davon, die Tokens im Prompt, ist nicht fest. Er hängt davon ab, wie viel Text Sie einfügen. Eine Funktion, die im Test einen Bruchteil eines Cents kostet, kann in der Produktion mehrere Cent pro Antwort kosten.
Die Struktur des Problems ist eine Kostenschicht pro Antwort, die auf einer Kostenschicht pro Monat liegt. Pro Antwort zahlen Sie für Eingabe-Tokens, Ausgabe-Tokens, einen möglichen Reranking-Aufruf und einen Datenbank-Lesezugriff. Pro Monat zahlen Sie dafür, die Vektoren im Arbeitsspeicher zu halten, geänderte Dokumente neu einzubetten und Evaluierung sowie Tracing zu betreiben. Der Umsatz hängt an den Antworten; die Marge des Produkts ist daher die Differenz zwischen Einnahmen pro Antwort und variablen Kosten pro Antwort, nachdem die Monatsschicht auf das Volumen verteilt wurde.
Das Dominomodell folgt dem in fünf Schritten. Kontextgröße und Prompt bestimmen die Tokens pro Antwort. Zusammen mit dem Modellpreis ergeben sie die Kosten pro tausend Antworten. Im Vergleich zum Umsatz pro Antwort wird daraus der Kostenanteil. Nach der Observability bleibt der Deckungsbeitrag, und die fixen Teamkosten entscheiden über den Monatsgewinn. Ein längerer Kontext, ein teureres Modell oder ein größerer Reranking-Anteil erhöhen jeweils das zweite Feld, und wachsende Nutzung vervielfacht den Schaden, statt ihn zu verdünnen.
Der Eisberg trennt die Rechnung, die Sie bemerken, von denen, die Sie übersehen. Über der Wasserlinie liegen die Eingabe-Tokens des Modells und die Vektordatenbank. Darunter finden sich die Ausgabe-Tokens, die mit einem Vielfachen der Eingabe bepreist sind, Reranking-Aufrufe bei jeder Suche, die Kosten für das Neu-Embedding geänderter Dokumente sowie Evaluierung, Tracing und Logging, die Produktivsysteme benötigen. Jeder dieser Posten fehlt leicht in einer frühen Schätzung. Finden Sie mit dem Simulator die Kontextgröße oder den Modellpreis, bei dem Ihr Monat null erreicht, und entscheiden Sie, was Sie zuerst kürzen.
Formeln und Methodik im Überblick
Das Modell rechnet pro Monat. Der Umsatz ist Antworten mal Umsatz pro Antwort. Jede Antwort sendet den abgerufenen Kontext plus einen festen Prompt an das Modell und erhält eine Antwort fester Länge, die mit dem Vierfachen des Eingabepreises bepreist wird. Die Vektordatenbank wird nach Speicher abgerechnet: Chunks mal Embedding-Dimensionen mal vier Byte, mit Index-Overhead, bepreist pro Gigabyte, plus eine Lesegebühr pro Million Anfragen. Das Reranking wird pro Suche bepreist und gilt für den gewählten Anteil der Anfragen. Geänderte Dokumente werden jeden Monat neu eingebettet.
- Modell-Eingabe
- I = Antworten × (Kontext + Prompt-Tokens) ÷ 1e6 × Preis
- Der größte Posten der meisten Produkte; er wächst mit Kontextgröße und Antwortvolumen.
- Modell-Ausgabe
- O = Antworten × 350 Tokens ÷ 1e6 × Preis × 4
- Ausgabe-Tokens kosten ein Vielfaches der Eingabe-Tokens, daher summieren sich lange Antworten schnell.
- Vektorspeicher
- V = Chunks × 1.536 × 4 Byte × 1,5 × 5 $ pro GB + Lesezugriffe
- Im Arbeitsspeicher gehaltene Vektoren mit Index-Overhead, plus eine Lesegebühr pro Anfrage.
- Reranking und Neu-Embedding
- R = Antworten × Reranking-Anteil × 0,002 $ + Chunks × 8 % × 400 Tokens × Embedding-Preis
- Ein Aufruf bei jeder neu geordneten Suche und die monatliche Aktualisierung geänderter Dokumente.
- Nettogewinn
- Netto = Umsatz − I − O − V − R − Observability − Fixkosten
- Das Monatsergebnis. Der Bruchpunkt liegt dort, wo es null erreicht.
Kaskadierende Elastizität
Kontext-Tokens und Modellpreis sind die elastischsten Eingaben, weil sie sich gegenseitig und anschließend das Antwortvolumen multiplizieren. Der Umsatz pro Antwort ist auf der Einnahmenseite ebenso wirkungsvoll. Reranking-Anteil und Indexgröße wirken sanfter, aber stetig. Das Antwortvolumen wirkt in beide Richtungen: Mehr Antworten bringen mehr ein, aber nur solange die Einnahmen pro Antwort über den variablen Kosten ihrer Erzeugung bleiben.
Drei Fallstudien aus der Praxis
Gründung aus eigener Kraft
Ein kleiner Support-Bot mit aufgeräumtem Index
Ein Produktteam indexiert einige hunderttausend Chunks von Hilfeartikeln und liefert sechzigtausend Antworten im Monat mit einem bescheidenen Modell, kurzem Kontext und wenig Reranking. Jede Antwort bringt gut ein. Laden Sie das Szenario, um zu sehen, wie bezahlbar Retrieval ist, wenn der Prompt schlank und die Wissensbasis klein ist.
Wachsender Mittelstand
Ein Assistent mit hohem Volumen und effizienten Prompts
Eine Plattform liefert zweieinhalb Millionen Antworten im Monat über sechzig Millionen Chunks, hält den Kontext aber kurz und nutzt ein günstiges Modell. Der Umsatz pro Antwort ist dünn, das Volumen jedoch groß. Laden Sie das Szenario, um zu sehen, wie Prompt-Disziplin Größe in Gewinn verwandelt und wie empfindlich sie auf ein teureres Modell reagiert.
Black-Swan-Krise
Ein riesiger Kontext bei einem Premium-Modell
Ein Team fügt in jeden Prompt fünfzehntausend Tokens an Dokumenten ein, nutzt ein Premium-Modell und ordnet jede Suche über hundert Millionen Chunks neu. Jede Antwort bringt nur zwei Cent ein. Laden Sie das Szenario, um zu sehen, wie allein die Modell-Tokens den Umsatz übersteigen und der Monat tief ins Minus rutscht.
Branchen-Richtwertematrix
| Kennzahl | Gefahrenzone | Branchendurchschnitt | Top 10 % der Besten |
|---|---|---|---|
| Modell- und Retrieval-Kosten als Anteil am Umsatz | Über 60 % | 20–40 % | Unter 15 % |
| Kontext-Tokens pro Antwort | Über 9.000 | 2.000–5.000 | Unter 1.500 |
| Anteil der neu geordneten Suchen | 100 % bei jeder Suche | 30–60 % | Selektiv, unter 30 % |
| Monatlicher Neu-Embedding-Anteil am Index | Über 25 % | 5–10 % | Unter 3 % |
| Deckungsbeitragsmarge pro Antwort | Unter 25 % | 45–60 % | Über 70 % |
Variablen und Stellhebel
Antworten pro Monat
Anzahl der Fragen, die Ihr Produkt im Monat beantwortet, jeweils ein Abruf plus ein Modellaufruf.
Stellhebel: Skalieren Sie die Nutzung erst, wenn die Kosten pro Antwort unter dem Umsatz pro Antwort liegen, und begrenzen Sie kostenlose Nutzer, die Kosten, aber keine Einnahmen bringen.
Umsatz pro Antwort
Durchschnittliche Einnahmen, die einer Antwort zuzurechnen sind: Abonnement- oder Nutzungsgebühren geteilt durch die gelieferten Antworten.
Stellhebel: Rechnen Sie nach Nutzung ab oder führen Sie einen höheren Tarif für Vielnutzer ein, damit die Einnahmen pro Antwort der Modellrechnung folgen.
Indexierte Chunks
Anzahl der in der Vektordatenbank gespeicherten Textabschnitte, in Millionen.
Stellhebel: Entfernen Sie Duplikate, beschneiden Sie den Index und halten Sie selten genutzte Inhalte in günstigerem Speicher, denn im Arbeitsspeicher gehaltene Vektoren werden jeden Monat berechnet.
Kontext-Tokens pro Antwort
Abgerufene Textstellen, die für jede Antwort in den Prompt eingefügt werden. Das ist der größte Treiber der Modellkosten.
Stellhebel: Rufen Sie weniger, aber bessere Textstellen ab und kürzen Sie sie vor dem Prompt, denn Eingabe-Tokens werden bei jeder einzelnen Antwort bezahlt.
Modellpreis pro Million Eingabe-Tokens
Was das Sprachmodell pro Million Eingabe-Tokens berechnet. Ausgabe-Tokens werden mit einem Vielfachen davon bepreist.
Stellhebel: Leiten Sie einfache Fragen an ein kleineres Modell und speichern Sie wiederkehrende Antworten im Cache, denn der Preis pro Token vervielfacht den größten Posten.
Antworten mit Reranking
Anteil der Suchen, die ein Reranking-Modell durchlaufen, um die Reihenfolge der abgerufenen Textstellen zu verbessern.
Stellhebel: Ordnen Sie nur die mehrdeutigen Suchen neu und nutzen Sie den Gewinn an Präzision, um den an das Modell gesendeten Kontext zu verkürzen.
So nutzen Sie diesen Simulator
- 1Geben Sie die monatlichen Antworten und die durchschnittlichen Einnahmen pro Antwort aus Ihren Abrechnungsdaten ein.
- 2Tragen Sie die durchschnittlichen Tokens des abgerufenen Kontexts und den Preis des Modells pro Million Eingabe-Tokens ein.
- 3Legen Sie die Zahl der indexierten Chunks und den Anteil der Suchen mit Reranking fest.
- 4Drücken Sie auf „Meinen Bruchpunkt finden“, um zu sehen, welche Eingabe den Gewinn zuerst auf null drückt.
- 5Vergleichen Sie das aktuelle Design mit gezielterem Retrieval über 24 Monate, einschließlich der Einrichtungskosten.
Fehler, die Sie vermeiden sollten
- Die Kosten anhand eines Prototyps zu schätzen. Testverkehr nutzt kurze Prompts und wenige Nutzer; die Produktion bringt lange Kontexte, Wiederholungen und wiederkehrende Fragen mit sich.
- Ausgabe-Tokens zu vergessen. Antworten sind pro Token teurer als Prompts, und lange, geschwätzige Antworten treiben die Rechnung unbemerkt hoch.
- Den Index als kostenlos zu behandeln. Im Arbeitsspeicher gehaltene Vektoren werden jeden Monat berechnet, ob jemand sie abfragt oder nicht.
- Qualität mit immer größerem Kontext zu erkaufen. Ab einem Punkt steigen mit mehr Textstellen die Kosten schneller als die Genauigkeit, und besseres Retrieval ist günstiger.
Häufig gestellte Fragen
Was treibt die Kosten einer RAG-Antwort am stärksten?
Meist die an das Sprachmodell gesendeten Tokens. Jede abgerufene Textstelle, die Sie in den Prompt einfügen, wird bei jeder Antwort bezahlt; die Kontextgröße ist daher der erste Hebel, den man prüfen sollte.
Ist die Vektordatenbank teuer?
Oft ist sie der kleinere Teil. Bedeutend wird sie bei zig Millionen Chunks oder wenn alles im Arbeitsspeicher gehalten wird. Beschneiden und gestaffelte Speicherung helfen.
Rechnet sich Reranking?
Das kann sein, wenn Sie dank besserer Reihenfolge weniger Textstellen an das Modell senden müssen. Prüfen Sie, ob die eingesparten Eingabe-Tokens den zusätzlichen Aufruf aufwiegen.
Warum sind Ausgabe-Tokens im Modell enthalten?
Sie werden mit einem Vielfachen der Eingabe-Tokens bepreist. Eine ausschweifende Antwort kostet bei gleicher Kontextgröße mehr als eine knappe.
Wie finde ich den Bruchpunkt?
Drücken Sie auf „Meinen Bruchpunkt finden“. Das Tool schiebt jede Eingabe in Richtung ihres ungünstigeren Endes und nennt den Wert, bei dem der Monatsgewinn null erreicht.
Wie genau ist das Ergebnis?
Es handelt sich um ein Lehrmodell mit ausdrücklich genannten Annahmen, nicht um Finanzberatung. Verwenden Sie Ihre eigenen Token-Protokolle und Rechnungen und prüfen Sie die aktuellen Anbieterpreise.
Dies ist ein didaktisches Planungsmodell mit ausdrücklich genannten Annahmen. Es ist keine Finanz-, Steuer- oder Rechtsberatung. Ersetzen Sie die Eingaben durch Ihre eigenen Zahlen und lassen Sie wichtige Entscheidungen von einer qualifizierten Fachperson prüfen.