Pogłębiony poradnik
Symulator kosztów RAG i wektorowej bazy danych: ile naprawdę kosztuje każda odpowiedź
Analiza branży dla zarządu
Generowanie wspomagane wyszukiwaniem wygląda na niewielki dodatek do funkcji czatu: zapisz dokumenty jako wektory, pobierz najlepsze fragmenty dla każdego pytania i pozwól modelowi językowemu napisać odpowiedź. Pierwszy prototyp kosztuje prawie nic. Problem pojawia się przy dużym wolumenie, ponieważ każda odpowiedź powtarza ten sam łańcuch płatnych kroków, a największy z nich, czyli tokeny w prompcie, nie jest stały. Zależy od tego, ile tekstu wklejasz. Funkcja, która w testach kosztuje ułamek centa, na produkcji może kosztować kilka centów za odpowiedź.
Struktura problemu to koszt na odpowiedź nałożony na koszt miesięczny. Za każdą odpowiedź płacisz za tokeny wejściowe, tokeny wyjściowe, ewentualne wywołanie ponownego rankingowania i odczyt z bazy danych. Co miesiąc płacisz za utrzymywanie wektorów w pamięci, ponowne osadzanie zmienianych dokumentów oraz ewaluację i śledzenie. Przychód jest przypisany do odpowiedzi, więc marża produktu to różnica między dochodem na odpowiedź a kosztem zmiennym na odpowiedź, po rozłożeniu warstwy miesięcznej na wolumen.
Model efektu domina śledzi to w pięciu krokach. Rozmiar kontekstu i prompt wyznaczają liczbę tokenów na odpowiedź. Razem z ceną modelu dają koszt tysiąca odpowiedzi. W zestawieniu z przychodem na odpowiedź staje się to udziałem kosztów. Po odliczeniu obserwowalności zostaje marża wkładu, a stałe koszty zespołu decydują o miesięcznym zysku. Dłuższy kontekst, droższy model lub większy udział ponownego rankingowania podnoszą drugie pole, a wzrost użycia mnoży wtedy szkody zamiast je rozcieńczać.
Góra lodowa oddziela rachunek, który zauważasz, od tych, których nie widzisz. Nad linią wody są tokeny wejściowe modelu i wektorowa baza danych. Pod nią znajdują się tokeny wyjściowe, wyceniane jako wielokrotność wejściowych, wywołania ponownego rankingowania przy każdym wyszukiwaniu, koszt ponownego osadzania dokumentów w miarę ich zmian oraz ewaluacja, śledzenie i logowanie, których potrzebują systemy produkcyjne. Każdą z tych pozycji łatwo pominąć we wstępnym szacunku. Użyj symulatora, aby znaleźć rozmiar kontekstu lub cenę modelu, przy których Twój miesiąc osiąga zero, i zdecyduj, co przyciąć w pierwszej kolejności.
Wzory i założenia metodyczne
Model działa w ujęciu miesięcznym. Przychód to odpowiedzi razy przychód na odpowiedź. Każda odpowiedź wysyła do modelu pobrany kontekst plus stały prompt i otrzymuje odpowiedź o stałej długości, wycenioną na czterokrotność stawki wejściowej. Wektorowa baza danych jest rozliczana za pamięć: fragmenty razy wymiary osadzeń razy cztery bajty, z narzutem indeksu, wyceniane za gigabajt, plus opłata za odczyty za milion zapytań. Ponowne rankingowanie jest wyceniane za wyszukiwanie i dotyczy wybranego udziału zapytań. Zmienione dokumenty są ponownie osadzane co miesiąc.
- Wejście modelu
- I = odpowiedzi × (kontekst + tokeny promptu) ÷ 1e6 × cena
- Największa pozycja dla większości produktów; rośnie wraz z rozmiarem kontekstu i liczbą odpowiedzi.
- Wyjście modelu
- O = odpowiedzi × 350 tokenów ÷ 1e6 × cena × 4
- Tokeny wyjściowe kosztują wielokrotność tokenów wejściowych, więc długie odpowiedzi szybko się sumują.
- Magazyn wektorowy
- V = fragmenty × 1 536 × 4 bajty × 1,5 × 5 USD za GB + odczyty
- Wektory przechowywane w pamięci z narzutem indeksu, plus opłata za odczyt na zapytanie.
- Ponowne rankingowanie i osadzanie
- R = odpowiedzi × udział rankingowania × 0,002 USD + fragmenty × 8% × 400 tokenów × cena osadzenia
- Wywołanie przy każdym wyszukiwaniu z rankingowaniem oraz miesięczne odświeżanie zmienionych dokumentów.
- Zysk netto
- Netto = przychód − I − O − V − R − obserwowalność − koszty stałe
- Wynik miesięczny. Punkt krytyczny to miejsce, w którym osiąga on zero.
Kaskadowa elastyczność
Tokeny kontekstu i cena modelu to najbardziej elastyczne parametry, ponieważ mnożą się nawzajem, a potem przez liczbę odpowiedzi. Równie mocny po stronie dochodów jest przychód na odpowiedź. Udział ponownego rankingowania i rozmiar indeksu działają łagodniej, ale stale. Liczba odpowiedzi działa w obie strony: więcej odpowiedzi zarabia więcej, ale tylko dopóki dochód na odpowiedź pozostaje wyższy niż zmienny koszt jej wytworzenia.
Trzy rzeczywiste studia przypadku
Start na własnych środkach
Mały bot wsparcia z uporządkowanym indeksem
Zespół produktowy indeksuje kilkaset tysięcy fragmentów artykułów pomocy i obsługuje sześćdziesiąt tysięcy odpowiedzi miesięcznie, używając skromnego modelu, krótkiego kontekstu i niewielkiego ponownego rankingowania. Każda odpowiedź dobrze zarabia. Wczytaj ten scenariusz, aby zobaczyć, jak przystępne jest wyszukiwanie, gdy prompt jest szczupły, a baza wiedzy mała.
Skalowanie w średniej firmie
Asystent o dużym wolumenie z wydajnymi promptami
Platforma obsługuje dwa i pół miliona odpowiedzi miesięcznie na sześćdziesięciu milionach fragmentów, ale utrzymuje krótki kontekst i korzysta z taniego modelu. Przychód na odpowiedź jest niewielki, za to wolumen duży. Wczytaj ten scenariusz, aby zobaczyć, jak dyscyplina w promptach zamienia skalę w zysk i jak bardzo jest wrażliwa na droższy model.
Kryzys typu czarny łabędź
Ogromny kontekst w modelu premium
Zespół wkleja piętnaście tysięcy tokenów dokumentów do każdego promptu, używa modelu premium i ponownie rankinguje każde wyszukiwanie na stu milionach fragmentów. Każda odpowiedź zarabia tylko dwa centy. Wczytaj ten scenariusz, aby zobaczyć, jak same tokeny modelu przewyższają przychód, a miesiąc kończy się głęboką stratą.
Macierz wskaźników branżowych
| Wskaźnik | Strefa zagrożenia | Średnia branżowa | Czołowe 10% najlepszych |
|---|---|---|---|
| Koszt modelu i wyszukiwania jako udział w przychodzie | Powyżej 60% | 20–40% | Poniżej 15% |
| Tokeny kontekstu na odpowiedź | Powyżej 9 000 | 2 000–5 000 | Poniżej 1 500 |
| Udział wyszukiwań z ponownym rankingowaniem | 100% przy każdym wyszukiwaniu | 30–60% | Selektywnie, poniżej 30% |
| Miesięczny udział ponownego osadzania w indeksie | Powyżej 25% | 5–10% | Poniżej 3% |
| Marża wkładu na odpowiedź | Poniżej 25% | 45–60% | Powyżej 70% |
Zmienne i dźwignie
Odpowiedzi miesięcznie
Liczba pytań, na które produkt odpowiada w ciągu miesiąca, z których każde to wyszukanie plus wywołanie modelu.
Dźwignia: Skaluj użycie dopiero wtedy, gdy koszt odpowiedzi jest niższy niż przychód na odpowiedź, i ogranicz liczbę zapytań użytkowników bezpłatnych, którzy generują koszt, ale nie dochód.
Przychód na odpowiedź
Średni dochód przypisany do jednej odpowiedzi, czyli przychód z subskrypcji lub opłat za użycie podzielony przez liczbę udzielonych odpowiedzi.
Dźwignia: Wprowadź rozliczanie za użycie lub dodaj wyższy plan dla intensywnych użytkowników, aby dochód z odpowiedzi podążał za rachunkiem za model.
Zindeksowane fragmenty
Liczba fragmentów tekstu przechowywanych w wektorowej bazie danych, w milionach.
Dźwignia: Usuń duplikaty i przytnij indeks, a rzadko używane treści trzymaj w tańszym magazynie, ponieważ wektory przechowywane w pamięci są rozliczane co miesiąc.
Tokeny kontekstu na odpowiedź
Pobrane fragmenty wklejane do promptu przy każdej odpowiedzi. To największy czynnik kosztu modelu.
Dźwignia: Pobieraj mniej, ale lepszych fragmentów i przycinaj je przed wstawieniem do promptu, ponieważ tokeny wejściowe płaci się przy każdej pojedynczej odpowiedzi.
Cena modelu za milion tokenów wejściowych
Opłata modelu językowego za milion tokenów wejściowych. Tokeny wyjściowe są wyceniane jako wielokrotność tej stawki.
Dźwignia: Kieruj proste pytania do mniejszego modelu i zapamiętuj powtarzające się odpowiedzi, ponieważ cena za token mnoży największą pozycję kosztów.
Odpowiedzi z ponownym rankingowaniem
Odsetek wyszukiwań przechodzących przez model rankingowy, który poprawia kolejność pobranych fragmentów.
Dźwignia: Stosuj ponowne rankingowanie tylko do niejednoznacznych wyszukiwań i wykorzystaj zysk na precyzji, aby skrócić kontekst wysyłany do modelu.
Jak korzystać z tego symulatora
- 1Wpisz miesięczną liczbę odpowiedzi i średni dochód na odpowiedź z danych rozliczeniowych.
- 2Dodaj średnią liczbę tokenów pobranego kontekstu i cenę modelu za milion tokenów wejściowych.
- 3Ustaw liczbę zindeksowanych fragmentów i udział wyszukiwań z ponownym rankingowaniem.
- 4Kliknij „Znajdź mój punkt krytyczny”, aby zobaczyć, który parametr jako pierwszy zepchnie zysk do zera.
- 5Porównaj obecną konstrukcję ze ściślejszym wyszukiwaniem w horyzoncie 24 miesięcy, razem z kosztem wdrożenia.
Błędy, których należy unikać
- Szacowanie kosztu na podstawie prototypu. Ruch testowy używa krótkich promptów i niewielu użytkowników; produkcja dodaje długie konteksty, ponowienia i powtarzające się pytania.
- Zapominanie o tokenach wyjściowych. Odpowiedzi są droższe za token niż prompty, a długie, wylewne odpowiedzi po cichu podnoszą rachunek.
- Traktowanie indeksu jako darmowego. Wektory w pamięci są rozliczane co miesiąc, niezależnie od tego, czy ktokolwiek je odpytuje.
- Gonienie za jakością przez coraz większy kontekst. Od pewnego momentu więcej fragmentów dodaje koszt szybciej niż dokładność, a lepsze wyszukiwanie jest tańsze.
Najczęściej zadawane pytania
Co najbardziej wpływa na koszt odpowiedzi RAG?
Zwykle tokeny wysyłane do modelu językowego. Każdy pobrany fragment wklejony do promptu jest opłacany przy każdej odpowiedzi, więc rozmiar kontekstu to pierwsza dźwignia, którą warto zbadać.
Czy wektorowa baza danych jest droga?
Często stanowi mniejszą część kosztów. Staje się istotna przy dziesiątkach milionów fragmentów lub gdy wszystko jest trzymane w pamięci. Pomaga przycinanie i podział na warstwy.
Czy ponowne rankingowanie się zwraca?
Może, gdy lepsza kolejność pozwala wysyłać do modelu mniej fragmentów. Sprawdź, czy zaoszczędzone tokeny wejściowe przewyższają koszt dodatkowego wywołania.
Dlaczego tokeny wyjściowe są w modelu?
Są wyceniane jako wielokrotność tokenów wejściowych. Rozwlekła odpowiedź kosztuje więcej niż zwięzła przy tym samym rozmiarze kontekstu.
Jak znaleźć punkt krytyczny?
Kliknij „Znajdź mój punkt krytyczny”. Narzędzie przesuwa każdy parametr w stronę gorszego końca zakresu i podaje wartość, przy której miesięczny zysk spada do zera.
Jak dokładne jest to narzędzie?
To model edukacyjny z jawnie podanymi założeniami, a nie porada finansowa. Użyj własnych logów tokenów i faktur oraz sprawdź aktualne cenniki dostawców.
To edukacyjny model planistyczny oparty na jawnie podanych założeniach. Nie stanowi porady finansowej, podatkowej ani prawnej. Należy zastąpić dane wejściowe własnymi liczbami, a ważne decyzje skonsultować z wykwalifikowanym specjalistą.