Guida di approfondimento
Simulatore dei costi di RAG e database vettoriale: quanto costa davvero ogni risposta recuperata
Analisi direzionale del settore
La generazione aumentata dal recupero sembra una piccola aggiunta a una funzione di chat: memorizzare i documenti come vettori, recuperare i passaggi migliori per ogni domanda e lasciare che un modello linguistico scriva la risposta. Il primo prototipo non costa quasi nulla. Il problema emerge con i volumi, perché ogni risposta ripete la stessa catena di passaggi a pagamento e il più grande di essi, i token del prompt, non è fisso. Dipende da quanto testo viene inserito. Una funzione che in fase di test costa una frazione di centesimo può costare diversi centesimi per risposta in produzione.
La struttura del problema è un costo per risposta sovrapposto a un costo mensile. Per ogni risposta si pagano i token in ingresso, i token in uscita, un'eventuale chiamata di reranking e una lettura dal database. Ogni mese si paga per tenere i vettori in memoria, per rifare l'embedding dei documenti che cambiano e per eseguire valutazione e tracciamento. I ricavi sono legati alle risposte, quindi il margine del prodotto è la differenza tra il ricavo per risposta e il costo variabile per risposta, dopo aver ripartito il livello mensile sul volume.
Il modello a effetto domino segue tutto questo in cinque passaggi. La dimensione del contesto e il prompt determinano i token per risposta. Insieme al prezzo del modello determinano il costo ogni mille risposte. Confrontato con il ricavo per risposta, diventa l'incidenza del costo. Dopo l'osservabilità, ciò che resta è il margine di contribuzione, e i costi fissi del team decidono il profitto mensile. Un contesto più lungo, un modello più caro o una quota maggiore di reranking fanno salire il secondo riquadro, e una crescita dell'utilizzo moltiplica il danno invece di diluirlo.
L'iceberg separa la fattura che si nota da quelle che non si notano. Sopra la linea di galleggiamento ci sono i token in ingresso al modello e il database vettoriale. Sotto ci sono i token in uscita, che hanno un prezzo pari a un multiplo di quelli in ingresso, le chiamate di reranking a ogni ricerca, il costo di rifare l'embedding dei documenti man mano che cambiano e la valutazione, il tracciamento e la registrazione che i sistemi in produzione richiedono. Ognuna di queste voci è facile da omettere in una stima iniziale. Usate il simulatore per trovare la dimensione del contesto o il prezzo del modello a cui il vostro mese arriva a zero e decidete che cosa ridurre per primo.
Schema delle formule e della metodologia
Il modello lavora su base mensile. Il ricavo è dato dalle risposte per il ricavo per risposta. Ogni risposta invia al modello il contesto recuperato più un prompt fisso e riceve una risposta di lunghezza fissa con un prezzo pari a quattro volte la tariffa in ingresso. Il database vettoriale è fatturato per la memoria: frammenti per dimensioni dell'embedding per quattro byte, con l'overhead dell'indice, a un prezzo per gigabyte, più una tariffa di lettura per milione di query. Il reranking ha un prezzo per ricerca e si applica alla quota di query scelta. I documenti modificati vengono rielaborati con un nuovo embedding ogni mese.
- Ingresso al modello
- I = risposte × (contesto + token del prompt) ÷ 1.000.000 × prezzo
- La voce più grande per la maggior parte dei prodotti: cresce con la dimensione del contesto e il volume di risposte.
- Uscita dal modello
- O = risposte × 350 token ÷ 1.000.000 × prezzo × 4
- I token in uscita costano un multiplo di quelli in ingresso, quindi le risposte lunghe si sommano in fretta.
- Archiviazione vettoriale
- V = frammenti × 1.536 × 4 byte × 1,5 × 5 $ per GB + letture
- Vettori residenti in memoria con overhead dell'indice, più una tariffa di lettura per query.
- Reranking e nuovo embedding
- R = risposte × quota di reranking × 0,002 $ + frammenti × 8% × 400 token × prezzo dell'embedding
- Una chiamata per ogni ricerca sottoposta a reranking e l'aggiornamento mensile dei documenti modificati.
- Utile netto
- Netto = ricavi − I − O − V − R − osservabilità − costi fissi
- Il risultato mensile. Il punto di rottura è quello in cui arriva a zero.
Elasticità a cascata
I token di contesto e il prezzo del modello sono gli input più elastici perché si moltiplicano tra loro e poi per il volume di risposte. Il ricavo per risposta è altrettanto potente sul lato delle entrate. Quota di reranking e dimensione dell'indice sono più moderati ma costanti. Il volume di risposte agisce in entrambe le direzioni: più risposte fanno guadagnare di più, ma solo finché il ricavo per risposta resta superiore al costo variabile per produrla.
Tre casi di studio reali
Avvio con risorse proprie
Un piccolo bot di assistenza con un indice ordinato
Un team di prodotto indicizza qualche centinaio di migliaia di frammenti di articoli di aiuto e fornisce sessantamila risposte al mese con un modello di fascia economica, un contesto breve e poco reranking. Ogni risposta rende bene. Caricatelo per vedere quanto sia sostenibile il recupero quando il prompt è snello e la base di conoscenza è piccola.
Crescita nel mercato intermedio
Un assistente ad alto volume con prompt efficienti
Una piattaforma fornisce due milioni e mezzo di risposte al mese su sessanta milioni di frammenti, ma mantiene il contesto breve e usa un modello a basso costo. Il ricavo per risposta è ridotto, ma il volume è elevato. Caricatelo per vedere come la disciplina sui prompt trasformi la scala in profitto e quanto sia sensibile a un modello più caro.
Crisi da cigno nero
Un contesto enorme su un modello premium
Un team inserisce quindicimila token di documenti in ogni prompt, usa un modello premium e applica il reranking a ogni ricerca su cento milioni di frammenti. Ogni risposta rende solo due centesimi. Caricatelo per vedere i soli token del modello superare i ricavi e il mese chiudersi in forte perdita.
Matrice dei parametri di riferimento del settore
| Indicatore | Zona di pericolo | Media del settore | Eccellenza (primo 10%) |
|---|---|---|---|
| Costo di modello e recupero in percentuale dei ricavi | Oltre il 60% | 20–40% | Sotto il 15% |
| Token di contesto per risposta | Oltre 9.000 | 2.000–5.000 | Sotto 1.500 |
| Quota di ricerche con reranking | 100% a ogni ricerca | 30–60% | Selettivo, sotto il 30% |
| Quota mensile di nuovo embedding dell'indice | Oltre il 25% | 5–10% | Sotto il 3% |
| Margine di contribuzione per risposta | Sotto il 25% | 45–60% | Oltre il 70% |
Variabili e leve
Risposte al mese
Numero di domande a cui il vostro prodotto risponde in un mese, ciascuna con un recupero e una chiamata al modello.
Leva: Aumentate l'utilizzo solo dopo che il costo per risposta è inferiore al ricavo per risposta, e limitate la frequenza delle richieste degli utenti gratuiti che aggiungono costi senza portare ricavi.
Ricavo per risposta
Ricavo medio attribuibile a una risposta, ottenuto dividendo abbonamenti o tariffe d'uso per le risposte fornite.
Leva: Applicate un prezzo in base all'uso o aggiungete un livello superiore per gli utenti più intensivi, così che il ricavo per risposta segua la fattura del modello.
Frammenti indicizzati
Numero di frammenti di testo memorizzati nel database vettoriale, in milioni.
Leva: Deduplicate e sfoltite l'indice e tenete i contenuti poco usati in un'archiviazione più economica, perché i vettori residenti in memoria si pagano ogni mese.
Token di contesto per risposta
Passaggi recuperati inseriti nel prompt per ogni risposta. È il principale fattore del costo del modello.
Leva: Recuperate meno passaggi, ma migliori, e riduceteli prima del prompt, dato che i token in ingresso si pagano a ogni singola risposta.
Prezzo del modello per milione di token in ingresso
Quanto addebita il modello linguistico per milione di token in ingresso. I token in uscita hanno un prezzo pari a un multiplo di questo.
Leva: Indirizzate le domande semplici a un modello più piccolo e memorizzate in cache le risposte ripetute, perché il prezzo per token moltiplica la voce più grande.
Risposte che usano il reranking
Quota di ricerche che passano per un modello di reranking per migliorare l'ordine dei passaggi recuperati.
Leva: Applicate il reranking solo alle ricerche ambigue e usate il guadagno di precisione per accorciare il contesto inviato al modello.
Come usare questo simulatore
- 1Inserite le risposte mensili e il ricavo medio per risposta tratti dai dati di fatturazione.
- 2Aggiungete i token medi del contesto recuperato e il prezzo del modello per milione di token in ingresso.
- 3Impostate il numero di frammenti indicizzati e la quota di ricerche che usano il reranking.
- 4Premete Trova il mio punto di rottura per vedere quale input porta per primo il profitto a zero.
- 5Confrontate nell'arco di 24 mesi l'impostazione attuale con un recupero più mirato, compreso il suo costo di avvio.
Errori da evitare
- Stimare il costo a partire da un prototipo. Il traffico di prova usa prompt brevi e pochi utenti; la produzione aggiunge contesti lunghi, nuovi tentativi e domande ripetute.
- Dimenticare i token in uscita. Le risposte hanno un prezzo per token più alto dei prompt, e risposte lunghe e verbose fanno salire silenziosamente la fattura.
- Considerare l'indice gratuito. I vettori residenti in memoria si pagano ogni mese, che qualcuno li interroghi o no.
- Inseguire la qualità con contesti sempre più grandi. Oltre un certo punto più passaggi aggiungono costi più in fretta di quanto aggiungano precisione, e un recupero migliore costa meno.
Domande frequenti
Che cosa incide di più sul costo di una risposta RAG?
Di solito i token inviati al modello linguistico. Ogni passaggio recuperato che inserite nel prompt viene pagato a ogni risposta, quindi la dimensione del contesto è la prima leva da esaminare.
Il database vettoriale è costoso?
Spesso è la parte minore. Diventa rilevante con decine di milioni di frammenti o quando tutto è tenuto in memoria. Sfoltire e stratificare l'archiviazione aiuta.
Il reranking si ripaga da solo?
Può accadere, quando un ordinamento migliore consente di inviare meno passaggi al modello. Verificate se i token in ingresso risparmiati superano il costo della chiamata aggiuntiva.
Perché i token in uscita rientrano nel modello?
Hanno un prezzo pari a un multiplo dei token in ingresso. Una risposta prolissa costa più di una concisa a parità di dimensione del contesto.
Come trovo il punto di rottura?
Premete Trova il mio punto di rottura. Lo strumento sposta ogni input verso l'estremo peggiore e indica il valore in cui il profitto mensile arriva a zero.
Quanto è accurato questo strumento?
È un modello a scopo didattico con ipotesi dichiarate, non una consulenza finanziaria. Utilizzate i vostri registri dei token e le vostre fatture e verificate i prezzi aggiornati dei fornitori.
Questo è un modello di pianificazione a scopo didattico, con ipotesi dichiarate. Non costituisce consulenza finanziaria, fiscale o legale. Sostituite i dati con le vostre cifre e verificate le decisioni importanti con un professionista qualificato.