Guia aprofundado
Simulador de custo de RAG e banco de dados vetorial: quanto cada resposta recuperada realmente custa
Análise executiva do setor
A geração aumentada por recuperação parece um pequeno acréscimo a um recurso de chat: você armazena seus documentos como vetores, busca os melhores trechos para cada pergunta e deixa um modelo de linguagem redigir a resposta. O primeiro protótipo custa quase nada. O problema aparece em volume, porque cada resposta repete a mesma cadeia de etapas pagas, e a maior delas, os tokens do prompt, não é fixa. Ela depende de quanto texto você cola. Um recurso que custa uma fração de centavo nos testes pode custar vários centavos por resposta em produção.
A estrutura do problema é um custo por resposta empilhado sobre um custo por mês. Por resposta, você paga tokens de entrada, tokens de saída, uma possível chamada de reranqueamento e uma leitura no banco. Por mês, você paga para manter os vetores em memória, para refazer o embedding dos documentos que mudam e para executar avaliação e rastreamento. A receita está ligada às respostas, de modo que a margem do produto é a diferença entre a receita por resposta e o custo variável por resposta, depois de diluir a camada mensal no volume.
O modelo de efeito dominó segue isso em cinco etapas. O tamanho do contexto e o prompt definem os tokens por resposta. Com o preço do modelo, eles definem o custo por mil respostas. Comparado com a receita por resposta, isso vira a parcela do custo. Depois da observabilidade, o que sobra é a margem de contribuição, e os custos fixos da equipe decidem o lucro mensal. Um contexto maior, um modelo mais caro ou uma parcela maior de reranqueamento elevam a segunda caixa, e o crescimento do uso então multiplica o dano em vez de diluí-lo.
O iceberg separa a fatura que você percebe das que não percebe. Acima da linha d'água estão os tokens de entrada do modelo e o banco de dados vetorial. Abaixo estão os tokens de saída, cobrados em um múltiplo da entrada; as chamadas de reranqueamento em cada busca; o custo de refazer o embedding dos documentos à medida que mudam; e a avaliação, o rastreamento e os registros de que os sistemas em produção precisam. Cada um é fácil de deixar de fora de uma estimativa inicial. Use o simulador para encontrar o tamanho de contexto ou o preço do modelo em que o seu mês chega a zero e decidir o que reduzir primeiro.
Fórmulas e metodologia
O modelo trabalha por mês. A receita é o número de respostas vezes a receita por resposta. Cada resposta envia ao modelo o contexto recuperado mais um prompt fixo e recebe uma resposta de tamanho fixo, cobrada a quatro vezes a tarifa de entrada. O banco de dados vetorial é cobrado pela memória: trechos vezes dimensões do embedding vezes quatro bytes, com custo adicional do índice, precificado por gigabyte, mais uma tarifa de leitura por milhão de consultas. O reranqueamento é cobrado por busca e se aplica à parcela escolhida das consultas. Os documentos alterados têm o embedding refeito todo mês.
- Entrada do modelo
- I = respostas × (contexto + tokens do prompt) ÷ 1e6 × preço
- A maior linha para a maioria dos produtos; cresce com o tamanho do contexto e o volume de respostas.
- Saída do modelo
- O = respostas × 350 tokens ÷ 1e6 × preço × 4
- Os tokens de saída custam um múltiplo dos de entrada, então respostas longas se acumulam rápido.
- Armazenamento vetorial
- V = trechos × 1.536 × 4 bytes × 1,5 × US$ 5 por GB + leituras
- Vetores residentes em memória com custo adicional do índice, mais uma tarifa de leitura por consulta.
- Reranqueamento e novo embedding
- R = respostas × parcela de reranqueamento × US$ 0,002 + trechos × 8% × 400 tokens × preço do embedding
- Uma chamada em cada busca reranqueada e a atualização mensal dos documentos alterados.
- Lucro líquido
- Líquido = receita − I − O − V − R − observabilidade − fixos
- O resultado mensal. O ponto de ruptura é aquele em que ele chega a zero.
Elasticidade em cascata
Os tokens de contexto e o preço do modelo são as variáveis mais elásticas, porque se multiplicam entre si e depois pelo volume de respostas. A receita por resposta tem o mesmo poder do lado da receita. A parcela de reranqueamento e o tamanho do índice são mais suaves, porém constantes. O volume de respostas age nos dois sentidos: mais respostas rendem mais, mas só enquanto a receita por resposta continuar acima do custo variável de produzi-la.
Três estudos de caso reais
Início com recursos próprios
Um pequeno robô de suporte com um índice organizado
Uma equipe de produto indexa algumas centenas de milhares de trechos de artigos de ajuda e atende sessenta mil respostas por mês com um modelo modesto, contexto curto e pouco reranqueamento. Cada resposta rende bem. Carregue o caso para ver como a recuperação é acessível quando o prompt é enxuto e a base de conhecimento é pequena.
Médio porte em expansão
Um assistente de alto volume com prompts eficientes
Uma plataforma atende dois milhões e meio de respostas por mês sobre sessenta milhões de trechos, mas mantém o contexto curto e usa um modelo de baixo custo. A receita por resposta é fina, porém o volume é grande. Carregue o caso para ver como a disciplina no prompt transforma escala em lucro e quão sensível ela é a um modelo mais caro.
Crise de cisne negro
Um contexto enorme em um modelo premium
Uma equipe cola quinze mil tokens de documentos em cada prompt, usa um modelo premium e reranqueia toda busca sobre cem milhões de trechos. Cada resposta rende apenas dois centavos. Carregue o caso para ver apenas os tokens do modelo superarem a receita e o mês ficar profundamente negativo.
Matriz de referências do setor
| Métrica | Zona de perigo | Média do setor | Elite dos 10% melhores |
|---|---|---|---|
| Custo do modelo e da recuperação como parcela da receita | Acima de 60% | 20–40% | Abaixo de 15% |
| Tokens de contexto por resposta | Acima de 9.000 | 2.000–5.000 | Abaixo de 1.500 |
| Parcela de buscas reranqueadas | 100% em toda busca | 30–60% | Seletivo, abaixo de 30% |
| Parcela do índice com embedding refeito por mês | Acima de 25% | 5–10% | Abaixo de 3% |
| Margem de contribuição por resposta | Abaixo de 25% | 45–60% | Acima de 70% |
Variáveis e alavancas
Respostas por mês
Número de perguntas que o seu produto responde em um mês, cada uma com uma recuperação e uma chamada ao modelo.
Alavanca: Aumente o uso apenas depois de o custo por resposta ficar abaixo da receita por resposta, e limite a taxa de usuários gratuitos que geram custo sem gerar receita.
Receita por resposta
Receita média atribuível a uma resposta, obtida dividindo assinaturas ou tarifas de uso pelas respostas entregues.
Alavanca: Cobre por uso ou crie um plano superior para os usuários intensivos, de modo que a receita por resposta acompanhe a fatura do modelo.
Trechos indexados
Número de trechos de texto armazenados no banco de dados vetorial, em milhões.
Alavanca: Elimine duplicatas e reduza o índice, e mantenha o conteúdo pouco usado em armazenamento mais barato, porque vetores residentes em memória são cobrados todo mês.
Tokens de contexto por resposta
Trechos recuperados e colados no prompt a cada resposta. É o maior fator do custo do modelo.
Alavanca: Recupere menos trechos, porém melhores, e reduza-os antes do prompt, já que os tokens de entrada são pagos a cada resposta.
Preço do modelo por milhão de tokens de entrada
O que o modelo de linguagem cobra por milhão de tokens de entrada. Os tokens de saída são cobrados em um múltiplo desse valor.
Alavanca: Encaminhe perguntas simples a um modelo menor e guarde respostas repetidas em cache, porque o preço por token multiplica a maior linha de custo.
Respostas que usam reranqueamento
Parcela das buscas que passa por um modelo de reranqueamento para melhorar a ordem dos trechos recuperados.
Alavanca: Reranqueie apenas as buscas ambíguas e use o ganho de precisão para encurtar o contexto enviado ao modelo.
Como usar este simulador
- 1Informe as respostas mensais e a receita média por resposta a partir dos seus dados de cobrança.
- 2Acrescente a média de tokens do contexto recuperado e o preço do modelo por milhão de tokens de entrada.
- 3Defina o número de trechos indexados e a parcela de buscas que usam reranqueamento.
- 4Pressione Encontrar meu ponto de ruptura para ver qual variável leva o lucro a zero primeiro.
- 5Compare o desenho atual com uma recuperação mais precisa ao longo de 24 meses, incluindo o custo de implantação.
Erros a evitar
- Estimar o custo a partir de um protótipo. O tráfego de teste usa prompts curtos e poucos usuários; a produção traz contextos longos, novas tentativas e perguntas repetidas.
- Esquecer os tokens de saída. As respostas custam mais por token do que os prompts, e respostas longas e prolixas elevam a fatura sem alarde.
- Tratar o índice como gratuito. Vetores residentes em memória são cobrados todos os meses, quer alguém faça consultas ou não.
- Buscar qualidade com um contexto cada vez maior. Passado certo ponto, mais trechos somam custo mais rápido do que somam precisão, e uma recuperação melhor é mais barata.
Perguntas frequentes
O que mais pesa no custo de uma resposta de RAG?
Em geral, os tokens enviados ao modelo de linguagem. Cada trecho recuperado que você cola no prompt é pago a cada resposta, de modo que o tamanho do contexto é a primeira alavanca a examinar.
O banco de dados vetorial é caro?
Muitas vezes é a parte menor. Ele se torna significativo com dezenas de milhões de trechos ou quando tudo é mantido em memória. Reduzir o índice e separá-lo em camadas ajuda.
O reranqueamento se paga?
Pode se pagar, quando uma ordenação melhor permite enviar menos trechos ao modelo. Teste se os tokens de entrada economizados superam a chamada adicional.
Por que os tokens de saída estão no modelo?
Eles são cobrados em um múltiplo dos tokens de entrada. Uma resposta prolixa custa mais do que uma concisa com o mesmo tamanho de contexto.
Como encontro o ponto de ruptura?
Pressione Encontrar meu ponto de ruptura. A ferramenta leva cada variável para o pior extremo e informa o valor em que o lucro mensal chega a zero.
Qual é a precisão deste simulador?
É um modelo educativo com premissas declaradas, não uma orientação financeira. Use seus próprios registros de tokens e faturas e confira os preços atuais dos fornecedores.
Este é um modelo educacional de planejamento, com premissas declaradas. Não constitui aconselhamento financeiro, tributário ou jurídico. Substitua os dados pelos seus próprios números e confirme decisões importantes com um profissional qualificado.