Guía en profundidad
Simulador de coste de RAG y bases de datos vectoriales: lo que cuesta realmente cada respuesta recuperada
Análisis ejecutivo del sector
La generación aumentada por recuperación parece un pequeño añadido a una función de chat: guardar los documentos como vectores, obtener los mejores pasajes para cada pregunta y dejar que un modelo de lenguaje redacte la respuesta. El primer prototipo casi no cuesta nada. El problema aparece con el volumen, porque cada respuesta repite la misma cadena de pasos de pago, y el mayor de ellos, los tokens del prompt, no es fijo. Depende de cuánto texto se inserte. Una función que en las pruebas cuesta una fracción de céntimo puede costar varios céntimos por respuesta en producción.
La estructura del problema es un coste por respuesta apilado sobre un coste por mes. Por cada respuesta se paga por los tokens de entrada, los tokens de salida, una posible llamada de reordenamiento y una lectura de la base de datos. Cada mes se paga por mantener los vectores en memoria, por recalcular los embeddings de los documentos que cambian y por ejecutar la evaluación y la trazabilidad. Los ingresos están ligados a las respuestas, de modo que el margen del producto es la diferencia entre el ingreso por respuesta y el coste variable por respuesta, una vez repartida la capa mensual entre el volumen.
El modelo en dominó sigue esto en cinco pasos. El tamaño del contexto y el prompt fijan los tokens por respuesta. Junto con el precio del modelo, determinan el coste por cada mil respuestas. Comparado con los ingresos por respuesta, eso se convierte en el peso del coste. Tras la observabilidad, lo que queda es el margen de contribución, y los costes fijos del equipo deciden el beneficio mensual. Un contexto más largo, un modelo más caro o un mayor porcentaje de reordenamiento elevan el segundo recuadro, y un aumento del uso multiplica entonces el daño en lugar de diluirlo.
El iceberg separa la factura que se nota de las que no. Sobre la línea de flotación están los tokens de entrada del modelo y la base de datos vectorial. Por debajo quedan los tokens de salida, que se cobran a un múltiplo de los de entrada; las llamadas de reordenamiento en cada búsqueda; el coste de recalcular los embeddings de los documentos a medida que cambian; y la evaluación, la trazabilidad y los registros que necesitan los sistemas en producción. Cada una es fácil de dejar fuera de una estimación inicial. Use el simulador para encontrar el tamaño de contexto o el precio del modelo en el que su mes llega a cero y decida qué recortar primero.
Esquema de fórmulas y metodología
El modelo funciona por mes. Los ingresos son las respuestas por los ingresos por respuesta. Cada respuesta envía al modelo el contexto recuperado más un prompt fijo y recibe una respuesta de longitud fija que se cobra a cuatro veces la tarifa de entrada. La base de datos vectorial se factura por memoria: fragmentos por dimensiones del embedding por cuatro bytes, con sobrecarga del índice, a un precio por gigabyte, más una tarifa de lectura por millón de consultas. El reordenamiento se cobra por búsqueda y se aplica al porcentaje de consultas elegido. Los documentos modificados se vuelven a convertir en embeddings cada mes.
- Entrada del modelo
- E = respuestas × (contexto + tokens del prompt) ÷ 10⁶ × precio
- La mayor partida en la mayoría de los productos; crece con el tamaño del contexto y el volumen de respuestas.
- Salida del modelo
- S = respuestas × 350 tokens ÷ 10⁶ × precio × 4
- Los tokens de salida cuestan un múltiplo de los de entrada, así que las respuestas largas se acumulan rápidamente.
- Almacenamiento vectorial
- V = fragmentos × 1.536 × 4 bytes × 1,5 × 5 $ por GB + lecturas
- Vectores residentes en memoria con sobrecarga del índice, más una tarifa de lectura por consulta.
- Reordenamiento y nuevos embeddings
- R = respuestas × porcentaje de reordenamiento × 0,002 $ + fragmentos × 8 % × 400 tokens × precio del embedding
- Una llamada por cada búsqueda reordenada y la actualización mensual de los documentos modificados.
- Beneficio neto
- Neto = ingresos − E − S − V − R − observabilidad − fijos
- El resultado mensual. El punto de ruptura es donde llega a cero.
Elasticidad en cascada
Los tokens de contexto y el precio del modelo son las variables más elásticas porque se multiplican entre sí y luego por el volumen de respuestas. Los ingresos por respuesta son igual de potentes en el lado de los ingresos. El porcentaje de reordenamiento y el tamaño del índice son más suaves pero constantes. El volumen de respuestas actúa en ambos sentidos: más respuestas generan más ingresos, pero solo mientras el ingreso por respuesta se mantenga por encima del coste variable de producirla.
Tres casos prácticos reales
Inicio con recursos propios
Un pequeño bot de soporte con un índice ordenado
Un equipo de producto indexa unos cientos de miles de fragmentos de artículos de ayuda y atiende sesenta mil respuestas al mes con un modelo modesto, un contexto corto y poco reordenamiento. Cada respuesta rinde bien. Cárguelo para ver lo asequible que resulta la recuperación cuando el prompt es ligero y la base de conocimiento es pequeña.
Mediana empresa en crecimiento
Un asistente de gran volumen con prompts eficientes
Una plataforma atiende dos millones y medio de respuestas al mes sobre sesenta millones de fragmentos, pero mantiene el contexto corto y usa un modelo económico. Los ingresos por respuesta son escasos, aunque el volumen es grande. Cárguelo para ver cómo la disciplina en los prompts convierte la escala en beneficio y lo sensible que es a un modelo más caro.
Crisis de cisne negro
Un contexto enorme con un modelo premium
Un equipo inserta quince mil tokens de documentos en cada prompt, usa un modelo premium y reordena todas las búsquedas sobre cien millones de fragmentos. Cada respuesta rinde solo dos céntimos. Cárguelo para ver cómo solo los tokens del modelo superan los ingresos y el mes cae en negativo con holgura.
Matriz de referencias del sector
| Métrica | Zona de peligro | Promedio del sector | Élite (10 % superior) |
|---|---|---|---|
| Coste del modelo y la recuperación sobre los ingresos | Más del 60 % | 20–40 % | Menos del 15 % |
| Tokens de contexto por respuesta | Más de 9.000 | 2.000–5.000 | Menos de 1.500 |
| Porcentaje de búsquedas reordenadas | 100 % en cada búsqueda | 30–60 % | Selectivo, por debajo del 30 % |
| Porcentaje mensual del índice con nuevos embeddings | Más del 25 % | 5–10 % | Menos del 3 % |
| Margen de contribución por respuesta | Menos del 25 % | 45–60 % | Más del 70 % |
Variables y palancas
Respuestas por mes
Número de preguntas que responde su producto en un mes, cada una con una recuperación y una llamada al modelo.
Palanca: Aumente el uso solo cuando el coste por respuesta sea inferior a los ingresos por respuesta, y limite la tasa de uso de los usuarios gratuitos, que suman coste pero no ingresos.
Ingresos por respuesta
Ingreso medio atribuible a una respuesta, calculado como las suscripciones o tarifas de uso divididas entre las respuestas servidas.
Palanca: Cobre según el uso o añada un nivel superior para los usuarios intensivos, de modo que los ingresos por respuesta acompañen a la factura del modelo.
Fragmentos indexados
Número de fragmentos de texto almacenados en la base de datos vectorial, en millones.
Palanca: Elimine duplicados y depure el índice, y mantenga el contenido poco usado en un almacenamiento más barato, porque los vectores residentes en memoria se facturan cada mes.
Tokens de contexto por respuesta
Pasajes recuperados que se insertan en el prompt para cada respuesta. Es el principal factor del coste del modelo.
Palanca: Recupere menos pasajes, pero mejores, y recórtelos antes del prompt, ya que los tokens de entrada se pagan en cada respuesta.
Precio del modelo por millón de tokens de entrada
Lo que cobra el modelo de lenguaje por millón de tokens de entrada. Los tokens de salida se cobran a un múltiplo de este precio.
Palanca: Dirija las preguntas sencillas a un modelo más pequeño y guarde en caché las respuestas repetidas, porque el precio por token multiplica la mayor partida.
Respuestas que usan reordenamiento
Porcentaje de búsquedas que pasan por un modelo de reordenamiento para mejorar el orden de los pasajes recuperados.
Palanca: Reordene solo las búsquedas ambiguas y aproveche la mejora de precisión para acortar el contexto que envía al modelo.
Cómo usar este simulador
- 1Introduzca las respuestas mensuales y el ingreso medio por respuesta de sus datos de facturación.
- 2Añada los tokens medios del contexto recuperado y el precio del modelo por millón de tokens de entrada.
- 3Fije el número de fragmentos indexados y el porcentaje de búsquedas que usan reordenamiento.
- 4Pulse «Encontrar mi punto de ruptura» para ver qué variable lleva primero el beneficio a cero.
- 5Compare el diseño actual con una recuperación más precisa a 24 meses, incluido su coste de puesta en marcha.
Errores que conviene evitar
- Estimar el coste a partir de un prototipo. El tráfico de prueba usa prompts cortos y pocos usuarios; la producción añade contextos largos, reintentos y preguntas repetidas.
- Olvidar los tokens de salida. Las respuestas se cobran más caras por token que los prompts, y las respuestas largas y charlatanas elevan la factura sin que se note.
- Tratar el índice como si fuera gratis. Los vectores residentes en memoria se cobran cada mes, los consulte alguien o no.
- Perseguir la calidad con un contexto cada vez mayor. A partir de cierto punto, más pasajes añaden coste más deprisa que precisión, y una mejor recuperación sale más barata.
Preguntas frecuentes
¿Qué es lo que más encarece una respuesta RAG?
Normalmente, los tokens enviados al modelo de lenguaje. Cada pasaje recuperado que se inserta en el prompt se paga en cada respuesta, por lo que el tamaño del contexto es la primera palanca que conviene examinar.
¿Es cara la base de datos vectorial?
A menudo es la parte menor. Pasa a ser significativa con decenas de millones de fragmentos o cuando el conjunto se mantiene en memoria. Depurar el índice y organizarlo por niveles ayuda.
¿Se amortiza el reordenamiento?
Puede hacerlo, cuando un mejor orden permite enviar menos pasajes al modelo. Compruebe si los tokens de entrada ahorrados compensan la llamada adicional.
¿Por qué figuran los tokens de salida en el modelo?
Porque se cobran a un múltiplo de los tokens de entrada. Una respuesta extensa cuesta más que una concisa con el mismo tamaño de contexto.
¿Cómo encuentro el punto de ruptura?
Pulse «Encontrar mi punto de ruptura». La herramienta mueve cada variable hacia su extremo más desfavorable e indica el valor en el que el beneficio mensual llega a cero.
¿Qué grado de precisión tiene?
Es un modelo educativo con supuestos declarados, no un asesoramiento financiero. Utilice sus propios registros de tokens y facturas, y consulte los precios vigentes de los proveedores.
Este es un modelo educativo de planificación con supuestos declarados. No constituye asesoramiento financiero, fiscal ni jurídico. Sustituya los datos por sus propias cifras y consulte las decisiones importantes con un profesional cualificado.