Guide approfondi
Simulateur de coût d’un RAG et d’une base vectorielle : ce que coûte vraiment chaque réponse enrichie par recherche
Analyse sectorielle pour décideurs
La génération augmentée par recherche ressemble à un petit ajout à une fonctionnalité de discussion : stocker vos documents sous forme de vecteurs, récupérer les meilleurs passages pour chaque question et laisser un modèle de langage rédiger la réponse. Le premier prototype ne coûte presque rien. Le problème apparaît avec le volume, car chaque réponse répète la même chaîne d’étapes payantes, et la plus importante, les jetons du prompt, n’est pas fixe. Elle dépend de la quantité de texte que vous y insérez. Une fonctionnalité qui coûte une fraction de centime en test peut coûter plusieurs centimes par réponse en production.
La structure du problème est un coût par réponse superposé à un coût par mois. Par réponse, vous payez les jetons en entrée, les jetons en sortie, un éventuel appel de reclassement et une lecture de base de données. Par mois, vous payez pour garder les vecteurs en mémoire, pour recalculer les embeddings des documents qui changent et pour exécuter l’évaluation et le traçage. Le revenu est lié aux réponses : la marge du produit est donc l’écart entre le revenu par réponse et le coût variable par réponse, une fois la couche mensuelle répartie sur le volume.
Le modèle en effet domino suit cela en cinq étapes. La taille du contexte et le prompt déterminent les jetons par réponse. Avec le prix du modèle, ils fixent le coût pour mille réponses. Comparé au revenu par réponse, il devient la part du coût. Après l’observabilité, il reste la marge de contribution, et les coûts fixes de l’équipe décident du bénéfice mensuel. Un contexte plus long, un modèle plus cher ou une plus grande part de reclassement font chacun monter la deuxième case, et une hausse d’usage multiplie alors les dégâts au lieu de les diluer.
L’iceberg sépare la facture que l’on remarque de celles que l’on ne voit pas. Au-dessus de la ligne de flottaison figurent les jetons en entrée du modèle et la base vectorielle. En dessous, les jetons en sortie, facturés à un multiple de l’entrée ; les appels de reclassement à chaque recherche ; le coût du nouvel embedding des documents à mesure qu’ils changent ; et l’évaluation, le traçage et la journalisation dont ont besoin les systèmes en production. Chacun est facile à oublier dans une première estimation. Utilisez le simulateur pour trouver la taille de contexte ou le prix de modèle auquel votre mois atteint zéro et décider ce qu’il faut réduire en premier.
Formules et méthodologie
Le modèle fonctionne par mois. Le revenu est égal au nombre de réponses multiplié par le revenu par réponse. Chaque réponse envoie au modèle le contexte récupéré plus un prompt fixe et reçoit une réponse de longueur fixe, facturée à quatre fois le tarif d’entrée. La base vectorielle est facturée à la mémoire : fragments multipliés par les dimensions de l’embedding et par quatre octets, avec la surcharge de l’index, au prix par gigaoctet, plus des frais de lecture par million de requêtes. Le reclassement est facturé par recherche et s’applique à la part de requêtes choisie. Les documents modifiés voient leur embedding recalculé chaque mois.
- Entrée du modèle
- I = réponses × (contexte + jetons du prompt) ÷ 1e6 × prix
- Le plus gros poste pour la plupart des produits ; il croît avec la taille du contexte et le volume de réponses.
- Sortie du modèle
- O = réponses × 350 jetons ÷ 1e6 × prix × 4
- Les jetons en sortie coûtent un multiple des jetons en entrée : les réponses longues s’additionnent vite.
- Stockage vectoriel
- V = fragments × 1 536 × 4 octets × 1,5 × 5 $ par Go + lectures
- Des vecteurs résidant en mémoire avec la surcharge de l’index, plus des frais de lecture par requête.
- Reclassement et nouvel embedding
- R = réponses × part de reclassement × 0,002 $ + fragments × 8 % × 400 jetons × prix de l’embedding
- Un appel pour chaque recherche reclassée et l’actualisation mensuelle des documents modifiés.
- Bénéfice net
- Net = revenu − I − O − V − R − observabilité − fixe
- Le résultat mensuel. Le point de rupture est celui où il atteint zéro.
Élasticité en cascade
Les jetons de contexte et le prix du modèle sont les entrées les plus élastiques, car ils se multiplient entre eux puis par le volume de réponses. Le revenu par réponse est tout aussi puissant du côté des recettes. La part de reclassement et la taille de l’index agissent plus doucement mais régulièrement. Le volume de réponses joue dans les deux sens : plus de réponses rapportent plus, mais seulement tant que le revenu par réponse reste supérieur à son coût variable de production.
Trois études de cas concrètes
Démarrage en autofinancement
Un petit robot de support avec un index bien tenu
Une équipe produit indexe quelques centaines de milliers de fragments d’articles d’aide et fournit soixante mille réponses par mois avec un modèle modeste, un contexte court et peu de reclassement. Chaque réponse rapporte bien. Chargez ce cas pour voir à quel point la recherche est abordable quand le prompt est sobre et la base de connaissances petite.
Croissance d'une entreprise de taille intermédiaire
Un assistant à fort volume avec des prompts efficaces
Une plateforme fournit deux millions et demi de réponses par mois sur soixante millions de fragments, mais garde un contexte court et utilise un modèle peu coûteux. Le revenu par réponse est mince, mais le volume est élevé. Chargez ce cas pour voir comment la discipline sur les prompts transforme l’échelle en bénéfice et à quel point il est sensible à un modèle plus cher.
Crise de type cygne noir
Un énorme contexte sur un modèle haut de gamme
Une équipe insère quinze mille jetons de documents dans chaque prompt, utilise un modèle haut de gamme et reclasse chaque recherche sur cent millions de fragments. Chaque réponse ne rapporte que deux centimes. Chargez ce cas pour voir les seuls jetons du modèle dépasser le revenu et le mois devenir profondément négatif.
Matrice des repères sectoriels
| Indicateur | Zone de danger | Moyenne du secteur | Élite : les 10 % meilleurs |
|---|---|---|---|
| Coût du modèle et de la recherche en part du revenu | Plus de 60 % | 20–40 % | Moins de 15 % |
| Jetons de contexte par réponse | Plus de 9 000 | 2 000–5 000 | Moins de 1 500 |
| Part des recherches reclassées | 100 % de chaque recherche | 30–60 % | Sélectif, moins de 30 % |
| Part mensuelle de l’index dont l’embedding est recalculé | Plus de 25 % | 5–10 % | Moins de 3 % |
| Marge de contribution par réponse | Moins de 25 % | 45–60 % | Plus de 70 % |
Variables et leviers
Réponses par mois
Nombre de questions auxquelles votre produit répond en un mois, chacune étant une recherche suivie d’un appel au modèle.
Levier: Ne montez en charge qu’une fois le coût par réponse inférieur au revenu par réponse, et limitez le débit des utilisateurs gratuits qui ajoutent du coût sans revenu.
Revenu par réponse
Revenu moyen attribuable à une réponse, soit les abonnements ou les frais d’usage divisés par le nombre de réponses fournies.
Levier: Facturez à l’usage ou ajoutez une offre supérieure pour les gros utilisateurs afin que le revenu par réponse suive la facture du modèle.
Fragments indexés
Nombre de fragments de texte stockés dans la base vectorielle, en millions.
Levier: Dédoublonnez et élaguez l’index, et gardez les contenus rarement utilisés dans un stockage moins cher, car les vecteurs résidant en mémoire sont facturés chaque mois.
Jetons de contexte par réponse
Passages récupérés et insérés dans le prompt pour chaque réponse. C’est le principal facteur du coût du modèle.
Levier: Récupérez moins de passages, mais de meilleure qualité, et raccourcissez-les avant le prompt : les jetons en entrée sont payés à chaque réponse.
Prix du modèle par million de jetons en entrée
Ce que le modèle de langage facture par million de jetons en entrée. Les jetons en sortie sont facturés à un multiple de ce prix.
Levier: Orientez les questions simples vers un modèle plus petit et mettez en cache les réponses répétées, car le prix par jeton multiplie le poste le plus important.
Réponses utilisant le reclassement
Part des recherches qui passent par un modèle de reclassement pour améliorer l’ordre des passages récupérés.
Levier: Ne reclassez que les recherches ambiguës, et utilisez le gain de précision pour raccourcir le contexte envoyé au modèle.
Comment utiliser ce simulateur
- 1Saisissez les réponses mensuelles et le revenu moyen par réponse issus de vos données de facturation.
- 2Ajoutez la moyenne des jetons de contexte récupérés et le prix du modèle par million de jetons en entrée.
- 3Indiquez le nombre de fragments indexés et la part des recherches qui utilisent le reclassement.
- 4Appuyez sur « Trouver mon point de rupture » pour voir quelle entrée fait tomber le bénéfice à zéro en premier.
- 5Comparez la conception actuelle avec une recherche plus ciblée sur 24 mois, coût de mise en place compris.
Erreurs à éviter
- Estimer le coût à partir d’un prototype. Le trafic de test utilise des prompts courts et peu d’utilisateurs ; la production ajoute des contextes longs, des nouvelles tentatives et des questions répétées.
- Oublier les jetons en sortie. Les réponses sont facturées plus cher par jeton que les prompts, et des réponses longues et bavardes font discrètement grimper la facture.
- Traiter l’index comme gratuit. Les vecteurs résidant en mémoire sont facturés chaque mois, que quelqu’un les interroge ou non.
- Chercher la qualité avec un contexte toujours plus grand. Passé un certain point, davantage de passages ajoutent du coût plus vite que de la précision, et une meilleure recherche coûte moins cher.
Questions fréquentes
Qu’est-ce qui pèse le plus dans le coût d’une réponse RAG ?
En général, les jetons envoyés au modèle de langage. Chaque passage récupéré que vous insérez dans le prompt est payé à chaque réponse : la taille du contexte est donc le premier levier à examiner.
La base vectorielle est-elle chère ?
Elle représente souvent la plus petite part. Elle devient significative avec des dizaines de millions de fragments ou lorsque tout est conservé en mémoire. L’élagage et le stockage par niveaux aident.
Le reclassement se rentabilise-t-il ?
Il le peut, lorsqu’un meilleur ordre permet d’envoyer moins de passages au modèle. Vérifiez si les jetons d’entrée économisés compensent l’appel supplémentaire.
Pourquoi les jetons en sortie figurent-ils dans le modèle ?
Ils sont facturés à un multiple des jetons en entrée. Une réponse bavarde coûte plus qu’une réponse concise pour une même taille de contexte.
Comment trouver le point de rupture ?
Appuyez sur « Trouver mon point de rupture ». L’outil pousse chaque entrée vers son extrémité la plus défavorable et indique la valeur à laquelle le bénéfice mensuel atteint zéro.
Quelle est la précision de ce simulateur ?
C’est un modèle pédagogique aux hypothèses explicites, et non un conseil financier. Utilisez vos propres journaux de jetons et vos factures, et vérifiez les tarifs actuels des fournisseurs.
Il s'agit d'un modèle de planification à visée pédagogique, fondé sur des hypothèses explicites. Il ne constitue ni un conseil financier, ni un conseil fiscal, ni un conseil juridique. Remplacez les données par vos propres chiffres et faites valider les décisions importantes par un professionnel qualifié.