Подробное руководство
Симулятор стоимости RAG и векторной базы данных: во сколько на самом деле обходится каждый ответ с поиском
Аналитический обзор отрасли
Генерация, дополненная поиском, выглядит как небольшое дополнение к чат-функции: вы сохраняете документы в виде векторов, находите лучшие отрывки для каждого вопроса и поручаете языковой модели написать ответ. Первый прототип почти ничего не стоит. Проблема появляется при больших объёмах, потому что каждый ответ повторяет одну и ту же цепочку платных шагов, а самый крупный из них — токены в запросе — не фиксирован. Он зависит от того, сколько текста вы добавляете. Функция, которая в тестах стоит долю цента, в промышленной эксплуатации может обходиться в несколько центов за ответ.
Суть задачи — расходы на ответ, наложенные на расходы за месяц. За каждый ответ вы платите за входные токены, выходные токены, возможный вызов переранжирования и чтение из базы данных. За месяц вы платите за хранение векторов в памяти, за повторное создание эмбеддингов для изменённых документов и за оценку качества и трассировку. Выручка привязана к ответам, поэтому маржа продукта — это разница между доходом на ответ и переменными расходами на ответ после распределения месячного слоя на весь объём.
Модель «эффекта домино» проходит это в пять шагов. Размер контекста и запрос задают число токенов на ответ. Вместе с ценой модели они определяют стоимость тысячи ответов. В сравнении с выручкой на ответ это даёт долю расходов. После расходов на наблюдаемость остаётся вклад в прибыль, а постоянные расходы команды решают месячную прибыль. Более длинный контекст, более дорогая модель или большая доля переранжирования каждый поднимают второй блок, и рост использования тогда не разбавляет ущерб, а умножает его.
Айсберг отделяет счёт, который вы замечаете, от тех, которых не замечаете. Над водой — входные токены модели и векторная база данных. Под водой — выходные токены, цена которых кратна цене входных, вызовы переранжирования при каждом поиске, стоимость повторного создания эмбеддингов по мере изменения документов, а также оценка качества, трассировка и логирование, которые нужны промышленным системам. Каждую из этих статей легко упустить в первоначальной оценке. Используйте симулятор, чтобы найти размер контекста или цену модели, при которых ваш месяц выходит в ноль, и решить, что сокращать в первую очередь.
Формулы и методология
Модель считает по месяцам. Выручка равна числу ответов, умноженному на выручку на ответ. Каждый ответ отправляет модели найденный контекст плюс фиксированный запрос и получает ответ фиксированной длины, цена которого в четыре раза выше входной. Векторная база данных оплачивается по объёму памяти: число фрагментов, умноженное на размерность эмбеддингов и на четыре байта, с накладными расходами индекса, по цене за гигабайт плюс плата за чтение на миллион запросов. Переранжирование оплачивается за поиск и применяется к выбранной доле запросов. Изменённые документы пересчитываются каждый месяц.
- Вход модели
- I = ответы × (контекст + токены запроса) ÷ 1e6 × цена
- Самая крупная статья для большинства продуктов; растёт вместе с размером контекста и числом ответов.
- Выход модели
- O = ответы × 350 токенов ÷ 1e6 × цена × 4
- Выходные токены стоят в несколько раз дороже входных, поэтому длинные ответы быстро накапливаются в расходах.
- Хранение векторов
- V = фрагменты × 1 536 × 4 байта × 1,5 × $5 за ГБ + чтение
- Векторы в памяти с накладными расходами индекса плюс плата за чтение на запрос.
- Переранжирование и повторные эмбеддинги
- R = ответы × доля переранжирования × $0,002 + фрагменты × 8% × 400 токенов × цена эмбеддинга
- Вызов при каждом переранжируемом поиске и ежемесячное обновление изменённых документов.
- Чистая прибыль
- Итог = выручка − I − O − V − R − наблюдаемость − постоянные
- Месячный результат. Точка разрыва — там, где он доходит до нуля.
Каскадная эластичность
Токены контекста и цена модели — самые чувствительные параметры, потому что они умножаются друг на друга, а затем на объём ответов. Выручка на ответ столь же сильна на стороне доходов. Доля переранжирования и размер индекса влияют мягче, но стабильно. Объём ответов действует в обе стороны: больше ответов приносит больше денег, но только пока доход на ответ остаётся выше переменных расходов на его создание.
Три реальных примера
Старт на собственных средствах
Небольшой бот поддержки с аккуратным индексом
Команда продукта индексирует несколько сотен тысяч фрагментов справочных статей и выдаёт шестьдесят тысяч ответов в месяц с помощью скромной модели, короткого контекста и небольшого переранжирования. Каждый ответ приносит хороший доход. Загрузите этот пример, чтобы увидеть, насколько доступен поиск, когда запрос компактен, а база знаний невелика.
Растущий средний бизнес
Ассистент с большим объёмом и эффективными запросами
Платформа выдаёт два с половиной миллиона ответов в месяц по шестидесяти миллионам фрагментов, но держит контекст коротким и использует недорогую модель. Выручка на ответ мала, зато объём велик. Загрузите этот пример, чтобы увидеть, как дисциплина в запросах превращает масштаб в прибыль и насколько она чувствительна к более дорогой модели.
Кризис типа «чёрный лебедь»
Огромный контекст на премиальной модели
Команда добавляет в каждый запрос пятнадцать тысяч токенов из документов, использует премиальную модель и переранжирует каждый поиск по ста миллионам фрагментов. Каждый ответ приносит всего два цента. Загрузите этот пример, чтобы увидеть, как одни токены модели превышают выручку, а месяц уходит глубоко в минус.
Матрица отраслевых ориентиров
| Показатель | Опасная зона | Среднее по отрасли | Лучшие 10 % |
|---|---|---|---|
| Расходы на модель и поиск как доля выручки | Выше 60% | 20–40% | Ниже 15% |
| Токены контекста на ответ | Больше 9 000 | 2 000–5 000 | Меньше 1 500 |
| Доля переранжируемых поисков | 100% при каждом поиске | 30–60% | Выборочно, менее 30% |
| Ежемесячная доля индекса, пересчитываемая заново | Выше 25% | 5–10% | Ниже 3% |
| Вклад в прибыль на ответ | Ниже 25% | 45–60% | Выше 70% |
Переменные и рычаги
Ответов в месяц
Число вопросов, на которые ваш продукт отвечает за месяц; каждый из них — это поиск плюс вызов модели.
Рычаг: Наращивайте использование, только когда стоимость ответа ниже выручки на ответ, и ограничивайте частоту запросов бесплатных пользователей, которые добавляют расходы, но не приносят дохода.
Выручка на ответ
Средний доход, приходящийся на один ответ: выручка от подписок или платы за использование, делённая на число выданных ответов.
Рычаг: Привяжите цену к использованию или добавьте более дорогой тариф для активных пользователей, чтобы доход на ответ следовал за счётом за модель.
Проиндексированные фрагменты
Число текстовых фрагментов, хранящихся в векторной базе данных, в миллионах.
Рычаг: Уберите дубликаты и лишнее из индекса, а редко используемый контент храните в более дешёвом хранилище: векторы в памяти оплачиваются каждый месяц.
Токены контекста на ответ
Найденные отрывки, добавляемые в запрос к модели для каждого ответа. Это самый крупный источник расходов на модель.
Рычаг: Извлекайте меньше отрывков, но лучше подобранных, и сокращайте их до отправки в запрос: входные токены оплачиваются при каждом ответе.
Цена модели за миллион входных токенов
Сколько языковая модель берёт за миллион входных токенов. Выходные токены стоят в несколько раз дороже.
Рычаг: Направляйте простые вопросы к более компактной модели и кэшируйте повторяющиеся ответы: цена токена умножает самую крупную статью.
Ответы с переранжированием
Доля поисков, которые проходят через модель переранжирования, чтобы улучшить порядок найденных отрывков.
Рычаг: Переранжируйте только неоднозначные поиски и используйте выигрыш в точности, чтобы сократить контекст, отправляемый модели.
Как пользоваться этим симулятором
- 1Введите число ответов в месяц и средний доход на ответ из данных биллинга.
- 2Добавьте среднее число токенов найденного контекста и цену модели за миллион входных токенов.
- 3Задайте число проиндексированных фрагментов и долю поисков, использующих переранжирование.
- 4Нажмите «Найти мою точку разрыва», чтобы увидеть, какой параметр первым доведёт прибыль до нуля.
- 5Сравните текущую архитектуру с более точным поиском за 24 месяца, включая затраты на внедрение.
Каких ошибок избегать
- Оценивать расходы по прототипу. Тестовый трафик использует короткие запросы и мало пользователей; в промышленной эксплуатации добавляются длинные контексты, повторные попытки и повторяющиеся вопросы.
- Забывать о выходных токенах. Ответы стоят дороже запросов в расчёте на токен, а длинные разговорчивые ответы незаметно увеличивают счёт.
- Считать индекс бесплатным. Векторы в памяти оплачиваются каждый месяц, независимо от того, обращается ли к ним кто-нибудь.
- Гнаться за качеством, наращивая контекст. С какого-то момента лишние отрывки добавляют расходы быстрее, чем точность, а улучшенный поиск обходится дешевле.
Часто задаваемые вопросы
Что сильнее всего влияет на стоимость ответа в RAG?
Обычно токены, отправляемые языковой модели. За каждый найденный отрывок, добавленный в запрос, вы платите при каждом ответе, поэтому размер контекста — первый рычаг, который стоит изучить.
Дорога ли векторная база данных?
Часто это меньшая часть расходов. Она становится заметной при десятках миллионов фрагментов или когда всё хранится в памяти. Помогают сокращение индекса и разделение по уровням хранения.
Окупается ли переранжирование?
Может, если лучший порядок позволяет отправлять модели меньше отрывков. Проверьте, перевешивает ли экономия на входных токенах стоимость дополнительного вызова.
Почему в модель включены выходные токены?
Они стоят в несколько раз дороже входных. Многословный ответ обходится дороже краткого при том же размере контекста.
Как найти точку разрыва?
Нажмите «Найти мою точку разрыва». Инструмент сдвигает каждый параметр в худшую сторону и показывает значение, при котором месячная прибыль становится равной нулю.
Насколько это точно?
Это учебная модель с заявленными допущениями, а не финансовая консультация. Используйте собственные журналы токенов и счета и уточните актуальные цены вендоров.
Это учебная модель планирования с заявленными допущениями. Она не является финансовой, налоговой или юридической консультацией. Подставьте собственные данные и проверяйте важные решения у квалифицированного специалиста.