심층 가이드
RAG 및 벡터 데이터베이스 비용 시뮬레이터: 검색 기반 답변 한 건에 실제로 드는 비용
업계 경영 분석
검색 증강 생성은 채팅 기능에 작은 부분을 더하는 것처럼 보입니다. 문서를 벡터로 저장하고, 질문마다 가장 알맞은 문단을 가져와, 언어 모델이 답변을 쓰게 하는 방식입니다. 첫 프로토타입은 거의 비용이 들지 않습니다. 문제는 규모에서 나타납니다. 모든 답변이 유료 단계의 같은 연쇄를 반복하고, 그중 가장 큰 프롬프트의 토큰은 고정되어 있지 않기 때문입니다. 얼마나 많은 텍스트를 붙여 넣느냐에 달려 있습니다. 테스트에서는 1센트의 일부에 불과하던 기능이 실제 운영에서는 답변당 수 센트가 들 수 있습니다.
이 문제의 구조는 답변당 비용 위에 월 비용이 쌓인 형태입니다. 답변마다 입력 토큰, 출력 토큰, 경우에 따라 리랭킹 호출과 데이터베이스 읽기에 비용을 지불합니다. 매달에는 벡터를 메모리에 유지하고, 바뀐 문서를 다시 임베딩하고, 평가와 추적을 운영하는 데 비용을 지불합니다. 매출은 답변에 연결되어 있으므로, 제품의 마진은 월 단위 비용을 물량에 나눠 반영한 뒤 답변당 수입과 답변당 변동비의 차이입니다.
도미노 모델은 이를 다섯 단계로 따라갑니다. 컨텍스트 크기와 프롬프트가 답변당 토큰을 정합니다. 모델 단가와 결합하면 답변 1,000건당 비용이 됩니다. 답변당 매출과 비교하면 비용 비중이 됩니다. 관측성 비용을 뺀 나머지가 공헌이익이고, 팀의 고정비가 월 이익을 결정합니다. 컨텍스트가 길어지거나 모델이 비싸지거나 리랭킹 비율이 높아지면 모두 두 번째 칸이 올라가고, 사용량이 늘면 그 손해가 희석되는 것이 아니라 오히려 배가됩니다.
빙산은 눈에 띄는 청구서와 그렇지 않은 청구서를 구분해 보여 줍니다. 수면 위에는 모델 입력 토큰과 벡터 데이터베이스가 있습니다. 수면 아래에는 입력의 몇 배로 책정되는 출력 토큰, 검색마다 발생하는 리랭킹 호출, 문서가 바뀔 때마다 드는 재임베딩 비용, 운영 시스템에 필요한 평가, 추적, 로깅이 있습니다. 이들은 초기 추정에서 빠뜨리기 쉽습니다. 시뮬레이터로 한 달의 이익이 0이 되는 컨텍스트 크기나 모델 단가를 찾고, 무엇부터 줄일지 결정하세요.
공식 및 방법론 설계도
이 모델은 월 단위로 계산합니다. 매출은 답변 수에 답변당 매출을 곱한 값입니다. 답변마다 검색된 컨텍스트와 고정 프롬프트를 모델에 보내고, 입력 단가의 4배로 책정된 고정 길이의 답변을 받습니다. 벡터 데이터베이스는 메모리 기준으로 과금되며, 청크 수에 임베딩 차원과 4바이트를 곱하고 인덱스 오버헤드를 더한 뒤 GB당 단가를 적용하고, 쿼리 100만 건당 읽기 요금을 더합니다. 리랭킹은 검색 건당 과금되며 선택한 비율의 쿼리에 적용됩니다. 바뀐 문서는 매달 다시 임베딩됩니다.
- 모델 입력
- I = 답변 수 × (컨텍스트 + 프롬프트 토큰) ÷ 1e6 × 단가
- 대부분의 제품에서 가장 큰 항목이며, 컨텍스트 크기와 답변 물량에 따라 커집니다.
- 모델 출력
- O = 답변 수 × 350 토큰 ÷ 1e6 × 단가 × 4
- 출력 토큰은 입력 토큰의 몇 배로 과금되므로 긴 답변은 빠르게 비용이 쌓입니다.
- 벡터 저장
- V = 청크 × 1,536 × 4바이트 × 1.5 × GB당 5달러 + 읽기
- 인덱스 오버헤드를 포함한 메모리 상주 벡터 비용에 쿼리당 읽기 요금을 더한 값입니다.
- 리랭킹과 재임베딩
- R = 답변 수 × 리랭킹 비율 × 0.002달러 + 청크 × 8% × 400 토큰 × 임베딩 단가
- 리랭킹한 검색마다 발생하는 호출 비용과 바뀐 문서의 월간 갱신 비용입니다.
- 순이익
- 순이익 = 매출 − I − O − V − R − 관측성 − 고정비
- 월간 결과입니다. 이 값이 0이 되는 지점이 한계점입니다.
연쇄 탄력성
컨텍스트 토큰과 모델 단가는 서로 곱해진 뒤 다시 답변 물량에 곱해지므로 가장 탄력적인 입력값입니다. 수입 측면에서는 답변당 매출이 그만큼 강력합니다. 리랭킹 비율과 인덱스 크기는 영향이 더 완만하지만 꾸준합니다. 답변 물량은 양면성이 있습니다. 답변이 많을수록 더 벌지만, 답변당 수입이 답변을 만드는 변동비보다 높은 동안에만 그렇습니다.
실제 사례 세 가지
자기 자본으로 시작하는 스타트업
깔끔한 인덱스를 갖춘 소규모 지원 봇
제품 팀이 도움말 문서 수십만 개의 청크를 인덱싱하고, 적당한 모델과 짧은 컨텍스트, 적은 리랭킹으로 월 6만 건의 답변을 제공합니다. 답변마다 수익이 충분합니다. 이 사례를 불러오면 프롬프트가 간결하고 지식 베이스가 작을 때 검색이 얼마나 감당할 만한지 확인할 수 있습니다.
성장 중인 중견 기업
프롬프트를 효율적으로 쓰는 대용량 어시스턴트
플랫폼이 6천만 개 청크를 대상으로 월 250만 건의 답변을 제공하지만, 컨텍스트를 짧게 유지하고 저렴한 모델을 씁니다. 답변당 매출은 얇지만 물량이 큽니다. 이 사례를 불러오면 프롬프트 관리가 규모를 이익으로 바꾸는 방식과, 더 비싼 모델에 얼마나 민감한지 알 수 있습니다.
블랙 스완 위기
프리미엄 모델에 거대한 컨텍스트
팀이 프롬프트마다 문서 1만 5천 토큰을 붙여 넣고, 프리미엄 모델을 쓰며, 1억 개 청크에 대한 모든 검색을 리랭킹합니다. 답변 한 건의 수입은 2센트에 불과합니다. 이 사례를 불러오면 모델 토큰 비용만으로 매출을 넘어서고 한 달 결과가 크게 마이너스로 돌아서는 모습을 볼 수 있습니다.
업계 벤치마크 매트릭스
| 지표 | 위험 구간 | 업계 평균 | 상위 10% 우수 기업 |
|---|---|---|---|
| 매출 대비 모델 및 검색 비용 비중 | 60% 초과 | 20–40% | 15% 미만 |
| 답변당 컨텍스트 토큰 | 9,000 초과 | 2,000–5,000 | 1,500 미만 |
| 리랭킹하는 검색의 비율 | 모든 검색에 100% | 30–60% | 선별 적용, 30% 미만 |
| 인덱스 중 월간 재임베딩 비율 | 25% 초과 | 5–10% | 3% 미만 |
| 답변당 공헌이익률 | 25% 미만 | 45–60% | 70% 초과 |
변수와 레버
월간 답변 수
제품이 한 달 동안 답하는 질문 수이며, 각 질문은 검색 한 번과 모델 호출 한 번으로 이루어집니다.
레버: 답변당 비용이 답변당 매출보다 낮아진 뒤에 사용량을 늘리고, 비용만 발생시키고 수입은 없는 무료 사용자에게는 호출 제한을 두세요.
답변당 매출
구독료나 사용 요금을 제공한 답변 수로 나눈, 답변 한 건에 귀속되는 평균 수입입니다.
레버: 사용량 기준으로 과금하거나 헤비 사용자를 위한 상위 요금제를 추가해, 답변당 수입이 모델 청구서를 따라가도록 하세요.
인덱싱된 청크
벡터 데이터베이스에 저장된 텍스트 청크의 수이며, 백만 개 단위입니다.
레버: 인덱스의 중복을 제거하고 정리하며, 거의 쓰지 않는 콘텐츠는 더 저렴한 저장소에 두세요. 메모리에 올라간 벡터는 매달 과금됩니다.
답변당 컨텍스트 토큰
답변마다 프롬프트에 붙여 넣는 검색된 문단입니다. 모델 비용의 가장 큰 동인입니다.
레버: 더 적은 수의 더 좋은 문단을 검색하고 프롬프트에 넣기 전에 다듬으세요. 입력 토큰은 모든 답변마다 비용이 발생합니다.
입력 토큰 100만 개당 모델 단가
언어 모델이 입력 토큰 100만 개당 청구하는 금액입니다. 출력 토큰은 이 단가의 몇 배로 책정됩니다.
레버: 단순한 질문은 더 작은 모델로 보내고 반복되는 답변은 캐시하세요. 토큰 단가는 가장 큰 비용 항목에 곱해집니다.
리랭킹을 쓰는 답변
검색된 문단의 순서를 개선하기 위해 리랭킹 모델을 거치는 검색의 비율입니다.
레버: 애매한 검색에만 리랭킹을 적용하고, 정밀도가 높아진 만큼 모델에 보내는 컨텍스트를 줄이세요.
이 시뮬레이터 사용 방법
- 1청구 데이터에서 월간 답변 수와 답변당 평균 수입을 입력하세요.
- 2검색된 컨텍스트의 평균 토큰 수와 모델의 입력 토큰 100만 개당 단가를 입력하세요.
- 3인덱싱된 청크 수와 리랭킹을 쓰는 검색의 비율을 설정하세요.
- 4「나의 한계점 찾기」를 눌러 어떤 입력값이 이익을 가장 먼저 0으로 만드는지 확인하세요.
- 5현재 설계와 더 정교한 검색을 구축 비용을 포함해 24개월 동안 비교하세요.
피해야 할 실수
- 프로토타입으로 비용을 추정하는 것. 테스트 트래픽은 프롬프트가 짧고 사용자가 적지만, 실제 운영에는 긴 컨텍스트, 재시도, 반복되는 질문이 더해집니다.
- 출력 토큰을 잊는 것. 답변은 프롬프트보다 토큰당 단가가 높아서, 길고 수다스러운 응답이 청구서를 조용히 키웁니다.
- 인덱스를 공짜로 여기는 것. 메모리에 올라간 벡터는 아무도 질의하지 않아도 매달 과금됩니다.
- 품질을 위해 컨텍스트를 끝없이 키우는 것. 어느 지점을 넘으면 문단을 더할수록 정확도보다 비용이 빠르게 늘고, 더 나은 검색이 더 저렴합니다.
자주 묻는 질문
RAG 답변의 비용을 가장 크게 좌우하는 것은 무엇인가요?
보통 언어 모델로 보내는 토큰입니다. 프롬프트에 붙여 넣는 검색된 문단은 모든 답변마다 비용이 발생하므로, 컨텍스트 크기가 가장 먼저 살펴볼 레버입니다.
벡터 데이터베이스는 비싼가요?
대개는 더 작은 부분입니다. 청크가 수천만 개이거나 모든 것을 메모리에 올려 둘 때 의미 있는 비용이 됩니다. 정리와 계층화가 도움이 됩니다.
리랭킹은 비용을 만회하나요?
더 나은 정렬 덕분에 모델에 보내는 문단 수를 줄일 수 있다면 그럴 수 있습니다. 절약된 입력 토큰이 추가 호출 비용보다 큰지 시험해 보세요.
모델에 출력 토큰이 왜 들어 있나요?
출력 토큰은 입력 토큰의 몇 배로 과금됩니다. 같은 컨텍스트 크기에서도 장황한 답변은 간결한 답변보다 비용이 더 듭니다.
한계점은 어떻게 찾나요?
「나의 한계점 찾기」를 누르세요. 도구가 각 입력값을 더 나쁜 쪽으로 움직여 월 이익이 0이 되는 값을 알려 줍니다.
이 결과는 얼마나 정확한가요?
명시된 가정에 기반한 교육용 모델이며 재무 자문이 아닙니다. 실제 토큰 로그와 청구서를 사용하고, 공급업체의 최신 요금을 확인하세요.
이 모델은 명시된 가정에 기반한 교육용 계획 모델입니다. 재무, 세무 또는 법률 자문이 아닙니다. 입력값을 본인의 수치로 바꾸시고, 중요한 결정은 반드시 자격을 갖춘 전문가와 확인하시기 바랍니다.