5 个 AI SaaS 产品的成本优化历程——具体的数字、具体的方法、可复现的结果。
月活 5K 企业用户，日均 50K 对话，帮助中心文档 RAG 检索
# 实现规则路由：
# - 简单 FAQ → GPT-4o-mini ($0.15/$0.60 per 1M)
# - 复杂问题 → GPT-4o ($2.50/$10.00 per 1M)
# 路由逻辑：先查 FAQ 知识库，命中则用小模型
# 效果：80% 请求路由到 mini，成本从 $12K → $4.8K# 系统提示词 + 工具定义 + FAQ 上下文 = ~3000 tokens
# 这些内容每次请求都相同，放前面可以缓存
# 缓存命中率：~70%（系统提示词 + 常见 FAQ）
# 效果：输入 token 成本从 $4.8K → $3.3K# 客服对话通常 10+ 轮，历史越积越多
# 策略：保留最近 5 轮 + 之前摘要
# 效果：平均输入 token 从 4000 → 1500
# 成本从 $3.3K → $2.8K月活 20K 创作者，日均 10K 写作请求，文章平均 3000 字
# 写作任务分类：
# - 简单润色/语法修正 → Haiku ($0.80/$4.00)
# - 段落续写/改写 → Sonnet ($3/$15)
# - 长文章创作/深度编辑 → Opus ($15/$75)
#
# 结果：60% 润色用 Haiku，30% 续写用 Sonnet，10% 创作用 Opus
# 成本：$8.5K → $5.1K# 原来：每次发送整篇文章 + 编辑指令
# 现在：只发送编辑区域 ± 上下文
#
# 示例：用户修改第 3 段
# 旧方式：发送 3000 字 + 指令 = ~8000 tokens 输入
# 新方式：发送第 2-4 段 + 指令 = ~2000 tokens 输入
#
# 成本：$5.1K → $3.8K# 同一篇文章的多次编辑共享上下文
# 文章内容 + 写作风格 = 缓存前缀
# 缓存命中率：~60%
# 成本：$3.8K → $3.2K50 个企业客户，500 万文档，日均 20K 查询
# 从 text-embedding-3-large ($0.13/1M) 切换到 BGE-M3 本地部署
# 月度 Embedding 成本：$4500 → $0 (GPU 服务器成本已包含在基础设施中)
#
# 注意：初始索引需要一次性投入 GPU 时间
# 500万文档 × 500 tokens × $0.13/1M = $325 (一次性)
# 后续增量更新量小，本地即可# 原来：每次查询 → 检索 10 段 → 全部发给 LLM
# 现在：BM25 预筛 → 取 top 5 → 发给 LLM
#
# 效果：检索精度反而提高了（BM25 + 语义混合 > 纯语义）
# 输入 token 减少 50%
# LLM 成本：$10.5K → $7.5K# 文档索引更新、历史查询重新评分、报表生成 → Batch API
# 这些任务占 40% 的调用量，可以接受 1-2 小时延迟
#
# Batch API 半价：$7.5K → $5.2K (其中 40% 走 Batch)# 70% 的查询是简单的事实查找
# 这些用 DeepSeek V3 就够了 (¥0.50/1M ≈ $0.07/1M)
#
# 路由策略：
# - 简单查询 → DeepSeek V3
# - 复杂推理 → GPT-4o
#
# 成本：$5.2K → $3.5K10K 活跃开发者，日均 100K 补全 + 5K Chat
# 代码补全 (100K/天)：用快速小模型
# - 行级补全 → 自研小模型 / CodeStral-Mamba
# - 多行补全 → GPT-4o-mini
# 平均延迟 < 200ms
#
# Chat (5K/天)：用强模型
# - 架构问题 → Claude Sonnet
# - Debug → Claude Sonnet
#
# 成本：$20K → $10K# 原来：每次 Chat 发送完整代码文件 (平均 5000 tokens)
# 现在：RepoMap 结构化摘要 (平均 800 tokens)
# - 文件树
# - 类/函数签名
# - 聚焦文件完整内容
#
# 输入 token 减少 84%，但代码理解质量反而提高
# （因为有了全局结构视图，不只是局部代码片段）
#
# 成本：$10K → $7.5K# 代码补全的上下文（已写代码）是固定的
# 缓存补全前缀，相同前缀直接返回缓存结果
# 缓存命中率：~30%（常见代码模式重复率高）
#
# 成本：$7.5K → $6.5K200 企业客户，日均 30K 自然语言 → SQL 查询
# 每次查询都发送完整数据库 Schema (~5000 tokens)
# 同一客户的 Schema 完全相同！
#
# 策略：Schema 作为缓存前缀，命中率 95%
#
# 效果：输入成本降低 50%（95% 的输入 token 走缓存价）
# 成本：$9K → $5.4K# 60% 的查询是简单 SELECT/WHERE
# "查一下上个月的销售额" → 标准模板，不需要强推理
#
# 路由：
# - 模板匹配 → 模板生成 SQL (0 LLM 成本)
# - 简单查询 → GPT-4o-mini
# - 复杂 JOIN/聚合 → GPT-4o
#
# 成本：$5.4K → $3.2K# 相同查询 + 相同数据 → 直接返回缓存结果
# 数据不变时，相同 SQL 结果不变
#
# 缓存策略：查询 hash → 结果缓存 (TTL = 数据更新间隔)
# 缓存命中率：~30%
#
# 成本：$3.2K → $2.2K