🏗️ AI 基础设施赛道深度分析

🚪 AI Gateway — 统一 LLM 入口

管理、路由、代理所有 LLM API 调用的网关层

• LiteLLM — 开源 AI Gateway，100+ LLM 统一接口 (OpenAI 格式)。Python SDK + Proxy Server。核心: Virtual Keys + 花费追踪 + Guardrails + 负载均衡 + 管理面板。8ms P95 延迟 (1k RPS)。A2A Agent 网关 + MCP 工具网关。支持 Bedrock/Azure/VertexAI/Cohere/HuggingFace/vLLM/NVIDIA NIM 等。
• Helicone — AI Gateway + LLM 可观测。被 Mintlify 收购。路由 + 调试 + 分析。
• Portkey — AI Gateway + Guardrails + 可观测。
• OpenRouter — LLM 路由服务，200+ 模型。

📊 可观测 & 追踪 — AI 应用的仪表盘

追踪、调试、监控 LLM 调用链

• LangSmith — LangChain 的可观测平台。Debug + Evaluate + Monitor。Python/JS SDK，两行代码接入 (wrap_openai)。原生集成 LangChain。
• Langfuse — 开源 LLM 可观测。Tracing + Evaluation + Prompt Management。Dify 原生集成。
• Opik (Comet) — 开源 LLM 评估+可观测。Dify 原生集成。
• Arize Phoenix — 开源 LLM 可观测。Dify 原生集成。
• Helicone — 被 Mintlify 收购的 AI Gateway + 可观测。
• Weave (Weights & Biases) — LLM 实验追踪。

🔎 RAG 管线 — 让 LLM 接入知识

文档摄取 → 向量化 → 检索 → 注入 LLM

• Dify RAG Pipeline — 开箱即用: PDF/PPT/文档自动提取 → 检索。Docker Compose 一键部署 (2 Core + 4GB RAM)。
• LlamaIndex — RAG 框架，数据摄取 + 索引 + 查询。
• Unstructured.io — 非结构化文档解析。
• Pinecone/Weaviate/Chroma — 向量数据库。
• Cohere Rerank — 检索重排序 API。

📋 评估 & 测试 — AI 应用的 CI/CD

确保 AI 应用行为符合预期

• LangSmith Evaluate — 内置评估: 正确性 + 相关性 + 有害性。
• Promptfoo — 开源 LLM 评估框架，红队测试。
• Scale AI — 人类评估数据标注。
• Patronus AI — LLM 评估平台，企业级。
• Continue AI Checks — CI 中的 AI 代码质量检查。

🔵 看涨信号

• LiteLLM 支持 A2A + MCP — 信号: Gateway 从 "LLM 代理" 进化为 "Agent 代理"
• Helicone 被 Mintlify 收购 — 信号: AI Infra 并购市场开始
• Dify 支持 Opik/Langfuse/Phoenix — 信号: 可观测成为平台标配
• LangServe 废弃 → LangGraph Platform — 信号: Agent 编排是部署的未来
• LiteLLM 8ms P95 — 信号: Gateway 性能不再是瓶颈
• Virtual Keys + 花费追踪 — 信号: 企业级 API 管理需求爆发

🔴 风险信号

• LiteLLM 开源 = 基础 Gateway 已免费 — 信号: 纯 Gateway 难以收费
• OpenAI 做了 Responses API — 信号: 平台可能自己吃掉 Gateway 层
• LangSmith 闭源且绑定 LangChain — 信号: 供应商锁定风险
• AI Infra 碎片化严重 — 信号: 选择过多 = 决策困难
• 可观测成本本身也不低 — 信号: 小团队可能跳过可观测