核心矛盾: NVIDIA 的护城河不在 GPU 硬件，而在 CUDA 生态。400万+开发者用 CUDA。
解构 CUDA:
1. 编译器 — NVCC → 将 CUDA C++ 编译为 GPU 代码
2. 算子库 — cuDNN/cuBLAS/cutlass → 优化的 ML 算子
3. 运行时 — CUDA Runtime → 内存管理/调度/流
4. 工具链 — Nsight/NVProf → 性能分析
替代机会: 每个 AI 芯片 (AMD/Intel/Huawei/Cerebras/Groq) 都需要自己的 "CUDA"。这是巨大的软件市场。
TAM 细分:
• 编译器 & 推理框架: $1.2B (31.6%)
• 算子库 & 运行时: $1.0B (26.3%)
• 性能分析 & 优化: $0.6B (15.8%)
• 模型移植 & 自动调优: $0.5B (13.2%)
• 开发者工具 & IDE: $0.3B (7.9%)
• 其他 (驱动/调试器): $0.2B (5.3%)
| 公司 | 融资额/估值 | 阶段 | 核心产品 | 投资方 | 最新轮次 |
|---|---|---|---|---|---|
| Modular (MOJO) | $130M / $600M+ | B轮 | Mojo 语言 + MAX 引擎 | General Catalyst, GV, AMD | 2024 B轮 |
| Tenstorrent | $334M+ | D轮 | 开源 AI 芯片 + 软件栈 | Hyundai, Samsung, LGE | 2024 D轮 |
| Graphcore | $700M+ | 被收购 | IPU + Poplar 软件栈 | SoftBank (收购) | 2024 被 SoftBank 收购 |
| Groq | $367M / $2.8B | C轮 | LPU 推理芯片 + API | Tiger Global, D1 Capital | 2024 C轮 |
| SambaNova | $1.6B+ | D轮 | SN40L + 软件栈 | SoftBank, Intel Capital, GV | 2021 D轮 |
| Cerebras | $720M+ (IPO) | 已提交IPO | WSE-3 + 软件栈 | Alpha Wave, Benchmark | 2024 提交 S-1 |
| Advanced Micro Devices | — (上市公司) | — | ROCm + MI 系列 | — | — |
| Intel (Habana) | — (上市公司) | — | oneAPI + Gaudi | — | — |
| 华为 (Ascend) | — (内部) | — | CANN + MindSpore | — | — |
| 寒武纪 | ¥70亿+ IPO | 上市 | Cambricon Neuware | — | 2020 科创板上市 |
• Modular B轮 $100M — Mojo 语言试图成为 AI 统一编程语言，已与 AMD 深度合作
• Groq C轮 $300M @ $2.8B 估值 — LPU 推理芯片 + cloud API，定位 "推理即服务"
• Graphcore 被 SoftBank 收购 — IPU 硬件失败但 Poplar 软件栈被保留，反映软件价值
• Cerebras 提交 IPO — WSE-3 晶圆级芯片，软件栈是差异化核心
• Tenstorrent 开源路线 — RISC-V + 开源软件栈，试图绕过 CUDA 生态壁垒
| 维度 | NVIDIA CUDA | AMD ROCm | Intel oneAPI | 华为 CANN | Modular MAX | Apache TVM | OpenAI Triton | GroqAPI |
|---|---|---|---|---|---|---|---|---|
| 开源程度 | 闭源 | 开源 | 开源(核心) | 闭源 | 部分开源 | 开源 | 开源 | 闭源 API |
| 开发者生态 | 400万+ | ~20万 | ~15万 | ~10万 | ~5万 | ~8万 | ~10万 | ~2万 |
| 硬件支持 | NVIDIA GPU | AMD GPU | Intel CPU/GPU/FPGA | Ascend NPU | 多硬件 | 多硬件 | NVIDIA/AMD | Groq LPU |
| 编译器成熟度 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐ |
| 算子库丰富度 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ |
| 性能调优工具 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐ |
| 模型兼容性 | 全模型 | 主流模型 | 主流模型 | 部分模型 | 部分模型 | 主流模型 | 主流模型 | LLM 为主 |
| 迁移难度 | 基准 | 中等 | 中等 | 高 | 低 | 低 | 低 | 极低(API) |
| 商业模式 | 绑定硬件 | 绑定硬件 | 绑定硬件 | 绑定硬件 | 开源+SaaS | 开源+服务 | 开源 | 推理 API |
痛点: 模型从 NVIDIA 移植到 AMD/Intel/华为很痛苦。缺乏自动化工具。迁移一个模型通常需要 2-8 周。
轻资产路径: 移植 SaaS — 上传 ONNX → 自动移植+优化 → 目标芯片部署包
MVP: 3 个月。先支持 NVIDIA→AMD 最常见场景。Web UI + API。
启动成本: <$5K (云 GPU 按需)
1人可行: ✅ 核心是 TVM + 各厂商 SDK
关键技能: ML 编译器、多硬件优化、ONNX
定价参考: $500-5000/次移植，或 $2K-10K/月订阅
痛点: Triton 正在成为 CUDA 的替代，但算子生态远不如 CUDA。定制算子开发需求大。OpenAI 内部已在全面用 Triton 替代 CUDA kernel。
轻资产路径: 算子开发+市场 — 开发通用算子 → 按需定制 → 市场平台
MVP: 2 个月。先做 10 个最常用算子 (Attention/FFN/LayerNorm) 的 Triton 实现。
启动成本: <$3K
1人可行: ✅ 核心是 Triton + GPU 架构知识
关键技能: GPU 编程、Triton、算子优化
定价参考: 算子 $200-2000/个，定制 $5K-20K/项目
痛点: 大多数团队不会优化 GPU 推理。性能差距 3-10x。一个优化好的 LLM 推理可以节省 60-80% GPU 成本。
轻资产路径: 优化咨询+工具 — 性能分析 → 优化建议+实现 → 计费
MVP: 1 个月。先做 LLM 推理优化 (最热门)。提供 benchmark 报告。
启动成本: <$3K
1人可行: ✅ 核心是 Nsight + 优化经验
关键技能: GPU 性能调优、CUDA/Triton、ML 模型
定价参考: $10K-50K/优化项目，或按节省成本分成
痛点: 企业同时用 NVIDIA/AMD/自研芯片，推理调度复杂。缺乏统一入口。
轻资产路径: 推理网关 — 统一 API → 路由到最优芯片 → 成本优化
MVP: 4 个月。先支持 NVIDIA + AMD 两家，自动选最便宜的。
启动成本: <$10K
1人可行: ⚠️ 需要 2 人 (硬件+软件)
关键技能: 推理引擎、云架构、成本优化
定价参考: 抽取推理费用 5-15%
痛点: 芯片厂商自己发布的 benchmark 不客观。缺乏第三方独立评测。
轻资产路径: SaaS 评测平台 — 标准化 benchmark → 跑分 → 可视化报告
MVP: 2 个月。先做 LLM 推理 benchmark (最热门场景)。
启动成本: <$8K (需要多芯片租用)
1人可行: ✅ 核心是 benchmark 框架 + 云 GPU
关键技能: ML 系统评测、数据可视化
定价参考: 免费(引流) + $5K-20K 企业定制报告
痛点: 数百万行 CUDA 代码需要迁移到 Triton。纯手工迁移耗时巨大。
轻资产路径: LLM 辅助迁移工具 — 分析 CUDA kernel → 生成 Triton 等价代码 → 验证
MVP: 3 个月。先支持最常见的 20 种 CUDA kernel 模式。
启动成本: <$5K
1人可行: ✅ 核心是 LLM + CUDA/Triton 知识
关键技能: CUDA、Triton、LLM prompt engineering
定价参考: $1K-5K/项目，或按代码行数计费
| 公司 | 软件栈 | 定位 | 出海策略 | 海外挑战 |
|---|---|---|---|---|
| 华为 Ascend | CANN + MindSpore | 国内 AI 芯片 #1 | 东南亚/中东/非洲 (非制裁区) | 制裁限制、生态弱 |
| 寒武纪 | Neuware | AI 推理/训练芯片 | 暂无明确出海 | 制裁清单、CUDA 兼容 |
| 壁仞科技 | BIRENSUPA | GPU + 软件栈 | 中东/东南亚 | 制裁、生态起步 |
| 燧原科技 | Enflame 软件 | 云端推理/训练 | 与云厂商合作出海 | 规模小、品牌弱 |
| 摩尔线程 | MUSA | 全功能 GPU | 消费级产品出海 | CUDA 兼容层法律风险 |
| 天数智芯 | CoreX 软件 | 云端训练芯片 | 研究合作 | 规模极小 |
| Tenstorrent (Lattner) | 开源软件栈 | RISC-V AI 芯片 | 总部在北美，全球销售 | 与国内无关联 |
中国芯片软件栈出海的 3 条路径:
1. 非制裁市场 (中东/东南亚/非洲/拉美) — 华为已在中东有布局。但 CUDA 生态仍是最大障碍。
2. 开源生态切入 — 通过 TVM/Triton 贡献，建立国际影响力。寒武纪已在 TVM 社区活跃。
3. 端侧/边缘场景 — 端侧 AI 芯片受制裁影响较小，软件栈可随硬件出海。
出海最大挑战:
• CUDA 生态锁定 — 海外开发者第一选择仍是 NVIDIA
• 制裁风险 — 实体清单影响技术和市场
• 本地化支持 — 软件栈需要本地开发者社区和文档
• 品牌信任 — 海外企业对中国 AI 芯片信任度低
| 风险类别 | 严重度 | 描述 | 应对策略 |
|---|---|---|---|
| NVIDIA 反击 | 🔴 极高 | NVIDIA 持续投入 CUDA 生态，主动兼容 Triton，削弱替代动力 | 专注 NVIDIA 不做的细分场景 (多芯片统一、开源定制) |
| 碎片化 | 🟠 高 | 每家芯片一套软件栈，开发者疲于学习，最终回归 CUDA | 做跨硬件统一层 (TVM/MLIR)，而非单一芯片栈 |
| 开源免费 | 🟠 高 | ROCm/oneAPI/TVM/Triton 全免费，商业模式困难 | 卖服务/优化，不卖软件许可 |
| 硬件绑定 | 🟡 中 | 软件栈价值与芯片销量绑定，芯片失败则软件无价值 | 做硬件无关的中间层 |
| 人才稀缺 | 🟡 中 | ML 编译器人才极度稀缺，全球 <5000 人 | 远程招聘、培训体系、开源社区培育 |
| 技术风险 | 🟡 中 | 编译器 bug 难以调试，性能回归风险 | 充分测试 + 渐进式迁移 |
发生了什么: Graphcore 筹集 $700M+，打造 IPU 芯片 + Poplar 软件栈。但 Poplar 与 CUDA 不兼容，
开发者迁移成本高，最终市场份额极低。2024 年被 SoftBank 收购，远低于预期估值。
教训: 硬件差异化 ≠ 软件差异化。如果软件栈不能降低迁移成本，开发者不会来。
芯片公司需要的是 "CUDA 兼容 + 增强"，而非 "CUDA 替代"。
发生了什么: Wave Computing 的 DPU 架构 + 软件栈试图颠覆 GPU，但软件兼容性差，
无法运行主流 ML 框架。2020 年破产。
教训: 不支持 PyTorch/TensorFlow 的软件栈，在 2020 年后已经没有市场。
兼容性不是可选项，是生存前提。
现状: AMD 投入巨大资源打造 ROCm，但开发者体验远不如 CUDA。MI300X 硬件性能接近 H100，
但软件栈仍需 2-3 倍调优时间。
启示: 即使有顶级硬件 + 大量资源，追平 CUDA 软件生态仍需 5-10 年。
创业者不应该试图 "替代 CUDA"，而应该在 CUDA 之上或旁边做增量。