为什么端侧?: 隐私 (数据不出设备) + 延迟 (无需网络往返) + 成本 (无 API 费) + 可用性 (离线可用)。
TAM 细分 (2025):
• 端侧 AI 芯片 (NPU/AI加速器): $8.5B (45.5%) — 硬件层，Qualcomm/Apple/MediaTek
• 端侧推理引擎/框架: $3.2B (17.1%) — llama.cpp/ONNX/ExecuTorch
• 端侧 AI 应用: $3.8B (20.3%) — 相机/语音/翻译/Agent
• 端侧模型优化工具: $1.5B (8.0%) — 量化/蒸馏/剪枝
• 端侧 AI SDK/开发平台: $1.0B (5.3%) — 开发者工具
• 其他: $0.7B (3.7%)
三大驱动力:
1. 硬件就绪: Apple Neural Engine / Qualcomm Hexagon / MediaTek APU — 3B+ 设备已有 NPU
2. 模型小量化: Llama 3.2 1B/3B / Phi-3 / Gemma 2 — 手机可跑的 LLM 已出现
3. Apple Intelligence: 苹果全力推进端侧 AI，生态效应巨大
| 公司 | 融资额/估值 | 阶段 | 核心产品 | 投资方 | 最新轮次 |
|---|---|---|---|---|---|
| Qualcomm | — (上市公司) | — | Hexagon NPU + AI Hub | — | — |
| Apple | — (上市公司) | — | Neural Engine + Core ML | — | — |
| MediaTek | — (上市公司) | — | APU + NeuroPilot | — | — |
| MLC AI (MLC-LLM) | $12M | 种子轮 | 通用 LLM 编译部署 | — | 2024 种子轮 |
| Modal | $72M | B轮 | AI 推理云 (端云协同) | Redpoint, a16z | 2024 B轮 |
| OctoAI | $39M | B轮 | AI 推理优化 | Amplify, Madrona | 2023 B轮 |
| Edge Impulse | $44M | B轮 | 边缘 ML 开发平台 | DCM, Baseline | 2023 B轮 |
| Neural Magic | $50M (被收购) | 被收购 | 稀疏推理优化 | Red Hat (收购) | 2024 被 Red Hat 收购 |
| 维度 | llama.cpp | MLC-LLM | ExecuTorch | Core ML | ONNX Runtime | SNPE |
|---|---|---|---|---|---|---|
| 开发者 | 社区 (Georgi Gerganov) | CMU/MLC AI | Meta | Apple | Microsoft | Qualcomm |
| 支持平台 | iOS/Android/Mac/Linux/Win | iOS/Android/WebGPU | iOS/Android | iOS/macOS | 全平台 | Android (Qualcomm) |
| 量化支持 | ⭐⭐⭐⭐⭐ (GGUF) | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| NPU 利用 | ⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| LLM 支持 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
| 开源 | ✅ | ✅ | ✅ | ❌ | ✅ | ❌ |
| 移动端优化 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 成熟度 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
痛点: 将 LLM 部署到手机/嵌入式设备需要大量优化——量化、编译、NPU 适配。每个团队重复造轮子。
轻资产路径: SaaS — 上传模型 → 自动量化+编译 → 输出各平台部署包 (iOS/Android/WebGPU)
MVP: 2 个月。先做 Llama 3.2/Phi-3 的 GGUF 和 Core ML 转换。
启动成本: <$5K
1人可行: ✅ 核心是 llama.cpp + ONNX + Core ML 工具链封装
关键技能: 模型量化、编译优化、跨平台
定价参考: $0.1-1/模型转换 或 $100-500/月/团队
痛点: 移动开发者不会做 AI——需要 "端侧 AI 版 Firebase"。从模型选择到部署优化全链路。
轻资产路径: iOS/Android SDK — 一行代码接入端侧 LLM，自动处理量化/NPU/回退
MVP: 2 个月。先做 iOS SDK (Core ML 生态更统一)。
启动成本: <$3K
1人可行: ✅ 核心是封装 llama.cpp/Core ML
关键技能: iOS/Android 开发、ML 推理、SDK 设计
定价参考: 免费(开源SDK) + $50-200/月/应用(云端/分析)
痛点: 端侧 AI 性能缺乏统一基准——不同设备/NPU/模型组合表现差异巨大。开发者不知道该用哪个模型。
轻资产路径: 基准 SaaS — 自动测试各设备推理速度/内存/功耗 → 优化建议
MVP: 2 个月。先做 iPhone 15/16 + Pixel 8/9 的基准测试。
启动成本: <$5K
1人可行: ✅ 核心是基准框架 + 设备矩阵
关键技能: 性能测试、ML 推理、设备生态
定价参考: 免费(基础) + $100-500/月(详细报告)
痛点: 敏感数据 (日记/健康/财务) 不应上传云端。端侧 AI 可以实现 "数据不出设备"。
轻资产路径: 垂直应用 — 端侧隐私 AI (日记助手/健康分析/财务分析/心理咨询)
MVP: 2 个月。先做端侧日记/笔记 AI 助手。
启动成本: <$3K
1人可行: ✅ 核心是端侧 LLM + 隐私设计
关键技能: iOS 开发、端侧推理、隐私设计
定价参考: $5-15/月 或 买断 $30-80
痛点: 复杂任务端侧不够用，简单任务云端太贵。需要智能路由——简单任务端侧处理，复杂任务回退云端。
轻资产路径: 推理网关 SDK — 自动判断任务复杂度 → 端侧 or 云端路由
MVP: 3 个月。先做文本生成场景的端云路由。
启动成本: <$5K
1人可行: ✅ 核心是路由算法 + 端侧/云端推理
关键技能: LLM 推理、路由算法、SDK 设计
定价参考: 免费SDK + 云端推理按量收费
| 公司 | 核心产品 | 定位 | 出海策略 | 海外挑战 |
|---|---|---|---|---|
| MediaTek | APU + NeuroPilot | 全球端侧 AI 芯片 #2 | 已是全球公司 | — |
| 阿里 Qwen | Qwen2.5 0.5B-3B | 中文端侧模型领先 | 开源模型全球可用 | 非中文场景优化 |
| 华为麒麟 | NPU + MindSpore Lite | 国产端侧 AI 全栈 | 跟随华为手机 | 制裁/生态封闭 |
| 小米/OPPO/vivo | 端侧 AI 应用 | 手机端侧 AI 体验 | 跟随手机出海 | 本地化/合规 |
| 寒武纪 | 边缘 AI 芯片 | 国产边缘推理芯片 | 研究阶段 | — |
独特优势: MediaTek 是全球第二大手机芯片商; Qwen 端侧模型开源且质量高; 中国手机品牌全球份额 40%+。
可行出海路径:
1. 端侧模型开源 — Qwen 2.5 小模型已在全球 HuggingFace 排行榜前列，以开源换影响力
2. 跟随手机品牌 — 小米/OPPO/vivo 海外 10 亿+用户，端侧 AI 应用随手机出海
3. 隐私 AI 应用 — 全球隐私需求增长，端侧隐私应用无国界
核心挑战: Apple/Google 控制移动 OS 生态; 端侧模型非中文场景优化不足; 海外合规 (数据/隐私) 复杂。
| 风险类别 | 严重度 | 描述 | 应对策略 |
|---|---|---|---|
| 平台锁定 | 🔴 极高 | Apple/Google 控制移动 OS，可能限制第三方 AI 部署 | 跨平台策略 + WebGPU (浏览器端) 作为后备 |
| 性能天花板 | 🟠 高 | 端侧 NPU 算力远不如云端 GPU，复杂任务无法完成 | 端云协同架构，简单端侧+复杂云端 |
| 碎片化 | 🟠 高 | Android 设备/NPU 碎片化严重，适配成本高 | 优先支持 iOS (生态统一) + 高端 Android |
| 大厂自建 | 🟡 中 | Apple/Google/Qualcomm 都在自建端侧 AI 工具 | 做垂直/跨平台/开发者体验差异化 |
| 模型质量 | 🟡 中 | 小模型能力有限，用户期望来自 GPT-4 体验 | 管理预期 + 巧妙设计端侧能力边界 |
现状: Apple Core ML 是端侧 AI 部署的事实标准 (iOS)，但只有 Apple 自己的工具链最顺畅。第三方工具 (如 MLflow) 集成 Core ML 需要大量适配。
启示: 平台厂商会优先优化自家工具链。创业者的机会在 "跨平台" 和 "开发者体验" — 做平台厂商不做的事。
| 方向 | LLM/API 成本/月 | 云服务器 | 数据/设备成本 | 首年总成本 | 盈亏平衡 | 关键变量 |
|---|---|---|---|---|---|---|
| 模型部署服务 | $200-800 | $500-3K | 测试设备 ¥20K | $18K-40K | 30-100 团队 | 跨平台兼容性 |
| 端侧 AI SDK | $100-500 | $200-800 | 开发者账号 ¥5K | $8K-18K | 100-500 应用 | SDK 易用性 |
| 基准测试平台 | $100-300 | $300-1.5K | 测试设备 ¥30K | $15K-30K | 50-200 开发者 | 设备覆盖面 |
| 隐私 AI 应用 | $0 (端侧) | $100-300 | Apple 开发者 ¥1K | $5K-10K | 5K-20K 用户 | 用户付费意愿 |
| 端云网关 | $500-2K | $500-3K | API 费用 ¥10K | $20K-45K | 20-80 企业 | 路由准确度 |
| 时间 | 里程碑 | 影响 |
|---|---|---|
| 2017 | Apple A11 仿生芯片 — 首个手机 NPU | 🟢 端侧 AI 硬件元年 |
| 2019 | Core ML 3 发布 — 支持设备端训练 | 🟡 Apple 端侧 AI 生态起步 |
| 2023.03 | llama.cpp 发布 — LLM 可在笔记本运行 | 🟢 LLM 端侧部署成为可能 |
| 2023.09 | MLC-LLM 发布 — LLM 可在手机 GPU 运行 | 🟢 手机端 LLM 从概念到现实 |
| 2023.09 | iPhone 15 Pro — 首个支持端侧 LLM 的手机 | 🟢 消费级端侧 AI 设备出现 |
| 2024.06 | Apple Intelligence 发布 — 端云协同架构 | 🟢 端侧 AI 成为主流消费者概念 |
| 2024.09 | Llama 3.2 1B/3B 发布 — Meta 端侧模型 | 🟢 开源端侧 LLM 质量飞跃 |
| 2025 预测 | 端侧 LLM 成为手机标配功能 | 🟢 从 "可以跑" 到 "人人用" |
| 2026 预测 | 端侧 Agent 自主完成日常任务 | 🟢 手机 AI 从助手变为代理 |
| 层级 | 工具/框架 | 功能 | 跨平台 | AI 原生 |
|---|---|---|---|---|
| 模型优化 | llama.cpp/GGUF | 4/8-bit 量化，内存优化 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 模型优化 | ONNX Runtime | 格式转换+量化+优化 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ |
| 模型优化 | Core ML Tools | Apple 专用转换+优化 | ⭐⭐ | ⭐⭐⭐ |
| 推理引擎 | llama.cpp | CPU/GPU LLM 推理 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 推理引擎 | MLC-LLM | 编译优化，手机 GPU | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ |
| 推理引擎 | ExecuTorch | PyTorch 端侧推理 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ |
| NPU 接入 | Core ML/SNPE/NNAPI | 各平台 NPU 调用 | ⭐⭐⭐ | ⭐⭐⭐ |
| 端云协同 | Apple Private Cloud Compute | 隐私计算+云端回退 | ⭐⭐ | ⭐⭐⭐⭐⭐ |
最大痛点: 模型优化+编译+部署流程碎片化。从 HuggingFace 模型到手机可用，需要 5-10 步手动操作。
最大机会: 一键部署工具 — "HuggingFace → 手机" 的自动化流水线。
Apple 生态优势: Core ML 生态最统一 (iPhone 15+ 硬件一致)，开发者体验最好。
Android 生态挑战: 设备碎片化严重 (Qualcomm/MediaTek/Samsung NPU 各不同)，适配成本高。
建议: 先做 iOS (生态统一、付费意愿高)，再扩展 Android 高端设备。
为什么重要: WebGPU 让浏览器成为 AI 运行时 — 不需要安装任何 App，打开网页即可用 AI。
当前状态: Chrome/Safari 已支持 WebGPU; llama.cpp 有 WebGPU 后端; 3B 模型在浏览器里可达 10+ tok/s。
意义: 绕过 Apple/Google 的 App Store 生态控制，直接在浏览器里提供 AI 服务。
创业机会: WebGPU 端侧 AI SDK — 让开发者一次开发，浏览器+App 都能用。