上线前必须搞定的安全合规——不是理论,是实操清单。从 Prompt Injection 防护到 GDPR 合规,从数据隔离到红队测试。
2025 年 5 月更新 · 数据采集日期标注于各页面用户通过 Prompt Injection 成功提取 GPT-4 的系统提示词,引发行业对 Prompt Injection 防护的重视
研究者发现可以通过图片中嵌入文字实现多模态 Prompt Injection,绕过文本层过滤
研究者展示通过外部数据源(网页、邮件)嵌入隐藏指令,间接操控 LLM 行为
Redis 缓存 bug 导致部分用户看到其他用户的对话标题,暴露了多租户隔离的关键性
国内 AI 产品必须完成算法备案、内容审核,合规门槛大幅提高
欧盟通过全球首部 AI 综合监管法律,对高风险 AI 系统提出严格合规要求
OpenAI 发布官方红队测试方法论,推动行业标准化安全评估
研究者证明 Copilot 在特定提示下会输出来自私有仓库的代码片段,引发版权和数据隔离讨论
意大利数据保护机构对多家 AI 公司因缺乏透明度和用户数据控制机制开出罚单
安全研究者对 DeepSeek R1 进行系统性红队测试,发现多种绕过安全对齐的方式
OpenAI Agents SDK 内置 Guardrails、Anthropic 发布 Agent 安全最佳实践,行业从模型安全走向系统安全
用户输入
│
▼
┌─────────────────────────┐
│ Layer 1: 输入验证 │ ← prompt-injection-defense.html
│ · 格式检查 │
│ · 指令检测 │
│ · 长度/结构限制 │
└───────────┬─────────────┘
│
▼
┌─────────────────────────┐
│ Layer 2: 系统提示词隔离 │ ← prompt-injection-defense.html
│ · 用户输入与系统指令分离 │
│ · 标记化隔离 │
│ · Context Boundary │
└───────────┬─────────────┘
│
▼
┌─────────────────────────┐
│ Layer 3: LLM 推理 │
│ · Constitutional AI │
│ · 安全对齐训练 │
│ · 模型级拒绝 │
└───────────┬─────────────┘
│
▼
┌─────────────────────────┐
│ Layer 4: 输出过滤 │ ← output-filtering.html
│ · 有害内容检测 │
│ · PII 脱敏 │
│ · 版权内容过滤 │
└───────────┬─────────────┘
│
▼
┌─────────────────────────┐
│ Layer 5: 数据隔离 │ ← data-isolation.html
│ · 多租户隔离 │
│ · 加密存储 │
│ · 访问控制 │
└───────────┬─────────────┘
│
▼
┌─────────────────────────┐
│ Layer 6: 审计与合规 │ ← gdpr / china-compliance
│ · 日志记录 │
│ · 数据导出/删除 │
│ · 监管报告 │
└─────────────────────────┘