📘 第27课:回滚策略
生产部署
⏪ 回滚:安全网
部署出问题时,快速回滚是止损的最佳手段。好的回滚策略让你从容应对故障。
📋 Docker Compose回滚
# 方法1:使用旧版本镜像 ✅
docker compose up -d --no-deps api:old-tag
# 方法2:回退到旧镜像标签
docker tag myregistry.com/api:v1.0 myregistry.com/api:rollback
docker compose up -d
# 方法3:使用Git回退compose配置 ✅
git checkout v1.0.0 -- docker-compose.yml
docker compose up -d
🐳 Docker Swarm回滚
# 自动回滚配置 ✅
docker service create \
--name api \
--replicas 3 \
--update-failure-action rollback \
--update-monitor 30s \
myregistry.com/api:v1.0
# 手动回滚到上一版本 ✅
docker service rollback api
# 回滚到指定版本
docker service update --image myregistry.com/api:v1.0 api
# 查看回滚历史
docker service inspect api --format='{{.PreviousSpec}}'
☸️ Kubernetes回滚
# 查看部署历史 ✅
kubectl rollout history deployment/api
# 回滚到上一版本 ✅
kubectl rollout undo deployment/api
# 回滚到指定版本
kubectl rollout undo deployment/api --to-revision=3
# 查看回滚状态
kubectl rollout status deployment/api
# 暂停/恢复部署
kubectl rollout pause deployment/api
kubectl rollout resume deployment/api
📊 回滚策略对比
| 策略 | 速度 | 数据风险 | 适用场景 |
| 镜像回退 | 秒级 | 无 | 应用Bug |
| 配置回退 | 分钟级 | 低 | 配置错误 |
| 数据库回滚 | 分钟~小时 | 高 | 需谨慎,尽量向前兼容 |
| 蓝绿切换 | 秒级 | 无 | 最安全的回滚 |
🔧 回滚最佳实践
# 1. 每次部署记录版本号 ✅
echo "v2.0 deployed at $(date)" >> deploy.log
# 2. 部署前验证
# 健康检查通过后才继续滚动
# 烟雾测试新版本
# 3. 数据库变更向前兼容
# ❌ 删列 → 旧代码报错
# ✅ 先加列 → 部署新代码 → 确认后删列
# 4. 自动回滚阈值 ✅
# 错误率超过5%自动回滚
# 健康检查失败超过3次自动回滚
# 5. 保持足够的历史版本
deployment:
revisionHistoryLimit: 10 # K8s保留10个版本
❓ 常见问题
🏆 本课成就
- 掌握Compose回滚方法 ✅
- 学会Swarm自动回滚配置 ✅
- 掌握K8s回滚命令 ✅
- 理解数据库变更与回滚策略
- 掌握回滚最佳实践 ✅
📚 深度补充:回滚策略进阶要点
【运维与部署阶段】生产环境注意事项
| 要点 | 说明 | 最佳实践 |
| 资源规划 | 根据业务负载合理分配CPU/内存 | 先压测再上线,设置requests和limits |
| 监控告警 | 设置关键指标阈值和告警规则 | Prometheus + AlertManager,5分钟P99延迟告警 |
| 备份策略 | 定期备份关键数据和配置 | 自动化备份脚本 + 异地存储 + 定期恢复演练 |
| 灰度发布 | 新版本逐步放量降低风险 | 金丝雀发布5%→20%→50%→100% |
| 回滚预案 | 部署前确认回滚方案和步骤 | 保留前一版本镜像,数据库迁移向前兼容 |
| 文档更新 | 配置变更必须同步更新文档 | GitOps管理配置,变更即文档 |
| 安全基线 | 遵循CIS Docker Benchmark | 非root运行、只读FS、最小能力 |
| 日志规范 | 结构化日志,统一格式 | JSON格式日志,包含traceId |
常见误区与避坑指南
- 过度配置:不是所有服务都需要高可用,根据实际需求选择架构复杂度,避免过度工程
- 忽略日志:日志是排障的关键,确保日志格式统一、级别合理、采集完整
- 资源超卖:容器资源限制不是摆设,超卖会导致性能下降甚至OOM Kill
- 安全忽视:默认配置不等于安全配置,生产环境必须加固(非root、只读FS、最小能力)
- 监控缺失:没有监控等于盲飞,至少要有基础的健康检查和资源监控
- 手动运维:能自动化的绝不手动,手动操作容易出错且不可追溯
- 忽略网络策略:默认所有容器互通不安全,应按最小权限原则配置网络
进阶阅读与参考
Docker命令速查卡
# 容器生命周期
docker create/start/stop/restart/rm/pause/unpause
docker logs/top/stats/inspect/exec diff
# 镜像构建
docker build/pull/push/tag/rmi/images/history
docker save/load/import/manifest
# 网络与存储
docker network create/ls/inspect/connect/disconnect/rm/prune
docker volume create/ls/inspect/rm/prune
# Docker Compose
docker compose up/down/ps/logs/build/exec
docker compose config/stop/start/scale/top/cp
# 系统维护
docker system df/prune/info
docker builder prune
docker container/prune/image prune
# K8s常用命令
kubectl get/describe/logs/exec/apply/delete
kubectl rollout status/undo/history
kubectl scale/autoscale/set
本阶段知识脉络
运维与部署阶段知识体系:
核心概念 → 实操演练 → 最佳实践 → 故障排查
每一课都遵循:概念讲解 → 命令实操 → 代码示例 → 常见问题 → 练习巩固
确保学完即能上手,理论实践并重。
生产环境检查清单
| 类别 | 检查项 | 命令/方法 |
| 安全性 | 容器非root运行 | docker exec <c> whoami |
| 只读文件系统 | docker run --read-only |
| 最小能力集 | docker inspect --format '{{.HostConfig.CapAdd}}' |
| 可靠性 | 健康检查配置 | docker inspect --format '{{.State.Health}}' |
| 重启策略 | docker inspect --format '{{.HostConfig.RestartPolicy}}' |
| 资源限制 | docker stats --no-stream |
| 可观测性 | 日志收集 | 日志驱动+集中式平台 |
| 指标监控 | Prometheus+cAdvisor |
| 链路追踪 | Jaeger/Zipkin |
| 备份 | 数据卷备份 | 定期tar备份到远程存储 |
| 配置版本化 | GitOps管理所有配置 |
SRE关键指标(SLI/SLO)
| 指标 | 定义 | 典型SLO |
| 可用性 | 成功请求/总请求 | 99.9% |
| 延迟 | 请求处理时间P99 | <200ms |
| 错误率 | 5xx响应比例 | <0.1% |
| 吞吐量 | QPS/TPS | 根据业务设定 |
| MTTR | 平均恢复时间 | <15分钟 |
| MTBF | 平均故障间隔 | 根据业务设定 |
实战案例:故障排查流程
# Step 1: 检查容器状态
docker ps -a # 查看所有容器
docker inspect <container> # 查看详细配置
# Step 2: 查看日志
docker logs --tail 100 <container> # 最近100行日志
docker logs --since 1h <container> # 最近1小时
# Step 3: 进入容器排查
docker exec -it <container> sh # 进入容器shell
# Step 4: 检查资源
docker stats --no-stream # 资源使用概览
docker system df # 磁盘使用
# Step 5: 网络排查
docker network ls # 网络列表
docker exec <c> ping <target> # 网络连通性
docker exec <c> nslookup <svc> # DNS解析
# Step 6: 检查健康状态
docker inspect --format '{{.State.Health}}' <c>
docker inspect --format '{{.State.ExitCode}}' <c>
docker inspect --format '{{.State.OOMKilled}}' <c>
Dockerfile模板:多语言通用
# 通用最佳实践模板
FROM alpine:3.19 AS builder
# ... 构建步骤 ...
FROM alpine:3.19
RUN addgroup -S appgroup && adduser -S appuser -G appgroup
WORKDIR /app
COPY --from=builder /app/output .
USER appuser
HEALTHCHECK --interval=30s --timeout=3s --retries=3 \
CMD wget -qO- http://localhost:8080/health || exit 1
EXPOSE 8080
CMD ["./app"]
Docker Compose健康检查模板
services:
app:
build: .
healthcheck:
test: ["CMD", "wget", "-qO-", "http://localhost:8080/health"]
interval: 30s
timeout: 5s
retries: 3
start_period: 30s
restart: unless-stopped
deploy:
resources:
limits:
cpus: '1'
memory: 512M
性能调优要点
| 调优方向 | 具体措施 | 预期效果 |
| 镜像构建 | 多阶段构建+缓存优化 | 构建时间减少50%+ |
| 容器启动 | 小镜像+健康检查优化 | 启动时间减少30%+ |
| 网络性能 | host模式或优化bridge | 延迟降低20%+ |
| 存储性能 | Volume替代bind mount | IO性能提升10-30% |
| 内存使用 | 限制+请求合理配置 | 避免OOM和资源浪费 |
| CPU调度 | cpuset绑定+shares权重 | 关键服务优先调度 |