📘 第27课:回滚策略

生产部署

⏪ 回滚:安全网

部署出问题时,快速回滚是止损的最佳手段。好的回滚策略让你从容应对故障。

📋 Docker Compose回滚

# 方法1:使用旧版本镜像 ✅
docker compose up -d --no-deps api:old-tag

# 方法2:回退到旧镜像标签
docker tag myregistry.com/api:v1.0 myregistry.com/api:rollback
docker compose up -d

# 方法3:使用Git回退compose配置 ✅
git checkout v1.0.0 -- docker-compose.yml
docker compose up -d

🐳 Docker Swarm回滚

# 自动回滚配置 ✅
docker service create \
  --name api \
  --replicas 3 \
  --update-failure-action rollback \
  --update-monitor 30s \
  myregistry.com/api:v1.0

# 手动回滚到上一版本 ✅
docker service rollback api

# 回滚到指定版本
docker service update --image myregistry.com/api:v1.0 api

# 查看回滚历史
docker service inspect api --format='{{.PreviousSpec}}'

☸️ Kubernetes回滚

# 查看部署历史 ✅
kubectl rollout history deployment/api

# 回滚到上一版本 ✅
kubectl rollout undo deployment/api

# 回滚到指定版本
kubectl rollout undo deployment/api --to-revision=3

# 查看回滚状态
kubectl rollout status deployment/api

# 暂停/恢复部署
kubectl rollout pause deployment/api
kubectl rollout resume deployment/api

📊 回滚策略对比

策略速度数据风险适用场景
镜像回退秒级应用Bug
配置回退分钟级配置错误
数据库回滚分钟~小时需谨慎,尽量向前兼容
蓝绿切换秒级最安全的回滚

🔧 回滚最佳实践

# 1. 每次部署记录版本号 ✅
echo "v2.0 deployed at $(date)" >> deploy.log

# 2. 部署前验证
# 健康检查通过后才继续滚动
# 烟雾测试新版本

# 3. 数据库变更向前兼容
# ❌ 删列 → 旧代码报错
# ✅ 先加列 → 部署新代码 → 确认后删列

# 4. 自动回滚阈值 ✅
# 错误率超过5%自动回滚
# 健康检查失败超过3次自动回滚

# 5. 保持足够的历史版本
deployment:
  revisionHistoryLimit: 10  # K8s保留10个版本

❓ 常见问题

❓ 回滚后数据不一致怎么办?最棘手的问题。核心原则:①数据库变更必须向前兼容 ②新版本不能破坏旧版本的数据读取 ③使用feature flag代替部署来控制新功能 ④必要时使用数据修复脚本而非回滚数据库。
❓ 什么时候该回滚vs向前修复?回滚:①影响大量用户 ②修复时间不确定 ③回滚无数据风险。向前修复:①问题范围小 ②快速有把握的修复 ③回滚有数据风险。犹豫时,先回滚止血,再从容修复。

🏆 本课成就

📚 深度补充:回滚策略进阶要点

【运维与部署阶段】生产环境注意事项

要点说明最佳实践
资源规划根据业务负载合理分配CPU/内存先压测再上线,设置requests和limits
监控告警设置关键指标阈值和告警规则Prometheus + AlertManager,5分钟P99延迟告警
备份策略定期备份关键数据和配置自动化备份脚本 + 异地存储 + 定期恢复演练
灰度发布新版本逐步放量降低风险金丝雀发布5%→20%→50%→100%
回滚预案部署前确认回滚方案和步骤保留前一版本镜像,数据库迁移向前兼容
文档更新配置变更必须同步更新文档GitOps管理配置,变更即文档
安全基线遵循CIS Docker Benchmark非root运行、只读FS、最小能力
日志规范结构化日志,统一格式JSON格式日志,包含traceId

常见误区与避坑指南

  1. 过度配置:不是所有服务都需要高可用,根据实际需求选择架构复杂度,避免过度工程
  2. 忽略日志:日志是排障的关键,确保日志格式统一、级别合理、采集完整
  3. 资源超卖:容器资源限制不是摆设,超卖会导致性能下降甚至OOM Kill
  4. 安全忽视:默认配置不等于安全配置,生产环境必须加固(非root、只读FS、最小能力)
  5. 监控缺失:没有监控等于盲飞,至少要有基础的健康检查和资源监控
  6. 手动运维:能自动化的绝不手动,手动操作容易出错且不可追溯
  7. 忽略网络策略:默认所有容器互通不安全,应按最小权限原则配置网络

进阶阅读与参考

Docker命令速查卡

# 容器生命周期
docker create/start/stop/restart/rm/pause/unpause
docker logs/top/stats/inspect/exec diff

# 镜像构建
docker build/pull/push/tag/rmi/images/history
docker save/load/import/manifest

# 网络与存储
docker network create/ls/inspect/connect/disconnect/rm/prune
docker volume create/ls/inspect/rm/prune

# Docker Compose
docker compose up/down/ps/logs/build/exec
docker compose config/stop/start/scale/top/cp

# 系统维护
docker system df/prune/info
docker builder prune
docker container/prune/image prune

# K8s常用命令
kubectl get/describe/logs/exec/apply/delete
kubectl rollout status/undo/history
kubectl scale/autoscale/set

本阶段知识脉络

运维与部署阶段知识体系: 核心概念实操演练最佳实践故障排查 每一课都遵循:概念讲解 → 命令实操 → 代码示例 → 常见问题 → 练习巩固 确保学完即能上手,理论实践并重。

生产环境检查清单

类别检查项命令/方法
安全性容器非root运行docker exec <c> whoami
只读文件系统docker run --read-only
最小能力集docker inspect --format '{{.HostConfig.CapAdd}}'
可靠性健康检查配置docker inspect --format '{{.State.Health}}'
重启策略docker inspect --format '{{.HostConfig.RestartPolicy}}'
资源限制docker stats --no-stream
可观测性日志收集日志驱动+集中式平台
指标监控Prometheus+cAdvisor
链路追踪Jaeger/Zipkin
备份数据卷备份定期tar备份到远程存储
配置版本化GitOps管理所有配置

SRE关键指标(SLI/SLO)

指标定义典型SLO
可用性成功请求/总请求99.9%
延迟请求处理时间P99<200ms
错误率5xx响应比例<0.1%
吞吐量QPS/TPS根据业务设定
MTTR平均恢复时间<15分钟
MTBF平均故障间隔根据业务设定

实战案例:故障排查流程

# Step 1: 检查容器状态
docker ps -a                          # 查看所有容器
docker inspect <container>            # 查看详细配置

# Step 2: 查看日志
docker logs --tail 100 <container>    # 最近100行日志
docker logs --since 1h <container>    # 最近1小时

# Step 3: 进入容器排查
docker exec -it <container> sh        # 进入容器shell

# Step 4: 检查资源
docker stats --no-stream              # 资源使用概览
docker system df                      # 磁盘使用

# Step 5: 网络排查
docker network ls                     # 网络列表
docker exec <c> ping <target>        # 网络连通性
docker exec <c> nslookup <svc>       # DNS解析

# Step 6: 检查健康状态
docker inspect --format '{{.State.Health}}' <c>
docker inspect --format '{{.State.ExitCode}}' <c>
docker inspect --format '{{.State.OOMKilled}}' <c>

Dockerfile模板:多语言通用

# 通用最佳实践模板
FROM alpine:3.19 AS builder
# ... 构建步骤 ...

FROM alpine:3.19
RUN addgroup -S appgroup && adduser -S appuser -G appgroup
WORKDIR /app
COPY --from=builder /app/output .
USER appuser
HEALTHCHECK --interval=30s --timeout=3s --retries=3 \
  CMD wget -qO- http://localhost:8080/health || exit 1
EXPOSE 8080
CMD ["./app"]

Docker Compose健康检查模板

services:
  app:
    build: .
    healthcheck:
      test: ["CMD", "wget", "-qO-", "http://localhost:8080/health"]
      interval: 30s
      timeout: 5s
      retries: 3
      start_period: 30s
    restart: unless-stopped
    deploy:
      resources:
        limits:
          cpus: '1'
          memory: 512M

性能调优要点

调优方向具体措施预期效果
镜像构建多阶段构建+缓存优化构建时间减少50%+
容器启动小镜像+健康检查优化启动时间减少30%+
网络性能host模式或优化bridge延迟降低20%+
存储性能Volume替代bind mountIO性能提升10-30%
内存使用限制+请求合理配置避免OOM和资源浪费
CPU调度cpuset绑定+shares权重关键服务优先调度