📘 第23课:日志管理
生产部署
📝 容器日志管理
容器日志是排障的第一手资料。但如果不加管理,日志会快速占满磁盘,分散在各个容器中也难以检索。
🔍 Docker日志驱动
| 驱动 | 说明 | 适用场景 |
| json-file | 默认,JSON格式本地文件 | 开发/小规模 |
| local | 优化的本地存储,自动轮转 | 推荐替代json-file |
| syslog | 发送到syslog守护进程 | 已有syslog基础设施 |
| journald | 发送到systemd journal | CentOS/RHEL系统 |
| fluentd | 发送到Fluentd | 集中日志收集 |
| awslogs | 发送到CloudWatch | AWS环境 |
| gcplogs | 发送到GCP Logging | GCP环境 |
| none | 不收集日志 | 高性能/安全场景 |
⚙️ 日志配置
# daemon.json全局配置 ✅
{
"log-driver": "local",
"log-opts": {
"max-size": "10m",
"max-file": "3",
"compress": "true"
}
}
# 单容器配置 ✅
docker run -d --log-driver local \
--log-opt max-size=10m --log-opt max-file=3 \
nginx
# Compose配置 ✅
services:
app:
logging:
driver: local
options:
max-size: "10m"
max-file: "3"
🏗️ ELK/EFK日志集中方案
# EFK (Elasticsearch + Fluentd + Kibana) ✅
services:
elasticsearch:
image: elasticsearch:8.12.0
environment:
- discovery.type=single-node
- xpack.security.enabled=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
- es-data:/usr/share/elasticsearch/data
ports:
- "9200:9200"
fluentd:
image: fluent/fluentd:v1.16
volumes:
- ./fluent.conf:/fluentd/etc/fluent.conf
ports:
- "24224:24224"
kibana:
image: kibana:8.12.0
environment:
- ELASTICSEARCH_HOSTS=http://elasticsearch:9200
ports:
- "5601:5601"
volumes:
es-data:
📋 日志最佳实践
# 1. 应用输出到stdout/stderr ✅
# Docker自动捕获stdout/stderr作为日志
console.log("Server started on port 3000")
# 2. 使用JSON格式日志 ✅
{"level":"info","msg":"Request processed","path":"/api/users","duration_ms":45,"status":200}
# 3. 不要在容器内写日志文件
# ❌ RUN echo "log" >> /var/log/app.log
# ✅ RUN echo "log" # 输出到stdout
# 4. 设置日志轮转防止磁盘满 ✅
logging:
driver: local
options:
max-size: "10m"
max-file: "5"
❓ 常见问题
🏆 本课成就
- 掌握Docker日志驱动和配置 ✅
- 学会日志轮转防磁盘满 ✅
- 了解EFK日志集中方案
- 掌握日志最佳实践 ✅
- 学会Compose日志配置
📚 深度补充:日志管理进阶要点
【运维与部署阶段】生产环境注意事项
| 要点 | 说明 | 最佳实践 |
| 资源规划 | 根据业务负载合理分配CPU/内存 | 先压测再上线,设置requests和limits |
| 监控告警 | 设置关键指标阈值和告警规则 | Prometheus + AlertManager,5分钟P99延迟告警 |
| 备份策略 | 定期备份关键数据和配置 | 自动化备份脚本 + 异地存储 + 定期恢复演练 |
| 灰度发布 | 新版本逐步放量降低风险 | 金丝雀发布5%→20%→50%→100% |
| 回滚预案 | 部署前确认回滚方案和步骤 | 保留前一版本镜像,数据库迁移向前兼容 |
| 文档更新 | 配置变更必须同步更新文档 | GitOps管理配置,变更即文档 |
| 安全基线 | 遵循CIS Docker Benchmark | 非root运行、只读FS、最小能力 |
| 日志规范 | 结构化日志,统一格式 | JSON格式日志,包含traceId |
常见误区与避坑指南
- 过度配置:不是所有服务都需要高可用,根据实际需求选择架构复杂度,避免过度工程
- 忽略日志:日志是排障的关键,确保日志格式统一、级别合理、采集完整
- 资源超卖:容器资源限制不是摆设,超卖会导致性能下降甚至OOM Kill
- 安全忽视:默认配置不等于安全配置,生产环境必须加固(非root、只读FS、最小能力)
- 监控缺失:没有监控等于盲飞,至少要有基础的健康检查和资源监控
- 手动运维:能自动化的绝不手动,手动操作容易出错且不可追溯
- 忽略网络策略:默认所有容器互通不安全,应按最小权限原则配置网络
进阶阅读与参考
Docker命令速查卡
# 容器生命周期
docker create/start/stop/restart/rm/pause/unpause
docker logs/top/stats/inspect/exec diff
# 镜像构建
docker build/pull/push/tag/rmi/images/history
docker save/load/import/manifest
# 网络与存储
docker network create/ls/inspect/connect/disconnect/rm/prune
docker volume create/ls/inspect/rm/prune
# Docker Compose
docker compose up/down/ps/logs/build/exec
docker compose config/stop/start/scale/top/cp
# 系统维护
docker system df/prune/info
docker builder prune
docker container/prune/image prune
# K8s常用命令
kubectl get/describe/logs/exec/apply/delete
kubectl rollout status/undo/history
kubectl scale/autoscale/set
本阶段知识脉络
运维与部署阶段知识体系:
核心概念 → 实操演练 → 最佳实践 → 故障排查
每一课都遵循:概念讲解 → 命令实操 → 代码示例 → 常见问题 → 练习巩固
确保学完即能上手,理论实践并重。
生产环境检查清单
| 类别 | 检查项 | 命令/方法 |
| 安全性 | 容器非root运行 | docker exec <c> whoami |
| 只读文件系统 | docker run --read-only |
| 最小能力集 | docker inspect --format '{{.HostConfig.CapAdd}}' |
| 可靠性 | 健康检查配置 | docker inspect --format '{{.State.Health}}' |
| 重启策略 | docker inspect --format '{{.HostConfig.RestartPolicy}}' |
| 资源限制 | docker stats --no-stream |
| 可观测性 | 日志收集 | 日志驱动+集中式平台 |
| 指标监控 | Prometheus+cAdvisor |
| 链路追踪 | Jaeger/Zipkin |
| 备份 | 数据卷备份 | 定期tar备份到远程存储 |
| 配置版本化 | GitOps管理所有配置 |
SRE关键指标(SLI/SLO)
| 指标 | 定义 | 典型SLO |
| 可用性 | 成功请求/总请求 | 99.9% |
| 延迟 | 请求处理时间P99 | <200ms |
| 错误率 | 5xx响应比例 | <0.1% |
| 吞吐量 | QPS/TPS | 根据业务设定 |
| MTTR | 平均恢复时间 | <15分钟 |
| MTBF | 平均故障间隔 | 根据业务设定 |
实战案例:故障排查流程
# Step 1: 检查容器状态
docker ps -a # 查看所有容器
docker inspect <container> # 查看详细配置
# Step 2: 查看日志
docker logs --tail 100 <container> # 最近100行日志
docker logs --since 1h <container> # 最近1小时
# Step 3: 进入容器排查
docker exec -it <container> sh # 进入容器shell
# Step 4: 检查资源
docker stats --no-stream # 资源使用概览
docker system df # 磁盘使用
# Step 5: 网络排查
docker network ls # 网络列表
docker exec <c> ping <target> # 网络连通性
docker exec <c> nslookup <svc> # DNS解析
# Step 6: 检查健康状态
docker inspect --format '{{.State.Health}}' <c>
docker inspect --format '{{.State.ExitCode}}' <c>
docker inspect --format '{{.State.OOMKilled}}' <c>
Dockerfile模板:多语言通用
# 通用最佳实践模板
FROM alpine:3.19 AS builder
# ... 构建步骤 ...
FROM alpine:3.19
RUN addgroup -S appgroup && adduser -S appuser -G appgroup
WORKDIR /app
COPY --from=builder /app/output .
USER appuser
HEALTHCHECK --interval=30s --timeout=3s --retries=3 \
CMD wget -qO- http://localhost:8080/health || exit 1
EXPOSE 8080
CMD ["./app"]
Docker Compose健康检查模板
services:
app:
build: .
healthcheck:
test: ["CMD", "wget", "-qO-", "http://localhost:8080/health"]
interval: 30s
timeout: 5s
retries: 3
start_period: 30s
restart: unless-stopped
deploy:
resources:
limits:
cpus: '1'
memory: 512M
性能调优要点
| 调优方向 | 具体措施 | 预期效果 |
| 镜像构建 | 多阶段构建+缓存优化 | 构建时间减少50%+ |
| 容器启动 | 小镜像+健康检查优化 | 启动时间减少30%+ |
| 网络性能 | host模式或优化bridge | 延迟降低20%+ |
| 存储性能 | Volume替代bind mount | IO性能提升10-30% |
| 内存使用 | 限制+请求合理配置 | 避免OOM和资源浪费 |
| CPU调度 | cpuset绑定+shares权重 | 关键服务优先调度 |