📝 第28课：事后复盘

cat > postmortem-template.md << 'EOF'
# Post-Mortem: [事件ID]

## 基本信息
| 项目 | 内容 |
|------|------|
| 事件ID | INC-20260519-001 |
| 发生时间 | 2026-05-19 14:30 |
| 持续时间 | 45分钟 |
| 影响范围 | 30%用户无法下单 |
| 严重级别 | P1 |

## 时间线
| 时间 | 事件 |
|------|------|
| 14:30 | 监控告警：订单服务错误率>5% |
| 14:32 | On-Call确认问题 |
| 14:35 | 发现14:00部署的新版本有Bug |
| 14:38 | 决定回滚到v2.0 |
| 14:45 | 回滚完成 |
| 15:00 | 错误率恢复正常 |

## 根因分析(5Why)
1. 为什么订单错误率升高？→ 订单服务返回500
2. 为什么返回500？→ 数据库查询超时
3. 为什么查询超时？→ 新增的排序索引未创建
4. 为什么索引未创建？→ 迁移脚本在CI中被跳过
5. 为什么被跳过？→ CI配置的MIGRATE_SKIP=true未在prod环境移除

## 改进项
| # | 改进项 | 负责人 | 截止日期 | 优先级 |
|---|--------|--------|----------|--------|
| 1 | CI/CD区分环境变量配置 | Bob | 05/22 | P1 |
| 2 | 部署前自动验证DB迁移 | Carol | 05/25 | P1 |
| 3 | 添加DB查询超时监控 | Dave | 05/23 | P2 |
| 4 | 回滚演练纳入培训 | Alice | 05/30 | P2 |
EOF

#!/bin/bash
# timeline-generator.sh
START_TIME="${1:?Start time (ISO8601)}"

echo "# Timeline"
echo "| 时间 | 来源 | 事件 |"
echo "|------|------|------|"

# K8s事件
kubectl get events -A --sort-by='.lastTimestamp' \
    --field-selector "lastTimestamp>=$START_TIME" \
    -o json | jq -r '.items[] | "| \(.lastTimestamp[11:16]) | K8s | \(.message) |"'

# Prometheus告警
curl -s 'http://prometheus:9090/api/v1/alerts' | \
    jq -r '.data.alerts[] | "| \(.activeAt[11:16]) | Alert | \(.labels.alertname) (\(.labels.severity)) |"'

# 部署历史
kubectl rollout history deployment/myapp | tail -10

# Git log
git log --since="$START_TIME" --oneline --format="| %h | Git | %s |" 

#!/bin/bash
REPO="myorg/devops"
INCIDENT="INC-20260519-001"

declare -A ITEMS=(
  ["CI/CD区分环境变量配置"]="P1 @bob 05/22"
  ["部署前自动验证DB迁移"]="P1 @carol 05/25"
  ["添加DB查询超时监控"]="P2 @dave 05/23"
)

for title in "${!ITEMS[@]}"; do
    meta="${ITEMS[$title]}"
    gh issue create --repo "$REPO" \
        --title "[$INCIDENT] $title" \
        --body "来源: $INCIDENT Post-Mortem\n${meta}" \
        --label "postmortem-action-item"
done