Skip to content

事后复盘

一句话解释

事后复盘是无责事件审查 — 发生了什么、根因、行动项。专注学习而非指责。

用大白话说

事后复盘(回顾)是事件后进行的书面分析。它是「无责」的 — 目标是理解和改进,而非找人指责。为什么无责:

  • 如果人们害怕被指责,会隐瞒错误不报告事件
  • 大多数事件由系统问题而非个人错误引起
  • 「修复系统,不修复人」

事后复盘包含:1. 摘要 — 发生了什么、影响、持续时间

  1. 时间线 — 事件期间的按时间排列的事件
  2. 根因 — 根本原因(不只是触发因素)
  3. 促成因素 — 什么使情况更糟或更难解决
  4. 做得好的 — 有帮助的事情(监控捕获了、回滚有效)
  5. 做得差的 — 有害的事情(检测慢、运行手册错误)
  6. 行动项 — 防止再次发生的具体任务(含负责人和截止日期)

好的行动项:

  • 具体可衡量:「给支付服务加断路器」而非「让它更有韧性」
  • 有负责人和截止日期
  • 解决根因,不只是症状
  • 按影响排序事后复盘应对所有重大事件进行,广泛分享,行动项追踪到完成。

示例

markdown
# 事后复盘:API 网关停机 — 2024-01-15

## 摘要
- **影响**: API 网关返回 500 错误持续 12 分钟
- **受影响用户**: ~15%(us-east-1 的用户)
- **持续时间**: 14:32 - 14:44 UTC(12 分钟)

## 时间线(UTC)
- 14:32 — Prometheus 检测到错误率飙升
- 14:33 — PagerDuty 呼叫值班工程师
- 14:35 — 工程师确认,开始调查
- 14:37 — 识别最近配置部署为触发因素
- 14:40 — 回滚配置变更
- 14:42 — 错误率恢复正常
- 14:44 — 事件解决

## 根因配置部署了错误 CN 的 TLS 证书,导致网关和认证服务间 TLS 握手失败。## 做得好的
- 1 分钟内告警触发
- 运行手册有回滚步骤
- 回滚 2 分钟内解决问题

## 做得差的
- 配置变更未在预发布测试
- 无 TLS 证书自动验证
- 花 2 分钟识别触发因素

## 行动项
1. [ ] CI 中加 TLS 证书验证(负责人:Alice,截止:2024-01-22)
2. [ ] 配置变更要求预发布测试(负责人:Bob,截止:2024-01-29)
3. [ ] 加 TLS 握手失败率告警(负责人:Carol,截止:2024-01-20)

事后复盘无责 — 专注系统问题(无证书验证),而非谁部署的。行动项解决根因:加验证、要求预发布测试、加更好的告警。每个有负责人和截止日期。

工作原理

  1. 事件解决后,事件指挥官编写事后复盘。2. 包含:摘要、时间线、根因、做得好/差的、行动项。3. 安排与所有参与者的审查会议(无责讨论)。4. 分配含负责人和截止日期的行动项。5. 追踪行动项到完成。6. 广泛分享事后复盘 — 他人从你的事件中学习。

常见混淆

  • 容易混淆的对象: 根因分析

    关键区别: 根因分析(RCA)是找问题根本原因的过程。事后复盘是更广的文档,包含 RCA 但还覆盖时间线、影响、做得好/差的和行动项。RCA 是事后复盘的一部分。事后复盘是完整事件审查;RCA 是其中的因果分析。

相关术语

相关资源

相关课程

解读错误信息

用大白话解释常见错误——什么意思、为什么发生、如何修复。

查看错误

← 返回术语表