运行手册
一句话解释
运行手册文档化运维程序 — 处理告警、事件和日常维护的逐步指令。
用大白话说
运行手册(运维手册)是运行和维护系统的一组文档化程序。它告诉你出问题时该做什么或需要执行日常维护时该做什么。运行手册包含:1. 告警响应 — 特定告警触发时该做什么
- 事件程序 — 常见事件的逐步指令
- 维护任务 — 如何部署、扩展、备份、轮换密钥
- 诊断步骤 — 如何调查和识别问题
- 升级路径 — 何时联系谁好的运行手册:1. 具体 — 确切命令,不是「重启服务」而是「kubectl rollout restart deployment/api」
- 已测试 — 程序确实有效(在演练日测试)
- 可访问 — 事件期间容易找到(不埋在 wiki 里)
- 自动化 — 如果程序频繁运行,自动化它
- 版本化 — 随系统变化保持更新运行手册示例:
- 告警:「api-gateway 高错误率」
- 步骤 1:检查最近部署(kubectl get replicas)
- 步骤 2:如果有最近部署,检查部署日志错误
- 步骤 3:如果部署有问题,回滚(kubectl rollout undo)
- 步骤 4:如果非部署相关,检查下游服务
- 步骤 5:15 分钟内未解决则升级工具:Confluence、Notion、内部文档、运行手册自动化(Rundeck、StackStorm)。
示例
markdown
# 运行手册:API 网关高错误率
## 告警
- **触发**: error_rate > 5% 持续 5 分钟
- **严重性**: P1(呼叫值班工程师)
## 立即行动
1. 在 PagerDuty 确认告警
2. 检查 #incidents 频道 — 是否已知问题?3. 检查最近部署:```bash
kubectl get replicas -n production
kubectl rollout history deployment/api-gateway
```
## 如果有最近部署
1. 检查部署日志错误:```bash
kubectl logs -l app=api-gateway --tail=100
```
2. 如果部署有问题,回滚:```bash
kubectl rollout undo deployment/api-gateway
```
3. 验证错误率恢复正常
## 如果非部署相关
1. 检查下游服务(认证、数据库、缓存)
2. 检查数据库连接:`kubectl exec -it db-pod -- psql -c "SELECT count(*) FROM pg_stat_activity"`
3. 检查基础设施问题(AWS 状态页)
## 升级
- 15 分钟内未解决 → 升级到团队负责人
- 30 分钟内未解决 → 声明事件,开通桥接运行手册为每步提供确切命令。告警触发时,值班工程师按步骤执行:检查部署、需要时回滚、检查下游、未解决则升级。事件期间无需猜测。
工作原理
- 为每个告警和常见运维任务创建运行手册。2. 存储在可访问位置(从告警链接)。3. 在演练日测试运行手册 — 验证步骤有效。4. 随系统演进保持更新。5. 自动化频繁使用的运行手册(减少琐事)。6. 事件期间逐步按运行手册执行。
常见混淆
容易混淆的对象: 剧本
关键区别: 运行手册和剧本常互换使用。一些组织区分:运行手册用于单个系统或程序(技术、逐步),剧本用于更广场景(如事件响应剧本覆盖多系统)。实践中两词同义。
相关术语
相关资源
相关课程
- 运维
运行手册。
解读错误信息
用大白话解释常见错误——什么意思、为什么发生、如何修复。