Skip to content

运行手册

一句话解释

运行手册文档化运维程序 — 处理告警、事件和日常维护的逐步指令。

用大白话说

运行手册(运维手册)是运行和维护系统的一组文档化程序。它告诉你出问题时该做什么或需要执行日常维护时该做什么。运行手册包含:1. 告警响应 — 特定告警触发时该做什么

  1. 事件程序 — 常见事件的逐步指令
  2. 维护任务 — 如何部署、扩展、备份、轮换密钥
  3. 诊断步骤 — 如何调查和识别问题
  4. 升级路径 — 何时联系谁好的运行手册:1. 具体 — 确切命令,不是「重启服务」而是「kubectl rollout restart deployment/api」
  5. 已测试 — 程序确实有效(在演练日测试)
  6. 可访问 — 事件期间容易找到(不埋在 wiki 里)
  7. 自动化 — 如果程序频繁运行,自动化它
  8. 版本化 — 随系统变化保持更新运行手册示例:
  • 告警:「api-gateway 高错误率」
  • 步骤 1:检查最近部署(kubectl get replicas)
  • 步骤 2:如果有最近部署,检查部署日志错误
  • 步骤 3:如果部署有问题,回滚(kubectl rollout undo)
  • 步骤 4:如果非部署相关,检查下游服务
  • 步骤 5:15 分钟内未解决则升级工具:Confluence、Notion、内部文档、运行手册自动化(Rundeck、StackStorm)。

示例

markdown
# 运行手册:API 网关高错误率

## 告警
- **触发**: error_rate > 5% 持续 5 分钟
- **严重性**: P1(呼叫值班工程师)

## 立即行动
1. 在 PagerDuty 确认告警
2. 检查 #incidents 频道 — 是否已知问题?3. 检查最近部署:```bash
   kubectl get replicas -n production
   kubectl rollout history deployment/api-gateway
   ```

## 如果有最近部署
1. 检查部署日志错误:```bash
   kubectl logs -l app=api-gateway --tail=100
   ```
2. 如果部署有问题,回滚:```bash
   kubectl rollout undo deployment/api-gateway
   ```
3. 验证错误率恢复正常

## 如果非部署相关
1. 检查下游服务(认证、数据库、缓存)
2. 检查数据库连接:`kubectl exec -it db-pod -- psql -c "SELECT count(*) FROM pg_stat_activity"`
3. 检查基础设施问题(AWS 状态页)

## 升级
- 15 分钟内未解决 → 升级到团队负责人
- 30 分钟内未解决 → 声明事件,开通桥接

运行手册为每步提供确切命令。告警触发时,值班工程师按步骤执行:检查部署、需要时回滚、检查下游、未解决则升级。事件期间无需猜测。

工作原理

  1. 为每个告警和常见运维任务创建运行手册。2. 存储在可访问位置(从告警链接)。3. 在演练日测试运行手册 — 验证步骤有效。4. 随系统演进保持更新。5. 自动化频繁使用的运行手册(减少琐事)。6. 事件期间逐步按运行手册执行。

常见混淆

  • 容易混淆的对象: 剧本

    关键区别: 运行手册和剧本常互换使用。一些组织区分:运行手册用于单个系统或程序(技术、逐步),剧本用于更广场景(如事件响应剧本覆盖多系统)。实践中两词同义。

相关术语

相关资源

相关课程

解读错误信息

用大白话解释常见错误——什么意思、为什么发生、如何修复。

查看错误

← 返回术语表