混沌工程
一句话解释
混沌工程故意在生产环境破坏东西 — 杀服务器、加延迟、断网络 — 在真实故障前发现弱点。
用大白话说
混沌工程是故意向系统注入故障以在故障导致停机前发现弱点的实践。不希望什么也不坏,而是主动以受控方式破坏东西。为什么混沌工程:1. 早期发现弱点 — 在真实故障前发现韧性问题
- 验证假设 — 验证故障转移、重试和断路器确实有效
- 建立信心 — 如果系统在混沌实验中存活,你信任其韧性
- 训练团队 — 在受控环境中练习故障响应混沌类型:1. 杀 pod/实例 — 服务器死了会怎样?2. 网络延迟/丢包 — 网络慢或不可靠会怎样?3. CPU/内存压力 — 资源耗尽下会怎样?4. 依赖故障 — 数据库或缓存宕机会怎样?5. 时间偏差 — 时钟不同步会怎样?流程:1. 假设 — 「系统应能处理 pod 故障且无用户影响」
- 爆炸半径 — 从小开始(预发布一个 pod),逐步扩大
- 实验 — 注入故障
- 观察 — 系统行为是否符合预期?5. 修复 — 如果不符合,修复弱点并重新运行工具:Chaos Mesh(Kubernetes)、Gremlin、AWS Fault Injection Simulator、Litmus。
示例
yaml
# Chaos Mesh — 每分钟杀一个随机 pod
apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
metadata:
name: pod-kill-experiment
spec:
action: pod-kill # 杀死 pod
mode: one # 一次杀一个 pod
selector:
namespaces:
- production
labelSelectors:
app: my-app # 目标带此标签的 pod
scheduler:
cron: "@every 1m" # 每分钟运行
---
# Chaos Mesh — 注入 500ms 网络延迟
apiVersion: chaos-mesh.org/v1alpha1
kind: NetworkChaos
metadata:
name: network-delay
spec:
action: delay
mode: all
selector:
namespaces:
- production
labelSelectors:
app: my-app
delay:
latency: "500ms" # 给所有网络调用加 500ms
duration: "5m" # 持续 5 分钟Chaos Mesh 每分钟杀一个 pod 测试 Kubernetes 是否自动重启并重路由流量。网络延迟实验加 500ms 延迟测试超时和重试是否有效。从预发布开始,逐步扩展到生产。
工作原理
- 定义假设:「系统应能优雅处理 X 故障」。2. 从小爆炸半径开始(预发布一个 pod)。3. 注入故障(杀 pod、加延迟、断网络)。4. 监控系统 — 是否恢复?用户是否注意到?5. 假设成立则增加爆炸半径。6. 失败则修复弱点并重新运行实验。7. 逐步从预发布移到生产。
常见混淆
容易混淆的对象: 压力测试
关键区别: 压力测试增加负载找容量极限 — 测试重流量下的性能。混沌工程注入故障(杀服务器、加延迟、断网络)测试韧性 — 测试系统出错时的表现。压力测试关于「能承受多少?」;混沌工程关于「出错时怎么办?」
相关术语
相关资源
相关课程
- 韧性
混沌工程。
解读错误信息
用大白话解释常见错误——什么意思、为什么发生、如何修复。