A/B 测试
一句话解释
A/B 测试将用户分配到两个版本并测量哪个表现更好——功能的数据驱动决策。
用大白话说
A/B 测试(分割测试)是一个实验,比较某物的两个版本看哪个表现更好。版本 A 是对照(当前),版本 B 是变体(新)。工作原理:1. 定义指标——点击率、转化率、收入等
- 创建变体——改变按钮颜色、标题、布局、算法
- 分割流量——随机将用户分配到 A(50%)或 B(50%)
- 收集数据——运行直到有统计显著性
- 决定——如果 B 显著更好,发布;否则保留 A
关键概念:
- 统计显著性——差异是真实的,非偶然(通常 p < 0.05)
- 样本量——需要足够用户检测真实差异
- 混淆变量——确保 A 和 B 之间只有改变不同
- 效应大小——差异多大?(1% 改善可能不值得变更)
A/B 测试广泛用于产品开发、营销和 UX 设计。工具:Optimizely、Google Optimize、LaunchDarkly、GrowthBook。
示例
javascript
// A/B test: compare two checkout button colors
const variant = Math.random() < 0.5 ? 'A' : 'B';
// Version A: blue button (control)
// Version B: green button (variant)
if (variant === 'A') {
renderButton({ text: 'Buy Now', color: 'blue' });
} else {
renderButton({ text: 'Buy Now', color: 'green' });
}
// Track conversion
button.onclick = () => {
analytics.track('checkout_click', {
variant: variant, // 'A' or 'B'
timestamp: Date.now(),
});
proceedToCheckout();
};
// After 10,000 visitors:
// Version A: 320/5000 = 6.4% conversion
// Version B: 410/5000 = 8.2% conversion
// p-value = 0.002 → statistically significant!
// Ship version B (green button)随机将用户分配到 A(蓝色)和 B(绿色)。跟踪转化。足够数据后,检查差异是否统计显著。如果 B 更好,发布。
常见混淆
容易混淆的对象: multivariate testing
关键区别: A/B 测试比较两个版本一个改变——简单清晰。多变量测试同时改变多个元素并测试所有组合(如 2 标题 × 2 按钮 × 2 图片 = 8 变体)。A/B 更简单且需更少流量;多变量找改变间交互但需更多流量。
相关术语
相关资源
相关课程
- Product Testing
A/B 测试。
解读错误信息
用大白话解释常见错误——什么意思、为什么发生、如何修复。