Skip to content

A/B 测试

一句话解释

A/B 测试将用户分配到两个版本并测量哪个表现更好——功能的数据驱动决策。

用大白话说

A/B 测试(分割测试)是一个实验,比较某物的两个版本看哪个表现更好。版本 A 是对照(当前),版本 B 是变体(新)。工作原理:1. 定义指标——点击率、转化率、收入等

  1. 创建变体——改变按钮颜色、标题、布局、算法
  2. 分割流量——随机将用户分配到 A(50%)或 B(50%)
  3. 收集数据——运行直到有统计显著性
  4. 决定——如果 B 显著更好,发布;否则保留 A

关键概念:

  • 统计显著性——差异是真实的,非偶然(通常 p < 0.05)
  • 样本量——需要足够用户检测真实差异
  • 混淆变量——确保 A 和 B 之间只有改变不同
  • 效应大小——差异多大?(1% 改善可能不值得变更)

A/B 测试广泛用于产品开发、营销和 UX 设计。工具:Optimizely、Google Optimize、LaunchDarkly、GrowthBook。

示例

javascript
// A/B test: compare two checkout button colors
const variant = Math.random() < 0.5 ? 'A' : 'B';

// Version A: blue button (control)
// Version B: green button (variant)

if (variant === 'A') {
  renderButton({ text: 'Buy Now', color: 'blue' });
} else {
  renderButton({ text: 'Buy Now', color: 'green' });
}

// Track conversion
button.onclick = () => {
  analytics.track('checkout_click', {
    variant: variant,        // 'A' or 'B'
    timestamp: Date.now(),
  });
  proceedToCheckout();
};

// After 10,000 visitors:
// Version A: 320/5000 = 6.4% conversion
// Version B: 410/5000 = 8.2% conversion
// p-value = 0.002 → statistically significant!
// Ship version B (green button)

随机将用户分配到 A(蓝色)和 B(绿色)。跟踪转化。足够数据后,检查差异是否统计显著。如果 B 更好,发布。

常见混淆

  • 容易混淆的对象: multivariate testing

    关键区别: A/B 测试比较两个版本一个改变——简单清晰。多变量测试同时改变多个元素并测试所有组合(如 2 标题 × 2 按钮 × 2 图片 = 8 变体)。A/B 更简单且需更少流量;多变量找改变间交互但需更多流量。

相关术语

相关资源

相关课程

解读错误信息

用大白话解释常见错误——什么意思、为什么发生、如何修复。

查看错误

← 返回术语表