这是什么
你在纠结按钮用红色还是绿色？别吵了，做个AB测试吧。把用户随机分成两组，A组看红色按钮，B组看绿色按钮，看看哪组点击率更高。这就是AB测试的精髓：用实验代替争论，用数据代替直觉。AB测试的关键在于'控制变量'——除了你要测试的那个改变（按钮颜色），其他一切都一模一样。这样你才能确定差异确实是颜色造成的，不是其他因素。但AB测试也有局限：它只能告诉你'A比B好'，不能告诉你'为什么'。而且如果测试时间太短或样本太小，结果可能不靠谱。
什么时候用
优化转化率、测试新功能、比较文案/设计/定价方案、任何可以量化效果的选择
什么时候别用
样本量太小（比如B2B产品只有100个用户）；长期效果（AB测试通常只能测短期效果）；无法随机分组的场景
怎么用
- 1
明确假设
写清楚：'我认为把X改成Y，会使Z指标提升N%'。这是你的测试假设
- 2
设计实验
确定测试组（看到改变的）和对照组（看到原样的），确保随机分配
- 3
跑够时间
至少跑1-2周（覆盖工作日和周末），确保样本量达到统计显著性
- 4
分析结果并行动
如果差异统计显著且实际效果有意义，就上线。如果不显著，就当没这回事
真实例子
奥巴马竞选的邮件测试
2012年奥巴马竞选团队对筹款邮件做了大量AB测试。他们发现一个出人意料的赢家：标题只有一个字——'Hey'。这封'最不用心'的邮件筹款额比精心设计的邮件多了数百万美元。没有AB测试，没人敢用这么随意的标题。