免费 A/B 测试显著性计算器
几秒钟就能知道你的分流测试结果是否具有统计显著性。填入两个变体的访客数和转化数，即可看到胜出者、提升幅度、p 值，以及所需的样本量。
置信水平
置信度
0.0%
等待数据填入两个变体的访客数和转化数，即可看到结论。
- 对照组（A） 转化率
- 0.00%
- 变体（B） 转化率
- 0.00%
- 提升幅度
- --
- p 值
- --
- 样本量
- --
专业提示。别在置信度刚越过 95% 的那一刻就停掉测试。提前定好样本量，让测试跑完。否则你很可能是在宣布假阳性结果。
如何运作
3 步检查 A/B 测试显著性
一分钟内就能对你的分流测试得出清晰、统计上站得住的结论，不用电子表格，也无需注册。
- 01
填写对照组数据
填入变体 A 的总访客数和转化数，也就是你用来对照的原始版本。
- 02
填写变体数据
填入变体 B（也就是新版本）的访客数和转化数。你的转化率会实时更新。
- 03
查看结论
看看结果是否显著，同时查看提升幅度、p 值和置信度；如果还没达到，还能看到还差多少访客的估算。
为什么重要
营销人为什么要做显著性检验
转化率更高，并不等于就是赢家。用规范的显著性检验，才知道什么时候该停、什么时候该继续跑，什么时候结果只是噪音。
知道何时停止测试
凭真正的置信度判定胜出者，而不是靠猜，也避免把有效的变体白白放弃。
避免假阳性
别让“中途偷看数据”的问题让你赔钱。一个规范的 p 值会告诉你差异什么时候是真的。
规划下一次测试
样本量提示会按 80% 的统计功效，估算每个变体需要多少访客才能确认你看到的差异。用它在下一次测试开始前定好样本量。
更清晰的汇报
一键把结果链接分享给团队，让每个人看到同样的数字、同样的置信度。
使用场景
团队都在哪些场景用 A/B 测试计算器
从落地页到广告素材，看看营销人如何把一次快速的显著性检验用在他们跑的每一个实验上。
落地页测试
对比落地页的两个版本，弄清到底是哪个标题、首屏或 CTA 真正拉动了转化率。
Facebook 与 Meta Ads
在两个广告素材或受众之间做选择时，靠真正的统计依据，而不是相信 Ads Manager 上的标签。
Google Ads 文案测试
对比两个自适应搜索广告变体，在加大花费之前确认新标题确实胜过对照组。
邮件主题行测试
把两条主题行先发给名单中的一小部分人，在全量群发前有把握地选出胜出者。
结账流程测试
验证新增的结账步骤、信任徽章或追加销售是否真的提升了完成率，而不只是噪音。
价格页实验
在两种价格档位或布局之间做一次干净的测试，依据注册数来决定，而不是凭感觉。
常见问题
A/B 测试中的统计显著性是什么？
统计显著性衡量的是：你能有多大把握认为两个变体之间的差异是真实的，而不只是随机波动。常见的经验法则是，当置信度达到 95% 或更高时才判定胜出变体，也就是结果出于偶然的可能性低于 5%。
p 值是什么？
p 值是指：假如两个变体之间本来就没有真实差异，你观察到当前结果（或更极端结果）的概率。p 值越小，说明差异真实存在的证据越强。p 值为 0.05 对应 95% 置信度。
我该用哪个置信水平？
多数营销人使用 95% 置信度，也就是接受 5% 的误报概率。如果决策风险很高（例如把改动推给全部付费流量），就用 99%；只有在早期低风险实验中才用 90%。
做一次 A/B 测试需要多少访客？
这取决于你的基准转化率，以及你想识别出多大的提升幅度。粗略来说，小幅提升（低于 5%）每个变体需要数万名访客，而较大的提升（20% 以上）几千人就能确认。计算器会按 80% 的统计功效，估算每个变体还需要多少访客才能确认你看到的差异。
A/B 测试中的提升幅度（lift）是什么？
提升幅度是两个变体转化率之间的相对百分比差异。如果变体 A 的转化率是 3%，变体 B 是 4.5%，那么 B 相对 A 的提升幅度就是 50%。你实际上正是用提升幅度来判断一个改动值不值得上线。
变体 B 明明领先，为什么测试还是不显著？
仅仅转化率更高还不够。你需要足够的数据，才能让这个差异不太可能来自随机波动。提升幅度越小，需要的访客就越多。测试停得太早，你可能会把纯粹的噪声当成改进上线。
什么是“偷看”（peeking）问题？
偷看是指反复查看测试结果，一旦置信度越过 95% 就立刻停止。这样做会大幅推高误报率。要避免它，先在开始前确定所需样本量，然后在结束时只看一次结果。
这个计算器适用于 Facebook、Google 或 TikTok Ads 吗？
适用。显著性是一个通用统计量，因此只要你能测量访客（或展示、点击、发送量）和转化，这个计算器就能用于任何 A/B 测试。把 Meta Ads、Google Ads、TikTok Ads、邮件平台或落地页分析中的数字填进来即可。
这个 A/B 测试计算器免费吗？
免费。A/B 测试显著性计算器 100% 免费，无需注册、没有次数限制、不索取邮箱。个人或商业用途都可以随意使用。
我的数据会被保存吗？
不会。所有计算完全在你的浏览器中完成。访客数和转化数永远不会离开你的设备，也永远不会发送到我们的服务器。