免費 A/B 測試顯著性計算機

統計顯著性衡量的是：你能多有把握地說，兩個版本之間的差異是真的，而不只是隨機波動。常見的判斷準則是等信心水準達到 95% 以上再宣布贏家，也就是這個結果純屬運氣的機率低於 5%。

p 值是指：假設兩個版本之間其實沒有差異，你仍會觀察到目前這個結果（或更極端結果）的機率。p 值越小，代表差異是真的證據越強。p 值 0.05 對應到 95% 的信心水準。

多數行銷人使用 95% 信心水準，意思是你接受 5% 的偽陽性風險。若這個決策風險很高（例如要把變更套用到所有付費流量），請用 99%；90% 則只適合風險低的早期實驗。

這取決於你的基準轉換率，以及你想偵測的提升幅度。粗略來說，較小的提升（5% 以下）每個版本需要數萬名訪客，而較大的提升（20% 以上）只要幾千名就能確認。計算機會以 80% 的檢定力，估算每個版本還需要多少訪客，才能確認你看到的差異。

提升幅度是兩個版本轉換率之間的相對百分比差異。如果版本 A 的轉換率是 3%，版本 B 是 4.5%，那麼 B 相對 A 的提升幅度就是 50%。實務上，你就是用這個數字來判斷一項變更值不值得上線。

光是轉換率比較高並不夠。你需要足夠的資料，才能說這個差異不太可能來自隨機。提升幅度越小，需要的訪客數就越多。太早停止測試，你可能會把純粹的雜訊當成有效變更推上線。

偷看指的是反覆查看測試結果，一看到信心水準超過 95% 就馬上停手。這麼做會大幅拉高你的偽陽性比率。要避免它，請先決定所需的樣本數，最後再看一次結果就好。

可以。顯著性是通用的統計概念，只要你能量測訪客數（或曝光、點擊、寄送數）與轉換數，任何 A/B 測試都適用。你可以填入 Meta 廣告、Google Ads、TikTok 廣告、電子郵件平台或登陸頁成效分析的數字。

免費。A/B 測試顯著性計算機百分之百免費，不用註冊、沒有次數限制，也不必留下電子郵件。無論個人或商業用途，都可以想跑幾次就跑幾次。

不會。所有計算完全在你的瀏覽器裡進行。訪客數與轉換數不會離開你的裝置，也不會傳送到我們的伺服器。