無料のA/Bテスト有意差計算ツール

統計的有意差とは、2つのバリエーションの差が偶然のばらつきではなく本物だと、どれだけ確信できるかを示す指標です。一般的な目安は、確信度が95%以上になってから勝者を決めることです。これは、その結果が偶然生じた可能性が5%未満であることを意味します。

p値とは、仮にバリエーション間に実際の差がなかったとしたら、観測された結果（またはそれ以上に極端な結果）が生じる確率のことです。p値が小さいほど、その差が本物である証拠は強くなります。p値0.05は確信度95%に対応します。

多くのマーケターは確信度95%を使います。これは偽陽性の可能性を5%まで許容するという意味です。判断の重みが大きい場合（有料トラフィック全体に変更を展開するなど）は99%を、リスクの小さい初期段階の実験に限り90%を使いましょう。

元のコンバージョン率と、検出したい改善幅の大きさによります。おおまかな目安として、小さな改善（5%未満）にはバリエーションごとに数万人の訪問者が必要ですが、大きな改善（20%以上）なら数千人でも確認できます。このツールは、いま見えている差を検出力80%で確かめるには、各バリエーションにあと何人の訪問者が必要かを推定します。

改善率とは、2つのバリエーションのコンバージョン率の相対的な差をパーセントで表したものです。バリエーションAが3%、バリエーションBが4.5%でコンバージョンしているなら、Aに対するBの改善率は50%です。変更を反映する価値があるかを判断する際に、実際に使うのはこの数値です。

コンバージョン率が高いというだけでは足りません。その差が偶然では起こりにくいと言えるだけのデータが必要です。改善幅が小さいほど、必要な訪問者数は増えます。テストを早く止めすぎると、単なるばらつきだった変更を反映してしまう恐れがあります。

ピーキングとは、テスト結果を何度も確認し、確信度が95%を超えた瞬間に止めてしまうことです。これをすると偽陽性の割合が大きく跳ね上がります。避けるには、必要なサンプル数を先に決め、最後に一度だけ結果を確認しましょう。

はい。有意差は普遍的な統計指標なので、訪問者（またはインプレッション、クリック、配信数）とコンバージョンを測れるA/Bテストなら何にでも使えます。Meta広告、Google 広告、TikTok広告、メール配信サービス、ランディングページのアナリティクスなど、どの数値でも入力できます。

はい。A/Bテスト有意差計算ツールは完全に無料で、登録も回数制限もメールアドレスの入力も不要です。個人利用でも商用利用でも、必要なだけお使いいただけます。

いいえ。計算はすべてブラウザ内で完結します。訪問者数やコンバージョン数が端末の外に出ることも、当社のサーバーへ送信されることもありません。