Kalkulator Signifikansi A/B Testing Gratis

Signifikansi statistik adalah ukuran seberapa yakin Anda bahwa perbedaan antara dua varian itu nyata dan bukan sekadar variasi acak. Aturan umumnya, tetapkan pemenang saat tingkat keyakinan mencapai 95% atau lebih, artinya peluang hasil itu terjadi karena kebetulan kurang dari 5%.

Nilai p adalah peluang munculnya hasil yang Anda amati (atau yang lebih ekstrem) seandainya sebenarnya tidak ada perbedaan nyata antar varian. Makin kecil nilai p, makin kuat bukti bahwa perbedaannya nyata. Nilai p 0,05 setara dengan keyakinan 95%.

Sebagian besar marketer memakai keyakinan 95%, artinya Anda menerima peluang 5% terjadinya false positive. Gunakan 99% bila keputusannya berisiko besar (misalnya menerapkan perubahan ke seluruh trafik berbayar), dan 90% hanya untuk eksperimen tahap awal yang risikonya rendah.

Tergantung conversion rate dasar Anda dan besar kenaikan yang ingin dideteksi. Sebagai patokan kasar, kenaikan kecil (di bawah 5%) butuh puluhan ribu pengunjung per varian, sementara kenaikan besar (20% ke atas) bisa dipastikan dengan beberapa ribu saja. Kalkulator ini memperkirakan berapa pengunjung lagi yang dibutuhkan setiap varian untuk memastikan selisih yang Anda lihat, dengan power statistik 80%.

Lift adalah selisih persentase relatif antara conversion rate kedua varian. Kalau varian A mengonversi di 3% dan varian B di 4,5%, maka lift B atas A adalah 50%. Lift inilah yang benar-benar Anda pakai untuk memutuskan apakah sebuah perubahan layak diterapkan.

Conversion rate yang lebih tinggi saja belum cukup. Anda butuh cukup data supaya perbedaan itu kecil kemungkinannya muncul dari kebetulan. Makin kecil kenaikannya, makin banyak pengunjung yang dibutuhkan. Kalau pengujian dihentikan terlalu cepat, Anda berisiko menerapkan perubahan yang sebenarnya hanya kebetulan.

Mengintip berarti terus-menerus mengecek hasil pengujian dan menghentikannya begitu keyakinan melewati 95%. Kebiasaan ini melonjakkan tingkat false positive Anda. Untuk menghindarinya, tentukan ukuran sampel yang dibutuhkan sejak awal, lalu periksa hasilnya sekali saja di akhir.

Bisa. Signifikansi adalah ukuran statistik yang universal, jadi kalkulator ini berlaku untuk setiap A/B testing di mana Anda bisa mengukur pengunjung (atau impresi, klik, kiriman) dan konversi. Masukkan angka dari Meta Ads, Google Ads, TikTok Ads, platform email, atau analitik landing page Anda.

Ya. Kalkulator signifikansi A/B testing ini 100% gratis, tanpa perlu daftar, tanpa batas, dan tanpa harus menyerahkan email. Jalankan sebanyak yang Anda butuhkan, untuk keperluan pribadi maupun komersial.

Tidak. Semua perhitungan terjadi sepenuhnya di browser Anda. Jumlah pengunjung dan angka konversi tidak pernah meninggalkan perangkat Anda dan tidak pernah dikirim ke server kami.