무료 A/B 테스트 유의성 계산기

분할 테스트 결과가 통계적으로 유의한지 몇 초 만에 확인하세요. 두 변형의 방문자와 전환 수를 넣으면 승자와 상승률, p값, 필요한 표본 크기를 볼 수 있습니다.

신뢰 수준
대조군(A)
0.00%전환율
변형(B)
0.00%전환율
데이터 대기 중두 변형의 방문자와 전환 수를 입력하면 결론이 표시됩니다.
확신 수준--
상승률--
p값--
표본 크기--

팁. 확신 수준이 95%를 넘는 순간 테스트를 멈추지 마세요. 표본 크기를 미리 정하고 끝까지 돌려야 합니다. 그러지 않으면 거짓 양성을 승자로 판단하기 쉽습니다.

3단계로 A/B 테스트 유의성 확인하기

스프레드시트도 가입도 없이, 1분 안에 분할 테스트에 대한 명확하고 통계적으로 타당한 결론을 얻으세요.

  1. 01

    대조군 수치 입력하기

    비교 기준이 되는 원본 버전인 변형 A의 전체 방문자와 전환 수를 넣으세요.

  2. 02

    변형 수치 입력하기

    새 버전인 변형 B의 방문자와 전환 수를 넣으세요. 전환율은 바로바로 갱신됩니다.

  3. 03

    결론 읽기

    결과가 유의한지, 상승률과 p값, 확신 수준은 어떤지, 아직 부족하다면 방문자가 얼마나 더 필요한지 확인하세요.

마케터가 유의성 검정을 하는 이유

전환율이 더 높다고 해서 곧바로 승자인 것은 아닙니다. 제대로 된 유의성 검정을 써야 언제 멈추고, 언제 더 돌리고, 어떤 결과가 그저 잡음인지 알 수 있습니다.

테스트를 언제 멈출지 알기

감이 아니라 확실한 근거로 승자를 정하고, 실제로 통하는 변형을 놓치지 마세요.

거짓 양성 피하기

중간에 결과를 엿보다 돈을 잃는 일을 막으세요. 제대로 된 p값이 그 차이가 진짜인지 알려 줍니다.

다음 테스트 계획하기

표본 크기 안내가 확신 있는 결론에 이르려면 데이터가 얼마나 더 필요한지 정확히 보여 줍니다.

더 깔끔한 보고

결과 링크를 클릭 한 번으로 팀과 공유해, 모두가 같은 숫자를 같은 확신으로 읽게 하세요.

팀이 A/B 테스트 계산기를 쓰는 곳

랜딩 페이지부터 광고 소재까지, 마케터들이 모든 실험에서 빠른 유의성 검정을 어떻게 활용하는지 소개합니다.

랜딩 페이지 테스트

랜딩 페이지의 두 버전을 비교해 어떤 헤드라인이나 히어로, CTA가 실제로 전환율을 움직이는지 확인하세요.

Facebook·Meta 광고

광고 관리자의 표시를 그대로 믿는 대신, 실제 통계를 근거로 두 소재나 오디언스 중에서 고르세요.

Google Ads 카피 테스트

반응형 검색 광고의 두 변형을 비교해, 새 헤드라인이 정말 대조군을 이기는지 확인한 뒤 예산을 늘리세요.

이메일 제목 테스트

리스트의 일부에 두 가지 제목을 보내고, 전체 발송 전에 자신 있게 승자를 정하세요.

결제 흐름 테스트

새 결제 단계나 신뢰 배지, 업셀이 실제로 완료율을 높이는지, 아니면 그저 잡음인지 검증하세요.

가격 페이지 실험

두 가지 요금제나 레이아웃으로 깔끔한 테스트를 돌리고, 감이 아니라 가입 수를 근거로 결정하세요.

자주 묻는 질문

통계적 유의성은 두 변형 사이의 차이가 우연한 변동이 아니라 진짜라고 얼마나 확신할 수 있는지를 나타내는 척도입니다. 흔한 기준은 확신 수준이 95% 이상일 때 승자를 정하는 것으로, 이는 결과가 운으로 나왔을 가능성이 5% 미만이라는 뜻입니다.
p값은 변형 사이에 실제로 아무 차이가 없었다고 가정할 때, 관찰된 결과(또는 그보다 극단적인 결과)가 나올 확률입니다. p값이 작을수록 차이가 진짜라는 증거가 강합니다. p값 0.05는 확신 수준 95%에 해당합니다.
대부분의 마케터는 확신 수준 95%를 씁니다. 거짓 양성이 나올 가능성을 5%까지 감수한다는 뜻입니다. 판단이 중대한 경우(예: 모든 유료 트래픽에 변경을 적용) 99%를, 위험이 낮은 초기 실험에만 90%를 쓰세요.
기준 전환율과 감지하려는 상승 폭에 따라 다릅니다. 대략적으로, 작은 상승(5% 미만)은 변형당 수만 명의 방문자가 필요하고, 큰 상승(20% 이상)은 수천 명으로도 확인할 수 있습니다. 이 계산기는 지금 관찰된 효과에서 유의성에 도달하려면 방문자가 정확히 몇 명 더 필요한지 알려 줍니다.
상승률은 두 변형의 전환율 사이의 상대적 백분율 차이입니다. 변형 A가 3%, 변형 B가 4.5%로 전환된다면 A 대비 B의 상승률은 50%입니다. 어떤 변경을 실제로 적용할 가치가 있는지 판단할 때 쓰는 숫자가 바로 이 상승률입니다.
전환율이 더 높다는 것만으로는 부족합니다. 그 차이가 우연에서 나왔다고 보기 어려울 만큼 데이터가 쌓여야 합니다. 상승 폭이 작을수록 더 많은 방문자가 필요합니다. 테스트를 너무 일찍 멈추면 잡음에 불과했던 변경을 적용할 위험이 있습니다.
엿보기란 테스트 결과를 계속 확인하다가 확신 수준이 95%를 넘는 순간 멈추는 것입니다. 이렇게 하면 거짓 양성 비율이 크게 올라갑니다. 이를 피하려면 필요한 표본 크기를 미리 정하고, 마지막에 한 번만 결과를 확인하세요.
네. 유의성은 보편적인 통계 개념이라, 방문자(또는 노출, 클릭, 발송)와 전환을 측정할 수 있는 A/B 테스트라면 어디에나 적용됩니다. Meta Ads, Google Ads, TikTok Ads, 이메일 플랫폼, 랜딩 페이지 분석의 수치를 그대로 넣으면 됩니다.
네. A/B 테스트 유의성 계산기는 100% 무료이며 가입도, 사용 제한도, 이메일 입력도 없습니다. 개인용이든 상업용이든 필요한 만큼 돌려 보세요.
아니요. 모든 계산은 전적으로 브라우저 안에서 이뤄집니다. 방문자 수와 전환 수는 기기 밖으로 나가지 않으며 저희 서버로 전송되지도 않습니다.

방문자가 실제로 보는 랜딩 페이지를 A/B 테스트하세요

A/B 테스트에서 가장 큰 성과는 유료 트래픽이 도착하는 페이지를 테스트할 때 나옵니다. LanderLab으로 전환되는 랜딩 페이지를 만들고, A/B 테스트하고, 배포한 다음 그 숫자를 이 계산기로 가져오세요.

시작하기 - 무료입니다

신용카드 불필요

LanderLab 로고