[기초 통계] A/B 테스트

A/B 테스트란?

두 개의 변형 A와 B를 사용하는 종합 대조 실험으로, 통계적 가설 검정 또는 2-표본 가설 검점의 한 형태입니다.

즉, 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떠 옵션이 더 효과적인지를 검증하는 과정입니다.

---

A/B 테스트 설계하기

가설

A/B 테스트의 출발점은 가설입니다. A/B 테스트가 의미 있으려면 실험을 통해 무엇을 확인하고 싶은지가 명확해야 합니다.

실험 집단/통제 집단

전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의해야 합니다.

독립변수 / 종속변수

독립 변수는 설명 변수 또는 예측 변수라고도 합니다. 인과 관계에서 원인이 되는 변수, 즉, 종속 변수에 영향을 줄 거라고 기대되는 변수입니다.

 

종속변수는 독립변수에 의해 영향을 받을 것으로 기대되는 변수입니다. 즉, 인과 관계에서 결과가 되는 변수라고 볼 수 있습니다.

 

실험 설계 과정에서는 종속 변수의 현재 수준을 측정하고 실험을 통해 어느 정도의 변화를 기대하는지 정의하는 것이 필요합니다.

통제 변수

실험 결과에 영향을 미칠 수 있기 때문에 실험 집단/통제 집단 모두에서 동등한 조건을 가져야 하는 변수를 의미합니다.

즉, 독립 변수가 아니지만 종속 변수에 영향을 미칠 수 있는 제 3의 변수라 볼 수 있습니다.

이 통제 변수를 얼마나 잘 관리하느냐에 따라 A/B테스트의 성패가 달립니다.

실험 기간

샘플 크기를 고려했을 때 가설 검증을 위한 데이터를 수집하는데 필요한 기간을 정의 해야 합니다.

---

A/B 테스트 설계 시 유의 사항

실험 집단과 통제 집단 샘플링

랜덤 추출은 통제 변수가 잘 관리된 것을 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출을 의미합니다.

제 3의 변수(통제 변수)가 종속 변수에 영향을 미칠 수 있다고 판단된다면 이를 통제 변수에 포함해서 샘플링 과정에 반영함으로써 종속 변수에 미치는 영향을 차단해야 합니다.

 

즉, 테스트 하고 싶은 독립 변수 외에 종속 변수에 영향을 미치는  나머지 요소들을 얼마나 잘 식별하고 통제하느냐가 A/B테스트를 설계하는 과정에서 대단히 중요합니다.

 

순차 테스트와 동시 테스트

순차 테스트는 A조건으로 일정 기간 테스트를 한 다음, B 조건으로 바꿔서 연이어 테스트를 진행하고 이 두 가지 조건의 결과를 비교하는 식으로 진행하는 테스트입니다.

 

여기서 순차 테스트는 A/B테스트가 아닙니다!! 그리고 순차 테스트의 가장 큰 문제는 제대로 된 통제 변수 관리를 할 수 없다는 점입니다. 실험 기간이 달라짐에 따라 기대하지 못한 외부 효과가 개입할 여지가 있기 때문입니다.

---

A/B 테스트 결과를 분석하는 방법

p-value에 대한 이해

실험의 유의 수준을 판단하기 위해 통계학에서 사용하는 기준은 p값입니다. 하지만 p값만 체크한다고 하여 실험 결과를 정확하게 분석할 수 있는 것은 아닙니다.

 

p값은 귀무가설 하에서 관찰된 검정통계량 만큼의 극단적인 값이 관찰될 확률을 의미합니다.

여기서 검정통계량이 극단적인 값일수록 귀무가설을 반박하는 목소리를 크게 낼 수 있다고 생각하시면 됩니다.

 

테스트 비용과 효과 크기

p값이 A/B테스트의 결과를 판단하는 단 하나의 절대적인 기준은 아닙니다. 애초에 표본 크기가 커지면 p값은 낮아지는 특성이 있기 때문에 실험 집단의 규모가 매우 크다면 p값이 가지는 의미가 왜곡될 수 있습니다.

 

즉, A/B 테스트의 가치는 단순히 테스트 자체의 결과로 인해 얻어지는 p값 외에 실험이 실질적으로 효과를 미치는 크기나 영향력을 고려해서 판단해야 합니다.

---

A/B 테스트 진행시 주의 사항

1. 무가설
2. 통제 변수 관리 실패
3. 단순 평균 비교(평균 만이 아니라 분포, 유의수준, 효과 크기 등을 종합적으로 고려해서 판단해야 함.)
4. 엿보기 + 조기 중지(p값의 변화를 살펴보고 있다가 p값이 0.05이하로 내려가는 시점에 실험을 중단해 버리면 안됨.)
5. 시간의 흐름에 따른 차이를 살펴보지 않는 것.
6. 과거의 A/B 테스트 경험을 지나치게 신뢰하는 것
7. 국지적 최적화의 함정

---

이상으로 A/B 테스트에 대한 포스팅을 마치겠습니다.

참고한 내용은 양승화님의 그로스해킹 책에서 도움을 많이 받았습니다.

이상입니다.