[기초 통계] A/B 테스트
·
Data Analyst/기초 통계
A/B 테스트란?두 개의 변형 A와 B를 사용하는 종합 대조 실험으로, 통계적 가설 검정 또는 2-표본 가설 검점의 한 형태입니다.즉, 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떠 옵션이 더 효과적인지를 검증하는 과정입니다.A/B 테스트 설계하기가설A/B 테스트의 출발점은 가설입니다. A/B 테스트가 의미 있으려면 실험을 통해 무엇을 확인하고 싶은지가 명확해야 합니다.실험 집단/통제 집단전체 모수 중 실험 조건에 할당되는 사용자들을 어떤 기준으로 구분하고, 어떤 비율로 할당할 것인지 정의해야 합니다.독립변수 / 종속변수독립 변수는 설명 변수 또는 예측 변수라고도 합니다. 인과 관계에서 원인이 되는 변수, 즉, 종속 변수에 영향을 줄 거라고 기대되는 변수입니다. 종속변수는 독립변수에 ..
[AARRR] Referral(추천)
·
카테고리 없음
추천(Referral)이란?오가닉(Organic) 유입의 하나로, 말 그대로 기존 사용자의 추천이나 입소문을 통해 새로운 사용자를 데려오는 것을 의미합니다. 추천을 위한 기능으로 흔히 볼 수 있는 것은 친구 초대 기능입니다. 그리고 동시에 친구초대를 할 때 일정한 보상을 지급하는 식으로 초대 프로그램을 운영합니다. 그럼 보상을 어느 정도 지급해야 좋은 것일까? 당연하게도 고객 획득 비용(CAC)에 따라서 달라집니다. 다른 마케팅 채널보다 저렴한 비용으로 새로운 사용자를 데려올 수 있고 초대를 통해 들어온 사용자들은 진성 유저가 될 가능성이 높다는 점에서 친구 초대는 굉장히 강력하고 중요한 추천 채널이라고 볼 수 있습니다.친구 초대 플로 설계친구 초대는 세세한 프로세스와 화면 단위의 사용자 경험이 얼마나 ..
[AARRR] Revenue(수익화)
·
Product Analysis/AARRR
AARRR에 해당하는 모든 요소들은 모두 중요하지만 결국 사업의 성패를 가리는 것은 수익화(Revenue)다.수익화 관련 주요 지표ARPU(Average Revenue Per User)수익화 측면에서 우선적으로 봐야 하는 중요한 지표는 ARPU(인당 평균 매출)입니다.인당 평균 매출이란 개념은 전반적인 수익화 상황을 보는데 굉장히 유용합니다. 하지만, ARPU를 구할 때 사용자와 매출의 정의가 모호합니다. 사용자를 구할 때 사용되는 사용자는 전체로 할 것인가? DAU나 MAU로 봐야 하는 것인지 그리고 매출은 가입자가 아니라 결제자를 봐야할 것인가 마찬가지로 매출의 기준이 되는 기간은 언제부터로 설정해야 하는지 모호한 편입니다. 그러므로 ARPU를 구하려면 먼저 전사적으로 통용되는 명확한 기준을 세워야 ..
[AARRR] Retention(유지율) - 2
·
Product Analysis/AARRR
리텐션 지표DAU(Daily Active User)를 MAU(Month Active User)로 나눠서 인게이지먼트(Engagement) 지표를 구하게 되면 서비스의 리텐션 수준을 알 수 있습니다. 인게이지먼트 지표는 매일 동일한 사용자가 반복적으로 들어오는지 혹은 날마다 새로운 사용자가 들어오는지를 빠르게 가늠할 수 있게 해줍니다. DAU/MAU 지표가 어떻게 달라지는지를 나타낸 라인그래프를 보면 날짜에 따라 인게이지먼트가 어떻게 달라지는지 변화 추이를 살펴보는 것은 전반적인 리텐션 수준을 요약해서 살펴보는데 큰 도움이 됩니다.리텐션 분석하기기간별 리텐션 수치를 계산한다고 해서 특별한 인사이트를 얻을 수 있는 것은 아닙니다. 또한 리텐션은 쪼개서 볼 때 의미 있는 지표라는 점입니다. 일반적으로 리텐션을..
[AARRR] Retention(유지율) - 1
·
Product Analysis/AARRR
리텐션이란?활성화 과정을 통해 경험한 핵심 가치를 꾸준히 경험하게 하고, 그 수준을 측정할 수 있는 지표를 정의하고 관리해야 합니다.리텐션은 서비스의 성공을 예측할 수 있는 가장 기본적이면서도 중요한 지표입니다.즉, 리텐션은 대표적으로 잘 하고 있을 때 일수록 더 세심하게 측정하고 관래해야 하는 지표에 속합니다. 그리고 리텐션의 기준이 되는 행동을 꼭 접속으로 한정할 필요는 없습니다. 일반적으로 접속이나 로그인을 기준으로 리텐션을 측정하는 이유는 사용자가 서비스에 진입하는 것이 유의미한 행동이며, 이러한 행동이 반복되는지 살펴보는 것이 중요하기 때문입니다.리텐션을 측정하는 세 가지 방법클래식 리텐션특정일에 이벤트를 발생시킨 유저의 비율을 계산하는 방식이기 때문에 'Day N 리텐션'이라고도 합니다.클래식..
[AARRR] Activation(활성화) - 2
·
Product Analysis/AARRR
Cohort우선 전환율 지표는 전체 사용자 대상으로 확인할 때보다 여러 그룹으로 쪼개서 볼 때 훨씬 더 강력한 의미를 지닙니다.예를 들어, '광고를 통해 가입한 사용자의 결제 전환율이 40%이고, 친구 초대를 통해 가입한 사용자의 결제 전환율이 60%입니다.' 이런 식으로 그룹별 전환율을 비교할 때 훨씬 더 큰 인사이트를 얻을 수 있습니다. 이처럼, 공통적인 특성에 따라 여러 집단으로 분류한 사용자 그룹을 코호트(Cohort)라고 합니다.   코호트 예시1. 가입 시점에 따라 결제 전환율에 차이가 있는가?2. utm_source, utm_medium, utm_campaign에 따라 결제 전환율에 차이가 있는가?3. 특정 이벤트 경험 유무에 따라 결제 전환율에 차이가 있는가?4. 시간이나 요일, 계절이나 ..
[AARRR] Activation(활성화) - 1
·
Product Analysis/AARRR
사용자들이 우리 서비스의 핵심 기능을 잘 사용하는가?!활성화(Activation)활성화는 고객 유치를 통해 데려온 사용자가 우리 서비스의 핵심 가치를 경험하게 만드는 것이 중요합니다. 활성화 단계의 핵심은 퍼널(Funnel)에 대한 분석입니다.퍼널 분석 이란??사용자들이 서비스에 진입하고 나서 최종적인 핵심 기능을 사용하기까지의 여정을 도표로 나타내면 점점 그 숫자가 줄어드는게 일반적입니다. 그 모습이 아래 이미지와 같이 깔대기와 비슷하다하여 퍼널이란 용어를 사용합니다.퍼널 분석은 사용자들이 경험하는 단계를 도식화하고 각 단계의 전환율을 측정, 분석하는 과정으로 진행됩니다.즉, 퍼널 분석을 통해 사용자가 어디서 이탈하는지 진행률이 어느 정도인지 확인할 수 있으며, 단계별 전환 또한 확인 할 수 있습니다...
[AARRR] Acquisition(고객 유치) - 2
·
Product Analysis/AARRR
경로 유입모바일 앱 어트리뷰션(Attribution)모바일 앱은 링크를 클릭한 후 앱스토어로 이동한 다음 앱을 설치한고 실행하는 과정이 필요한데, 앱스토어로 이동하는 과정을 거치면서 URL에 지정된 UTM 파라미터가 유실되기 때문에 다른 방법을 사용해야 합니다.그래서 사용하는 것이 어트리뷰션입니다. 어트리뷰션은 사용자가 앱을 설치하고 사용하는데 어떤 채널이 기여했는지를 식별함으로써 모바일 앱의 마케팅 성과를 판단하는 과정입니다.  어트리뷰션 윈도우기여 이벤트 : 앱을 설치하게 하는데 영향을 미친 이벤트를 말합니다.기여 이벤트가 발생한 이후 얼마만큼의 기간 동안 발생한 전환에 대해 어트리뷰션을 인정할 것인가를 의미하는 용어로서 룩백 윈도우라고도 합니다.예를 들어 광고를 클릭하고 앱 스토어로 가서 앱을 설치..
[AARRR] Acquisition(고객 유치) - 1
·
Product Analysis/AARRR
고객 유치(Acquisition)- 고객 유치는 사용자를 우리 서비스로 데려오는 것과 관련된 활동을 의미합니다.- 고객 유치 과정의 핵심은 고객 유치에 기여한 채널의 성과를 판단할 수 있는 모델을 만드는 것입니다. 고객 유치에 기여한 채널이란?- 직접 서비스를 서치해서 들어온 고객(Organic)- 비용을 집행한 마케팅 활동을 통해 우리 서비스를 찾아온 고객(Paid) 채널이란 고객들이 어떻게 서비스로 들어온 것인지를 의미합니다. 그럼 이를 통해 어떤 채널을 통해 들어온 사용자들이 꾸준히 남아서 활동하는지, 결제로 전환되는 비율이 얼마나 되는지 등을 바탕으로 각 채널의 가치를 정확히 판단할 수 있어야 이를 기반으로 전체적인 전략을 수립하거나 예산을 분배 할 수 있습니다.고객 획득 비용(Customer A..
[AARRR] AARRR 개요
·
Product Analysis/AARRR
회사가 성장하려면 핵심 지표를 찾고, 그 지표를 성장시키는 방법을 찾아야 합니다. 그럼 서비스의 지표를 어떤 식으로 측정하고 관리할 수 있을까?1. 과업 기반(Task-based)의 지표 관리- 각 조직별로 담당하는 업무를 우선 정의한 후 해당 업무를 통해 발생하는 수치들을 지표화해서 관리하는 것을 의미합니다.-  예를 들어 마케팅팀이 하는 업무, 운영팀이 하는 업무, 개발팀이 하는 업무, 사업팀이 하는 업무들 처럼 팀별로 담당하는 과업에 따라 지표를 선별하고 모니터링하는 방식으로 지표를 관리합니다. - 하지만, 이러한 과업 기반의 지표 관리의 문제점이 있습니다. 전체적으로 서비스 관점에서 무엇이 중요한 지표인지 판단하기가 어렵다는 점입니다.- 위의 내용 처럼 전체적인 관점에서 판단하기 어려우며 각 부서..
hmm06
hmm06 님의 블로그