아이템을 검증하기 위해서 어떤 지표를 봐야할까요..?

문제 what?

• PMF를 찾기 위해 정량적 검증 실험에서 어떤 지표를 비교해야 할지 전혀 감이 잡히지 않음

예전에 소개했던 검증 프로세스 중 3번째 단계

---

 

why 문제?

• "CTR이 5%면 수요가 있는 건가? CVR이 10%면 가능성이 있는건가?"
• 상대적인 수치이다 보니 저 숫자들이 의미하는 게 무엇인지 모르겠고, 의사결정을 하기 매우 어려움

 

---

 

가설 what?

• 타겟팅만 뾰족하게 했다면, 상대적인 수치라도 유의미하게 수요를 검증할 수 있을 것이다.

 

---

 

How 해결?

 

1. 어떤 지표를 볼 것인가?

예전에 SNS 광고와 랜딩페이지 사전신청 테스트로 검증했던 아이템의 사례를 잠깐 가져오자면,

결과:

 

여기서 추론할 수 있는 점은

• CTR1.2%: 클릭률은 낮다
  • → 많은 사람들이 공감하고 있는 문제가 아니라고 판단할 수 있음
• CVR 24%: 광고를 본 72명 중 20%나 사전신청 전환 됨
  • → 광고를 본 사람은 실제로 이런 서비스를 생각하고 있었을 확률이 높음
• CPC: 광고 효율이 나쁘지 않음

 

테스트 결론

 

이런 방식으로 다양한 지표 중 특히 CTR과 CVR 두 가지 지표를 통해 나름의 결론을 낼 수 있었고, 빠르게 많이 검증해야 하는 저희 상황에서 유효한 수요를 판단하기에 가장 효율적인 방법이라고 생각했습니다.

 

---

 

위와 같은 추론을 통해, 저희 팀은 클릭률(CTR)과 전환율(CVR) 두 지표에 대한 가정을 도출했고,

• CTR(클릭률): CTR이 2~5% 이상이면 다음 단계를 진행하기에 유효한 아이템으로 판단.
• CVR(전환율): CVR 15% 이상이면 유효하다고 판단.

 

 

이후 2번의 이터레이션을 거쳐 다음과 같은 success metric을 정의했습니다.

• $1: CTR 5% 이상
• $2: CVR 15% 이상
• $3: CTR / CVR 상관관계 확인

즉, 클릭률이 매우 낮게 나오더라도, 전환율이 유효하게 높다면, 타겟군과 니치 시장에 대한 고려를 할 필요가 있다고 판단했고,

반대로 클릭율이 아무리 높아도 전환율이 낮다면 역시 가중치를 두고 의사결정을 진행했습니다.

 

---

어떻게 지표를 비교할 것인가?

기본적인 틀을 위와 같이 설정한 상태에서

같은 기간, 같은 횟수, 같은 모수와 같은 예상치의 고객 세그먼트로 타겟팅한다면, 상대적인 수치를 nomalize 할 수 있다고 기대했고 약 10번의 이터레이션을 거치면서 실제로 워킹할 수 있는 지표라고 내부적인 결론을 내린 상태입니다.

물론, 실제로 프로덕트를 serving 해야 확실히 알 수 있겠지만, 적어도 다음 단계로 넘어가는 퍼널의 역할은 충분한 것 같아요.

정량적 검증 결과

 

결론적으로 가장 처음 목표였던, 아이템 간의 상대적인 비교를 통해 신속하게 의사결정 할 수 있었습니다..!

 

---

 

so what?

이전 글에서도 잠깐 언급했지만, 이 검증과정은 아이템의 유효성을 판단하는 5개의 퍼널 중 하나일 뿐이고, 현재 단계에서 success metric을 아무리 초과해서 달성했다고 한들, 해당 수치가 아이템을 결정하는 단 하나의 기준이 되어서는 안 된다고 생각합니다.

다행히도(?) 저희는 결과들의 편차가 매우 높은 사례는 발견하지 못해서, 상대적인 비교를 통해 의사결정을 내릴 수 있었다고 생각해요.

 

---

 

마지막으로

글로 정리해 보니 그간의 여정이 굉장히 스무스하게 느껴지지만,,, 누구나 그렇듯 절대 순탄하지 않았습니다.

나름의 기준과 결론을 얻기 위해 많은 뛰어나신 PM과 PO분들을 직접 찾아가서 물어봤고, 책이나 아티클, 사례들을 수도 없이 뒤지면서 올바른 의사결정을 위한 사투가 있었던 것 같아요.

한 가지 얻은 교훈이 있다면 단순히 데이터를 볼 수 있는 건 아무 쓸모가 없다는 점인데요,

정말 중요한 건 “어떤 데이터를 왜 봐야 하는지 스스로 생각”할 수 있어야 한다는 점인 것 같네요 ㅎㅎ

혹시라도 저와 같은 고민을 하시거나 더 좋은 방법을 알고 계시는 분이 있다면 같이 얘기해 봐요!

 

그럼 오늘도 애매하게 글을 마무리하면서, 아편 같은 주말+연차를 보내러 가볼게요~!