[product school] A/B Testing for New product launches

 

A/B test란 무엇인가?

위키피디아 설명

마케팅과 웹 분석에서 A/B 테스트(버킷 테스트 또는 분할-실행 테스트)는 두 개의 변형 A와 B를 사용하는 종합 대조 실험(controlled experiment)이다

 

A/Btest는 간단하게 설명하면, 두 개의 A, B를 대조 실험하는 것이다.

예시 그림 그림 - 내가

A/B test Cycle

ideate ▶ design & develop ▶ Lanunch & Iterate ▶ Maturity

 

그럼, 왜 A/B test를 하는가?

사실 정의보다는 우리는 '왜 A/B test를 하는가'가 중요한 것 같다.

1) 유저를 이해하고 painpoint를 해결하기 위해
2) risk를 적게 가져가며, 수정하기 위해
3) 새로운 feature를 소개하거나, feature 변화에 대해 테스트하기 위해

 

등등 다양한 사유가 있을 것이다.

결국, 적은 risk로 product를 user 기반으로 개선 하기 위한 방법이다. 왜? 이런 실험을 통해 product를 만들고 개선시킬까?

(강의에서 인상깊었던 점인데) 내가 어떤 타 프로젝트에서 실험이 성공했다고 해서 그 성공이, 모든 프로덕트에 적용이 되는 것이 아니기 때문이다. 👍🏻

 

기존 Product A/B test

위와 같은 방법으로 똑같이 A/B test를 진행하면 된다. 검증할 가설을 만들고, 가설에 맞춰 (A) Variation1, (B) Variation2 어떤 것이 효과적인지 테스트하고 적용하면 된다.

신규 product A/B test

신규 프로덕트는 일반적인 A/B test가 불가능하다... 왜냐 프로덕트가 없으니까;

1) 일반적인 A/B test가 불가능
2) iterate를 할만한 base가 없음
3) 제한된 user/tester 그룹

위 강연에서는, 신규 프로덕트에 대한 A/B test에 대하여 이야기하고 있는데, (내가 느끼기에) 가장 중요한 개념이 MVP이다.

MVP, Miminum Version of Product

프로덕트의 가장 중요한 부분(?, Base가 되는)을 최소화하여 정의하는 것이다. Trial/Demo 버전을 런칭하고 적용하고 All users에게 런칭하기 이전에, 소수의 반응을 먼저 살펴보고 Feedback 받는 것.  

이런 Base를 만들어 두고 그 위에 여러 가지 modules을 얹혀 (A) module, (B) module를 기존 product A/B test와 동일하게 가져가면 된다.

 

---

 

Slide Team에서 일했을 때가 생각난다. 비디오 소개팅이라는 base를 잡고, 하나하나 신규 feature를 만들고 유저 반응에 따라 대응하곤 했었는데..(그립군)