Table Of Contents
Don’t Boil the Ocean
How to Measure Your Product 요약 정리 글
이전 글에서 Product Analyst 가 어떤 일을 하는지 살짝 알아보긴 했지만. 그 일을 왜 해야 하는지에 대해서는 아직 풀리지 않은 아쉬움이 있었다.
Product를 위해 어떤 Metric을, 왜 봐야 할까요?
라는 질문에 스스로 답변을 하기 어려웠기 때문이다.
서점이나 강의에 “Product Analytics 개론” 같은 것이 있다면 싱글벙글 하면서 구입해 읽었겠지만 안타깝게도 그러한 것은 없었고, “제품 분석” 을 찾아봐도 “새로운 Product를 기획” 하는 차원에서의 설명이 많았지 현재 있는 Product를 더 개선 시키는 내용은 찾기 어려웠다.
아쉬운대로 해외 자료들을 찾다가 발견한, 잘 풀어서 설명한 자료가 있어서 해당 내용을 공부하고 추가로 나의 언어로 정 리한 글을 작성한다.
개요
우리가 열심히 만든 프로덕트를 세상 많은 사람들이 사용해 준다면 너무나도 좋겠지만 고객의 수는 0, 1 ~ 100, 100 ~ 10000, 10000 ~ 명의 단계로 나누어 볼 수 있다.
이 사용자의 수에 따라서 접근해야하는 방법이 다르긴 한데,
만약 0 ~ 100 의 수준이라면, 프로덕트의 Metric을 통해 개선하려고 하는 것보다 고객 인터뷰를 하고 목소리를 직접 청취 하는 것이 훨~씬 효과적이다.
만약 10000명 이상의 고객을 갖는 프로덕트라면. 이미 어떤 Metric을 봐야하는지 조직내에 알고 있는 사람이 있을 것 이다. 그 사람과 이야기를 하는 것이 좋다.
그렇다면 남은. 100 ~ 10000의 수준이라면 수익을 만들어 줄테니 일단은 다행이다. 그러나 “데이터의 입장” 에서는 다행이라고 보긴 어렵다. 그 이유는 10000명의 유저가 쏟아내는 데이터(이걸 로그라고 부르기로 했다)들을 일일히 보긴 어렵기 때문이다.
이러한 “대용량 데이터” 들을 잘 정리하고 추적해주는 툴 (Amplitude 나 Google Analytics, 아니면 이 발표자가 만들었던 Mixpanel 등)이 있다.
이 글에서는 어떤 툴이 좋고 어떻게 사용하고 등등의 이야기는 다루지 않는다. 마찬가지로 데이터를 보기 위해서 어떤 차트를 그리고, 복잡한 통계 방법을 이야기하고, 계산식을 세우고… 등의 이야기도 하지 않는다.
이 글의 목적은 “상대적으로 적은 고객을 갖는 프로덕트에서 어떤 Metric을 왜 봐야 하는지 고민하는 단계를 따라가는 것” 이다.
어떤 Metric을, 왜 봐야 할까?
나처럼 ‘이렇게 해야… 월급을 받기 때문에’ 라고 생각 할 수 있다.
틀린 말은 아니다. 그렇지만 생각을 조금만 더 연장해보자.
월급은 어디서 나올까?
“대표가 끌어온 투자자들의 지갑에서” 이다.
“우리가 만든 프로덕트로 부터 만들어진 수익으로부터” 아닌가요?
라고 할 수도 있다.
물론 그럴 수도 있지만, 한번 스스로를 기업의 대표라고 생각해보자.
수익이 충분히 나오는 프로덕트가 있으면 그 수익을 기반으로 새로운 프로덕트 / 비즈니스를 기획해서 시장을 더 늘려가고, 그게 더 많은 돈을 끌어올 것이라고 생각하지 않을까?
기업의 대표들은 전부 야수의 심장을 가진 사람들이다.
그러면 결국 우리의 목표는 “프로덕트로 부터 더 많은 수익을 냄”.
즉 “더 많은 고객들이 우리 프로덕트를 사용하는 것” 이 우리의 목적이 될 것이다. (단, B2B / Freemium등.. 비즈니스 모델에 대한 영역은 우리가 고민할 문제가 아니다. )
프로덕트 성장의 조건
프로덕트를 더 많은 사람들이 더 많이 사용하려면 3가지 조건이 필요하다.
내가 만든 프로덕트가 어떤 것인지 고객들이 쉽게 알아야한다.
(Is my product easy to understand?)고객이 프로덕트를 접한 첫 순간부터 프로덕트를 사용하기 쉬워야한다.
(Is it easy to get started with my product?)고객은 지속적으로 프로덕트를 사용해야 한다.
(Are people coming back to my product?)
간단해보이는 내용이지만 조금은 길기때문에 살짝 전문적이고, 짧은 단어로 줄여서 표현하면 아래와 같다.
(이걸 더 줄여서 AARRR이라고 부르기도 한다)
헐 제가 아는 지인의 (1000명 넘게 일하는) 조직은 위 3개 말고도 더 세부적인 단계와 Metric을 보던데요?
라고 말하면 안된다.
그 쪽은 이미 충분히 성장한 프로덕트이고, 우리는 이제 쭉쭉 성장해야 하는 프로덕트이다 보니 벌써부터 많은 내용들을 고려하기 보다 기본적인 것을 우선으로 고려하는 것이 맞다.
즉 3 ~ 5개의 북극성(North star)과 같은 단순하고 핵심을 찌르는, 팀의 활동을 이끌어 낼 수 있는 Metric, 어떤 상황들이 잘되고 있는지 혹은 어느 부분에 이슈가 있는지. 를 파악 할 수 있는 지표 정도면 충분하다.
아무튼 위의 단계들( Visit / Signup / Use / Retention / Spread )을 통해
- 랜딩페이지의 설명이 이상한지
- 회원가입 과정에 이슈가 있는지
- 프로덕트가 문제를 제대로 해결하지 못하는지 (!)
등을 파악할 수 있고, (어쩌면 이 파악보다 더 중요한) “액션”을 만들 수 있게 된다.
위에서 말한 3단계의 프로세스를 측정/개선을 통해 최적화하는 것은 끝이 없는데, 세부단계별로 어떤걸 할 수 있는지 알아보자.
Is my product easy to understand?
The enemy is the back button — Paul Graham
위의 그림은 발표자가 만들었던 Mixpanel 이라는 서비스의 랜딩페이지이다. (오른쪽으로 갈 수록 최근)
만약 여러분이 이 서비스의 광고를 본 이후 왼쪽 페이지를 접한다면 어떤 생각이 들까?
발표자의 표현을 빌리자면.
“how’s different with google analytics?”
라는 생각이 들 테고 이는 고객이 내가 만든 프로덕트를 이해 하는 것부터 어려움을 겪는다는 이야기다. (큰일 났다는 소리다)
그렇다면, “고객이 내 프로덕트를 잘 이해하고 있다.” 라는걸 어떻게 “측정” 할 수 있을까?
사람들이 가입을 했는가. 를 측정한다.
가입이 있다는 전제하에, 귀찮고 번거로운 프로세스지만 이를 감내했다는것은 우리가 만든 프로덕트를 기꺼이 사용할 의지가 있다는 뜻이다.랜딩페이지에서 세부 페이지로 이동하는 비율을 측정한다.
뒤로가기 버튼은 제외한다.
마찬가지로 프로덕트에 관심 이 있고 더 많은 내용을 알기 원한다는 뜻이다.(특히, B2B) 가격정책 페이지를 방문했는가. 를 측정한다.
이는 아 그래서 됐고 얼마면 서비스 쓸 수 있는데? 와 일맥상통하다.
이외에도 당연히 더 많은 Metric들이 있지만 측정으로 끝이 아닌 A/B 테스트와 같은 액션을 통해 더 효과적인 전략을 꾸준히 실험해볼 수 있다는 것 또한 기억해야 한다.
Is it easy to get started with my product?
발표자가 경험을 통해 배운 내용을 먼저 공유하자면, 쿨한 기능을 새롭게 추가 하는 것보다 고객이 더 가치있게 생각하는 것을 우선시 해야한다.
한 예시로, Zenter라는 “온라인 PPT” 서비스는 처음 프로덕트를 만들 당시 PPT를 저장하는 기능도 없었다. 이전에 아무도 그러한 기능을 필요로 하는 고객이 없었고 (요청이나 문의도 없었다..!) 우선순위가 높지 않은 기능을 굳이 먼저 만들 필요는 없었기 때문이다. 그럼에도 프로덕트의 성장에는 큰 영향을 주지 않았다.
번외2) Mixpanel은 password 기능도 없었다고 한다
이 문단의 제목인 Easy to get started 와는 조금 다른 이야기인 것 같은데, 그럼 Easy to use 한 프로덕트의 예시로는 어떤게 있을까?
발표자는 아래의 2 예시를 들었다.
(가입을 하지 않아도, 직관적으로 쉽게 서비스를 사용해 볼 수 있다.)
특히 Airbnb 의 경우는
우리 프로덕트가 어떤 가치를 고객에게 제공 할 수 있는지.
우리의 프로덕트를 고객이 빠르고 쉽게 사용할 수 있는 방법.
이라는 2가지를 모두 표현해냈다.
자 그럼 본론으로 와서, 고객이 우리 프로덕트를 쉽고 빠르게 사용할 수 있음. 은 어떻게 측정할 수 있을까?
얼마나 많은 고객이 하나의 가치있는 행동을 하는가. 를 측정한다.
(비디오를 보거나, 검색을 하거나 등 실제 “사용”하는 것)고객의 초창기 사용자 경험 퍼널은 어떠한가. 를 측정한다.
(게임회사의 경우는 실제 프로덕트 사용까지 2–30 단계를 거치는 경우도 있는데, 각 단계별로 90%의 전환율을 가정해도 12%만이 남게 된다.)1과 이어서 고객이 하나의 가치있는 행동을 할때까지 얼마나 오래 걸리는가. (시간)를 측정한다.
당연하게도 프로덕트에 쉬운 설명, 쉬운 접근이 있다면 금방금방 해낼 수 있다.
Are people coming back to my product?
초기 창업자들이 자주 놓치는 지표중 하나는 바로 Retention 이다. (한번 프로덕트를 사용했던 사람들이 다시 사용함, 잔존율 / 재방문율 / 유지율)
특수한 BM을 갖는 프로덕트가 아닌 이상, 정말 잘만든 랜딩을 갖고, 쉽게 사용 가능한 프로덕트여도 Retention이 낮으면 ‘밑빠진 프로덕트에 고객을 붓는 효과만 만들게 될 것’이고 이는 100만명의 고객이 있던 프로덕트도 금방 없어지게 할 수 있다.
이러한 현상을 ‘the shark fin effect’ 라고 부르는데 말 그대로 상어지느러미와 비슷한 모양을 나타내기 때문이다.
뒤늦게 이를 해결하기 위해서 (Retention을 높이려) 이메일에 쿠폰 등을 포함시켜 다시 보내는 경우도 있는데. 대부분의 경우는 좋은 아이디어가 아니라고 한다. (발표자피셜)
LivingSocial, Groupon이 이 Retention 의 중요성을 잘 드러낸 예시인데, 고객이 꾸준히 프로덕트를 사용하게 하지 못한 LivingSocial의 경우 결국 Groupon에 인수되었다. (아래 노란선이 LivingSocial. Groupon의 큰 경쟁자였지만…)
Ways to measure people coming back
이렇게 중요한 Retention. 어떻게 측정할 수 있을까?
처음 사용 (혹은 신규 가입)한 사람들이 일주일 후에 그리고 한달 후에 다시 프로덕트를 사용 하는 비율 을 측정한다.
나의 프로덕트를 사용하는 사람들의 수 를 센다 (단, 월단위 MAU가 아닌 일단위 DAU를 보는 것이 더 효과적이다).
추가로 프로덕트를 사용하는 사람의 수이지, 가입되어 있는 사람의 수는 아니다.
Linkedin의 경우 예전에 우리 서비스에 가입한 사람은 200만명이에요 ! 라고 자랑했다고 한다. 이에 대해 발표자는 아니 “몇 명이 가입한게 중요한게 아니라, 몇 명이 실제로 Active User 인지가 더 중요한걸?” 이라고 말할 정도로 가입수는 전혀 중요하지 않은 “Vanity Metrics” 이다.
만약. B2B (구독)과 같이 비즈니스 모델이 좀 특이해서 DAU의 의미가 적다면 어떻게 해야할까?
이 정말 어려웠던 질문에 대해 발표자는 DAU 대신 Ratio of churn (혹은 Revenue churn) 이 매우 강한 상관관계가 있기 때문에 이를 대신 측정하라고 조언한다.
사실 되게 당연한 말인게 사용자가 많아야 Revenue가 늘어나고, Churn Ratio가 올라간다는 것은 Active User가 점점 줄어들고 있다는 뜻이다.
여기서 또 중요한 것으로 아까 20 Step 의 Conversion rate 처럼. 월단위 Revenue churn 이 93% 라고 하더라도 1년이면 0.93¹² = 0.41 즉 50% 이상의 손실이 예정되어있다는 소리이다. (당연히 Retention 이전의 단계도 더 키워야 한다)
최고의 메트릭
사실 이 부분은 앞의 사용자의 수가 적은 경우에서 같이 언급했다.
고객과 대화하고, 그들이 말하는 모.든.것.을 기록한 내용들이 더 다양한 대시보드와 차트, 그리고 수많은 레이어로 구성된 Metric들 보다 훨씬 더 유익한 그로스를 만들어 낼 것이다.
A/B테스트를 비롯한 여러 실험들을 고민하고, 실행하고 더 나아가 가능한 빠르게 피드백을 하는 것으로 로켓 성장을 할 수 있게 된다.
여전히 아래 그림처럼 화려하고 수많은 지표들을 통해 나의 프로덕트를 측정하고 싶을 수 있다. 솔직히 Fancy 하고 멋있는 것은 부정할 수 없을 거다.
그러나 발표자는 이러한 것이 반드시 있어야 하는 것은 아니며 오히려 더 혼란스럽게한다고 말한다. 추적하는 지표는 적으면 적을 수록 실수와 혼동을 줄일 수 있다.
정말 신중하게 고민해서 작고 소중한 지표를 선정하고 6개월 동안 유지하면서 필요하면 프린트도 해서 벽에 붙이고 매일 매일 그 지표에 온전히 집중하여 왜 이게 올라갔을까? 왜 이게 내려갔을까? 를 고민해야한다.
Don’t boil the Ocean
모든 것이 아니라, 선택과 집중을 하자.
Resources (Advanced topics)
발표에서 공유된, 추가로 더 참고하면 좋을 자료들이다. (나도 안읽어봤다)
- https://a16z.com/2015/08/21/16-metrics/
- https://redeye.firstround.com/2008/01/after-the-techc.html
- https://tomtunguz.com/negative-churn
- https://www.startuplessonslearned.com/
- https://andrewchen.com/the-next-feature-fallacy-the-fallacy-that-the-next-new-feature-will-suddenly-make-people-use-your-product/