Table Of Contents
프로덕트 데이터 분석 및 활용에 대한 생각들
필자의 이야기
첫 회사 생활을 시작하기 전부터 해외에서 데이터 전문가로서 일을 하고 싶은 꿈이 있었다. 근데 유학을 고려해보기도 전에, 국내 스타트업에 재미가 제대로 들렸다. 함께 팀을 빌딩하는 그 뿌듯함, 문제를 직접 정의하고 해결하기 위해 고되지만 환경을 바꿔나가는 과정, 성과에 상응하는 인정의 문화, 함께 성장할 수 있는 환경 등 스타트업은 매력적인 것들이 한두 가지가 아니다.
왜 해외에 가고 싶었을까?
선도하는 테크 기업들이 데이터를 활용하는 방식과 사례들을 직접 배우고 싶었다. 배운 것을 기반으로 국내에 돌아와 내가 있는 자리에서 가치를 만들고, 소속된 조직을 바꿀 수 있는 사람이 되고 싶었다. 소속된 조직을 넘어서 국내 업계에도 좋은 영향을 줄 수 있으면 좋겠다고 생각했다.
다행히 성공적인 사례들을 간접 경헙할 수 있는 자료가 많았다.
그래서 해외 자료들을 매일 읽었다. 미국 테크 기업들의 블로그, 관심사의 논문들을 많이 보고 있다. FAANG의 데이터 분석 직무 JD들은 습관적으로 살펴보고 있다. 데이터 직무의 트렌드는 대형 테크 기업들에서 시작될 것이라고 믿기 때문이다. 종종 구글링에 관심사 키워드(Product Data Science, Analytics ..)를 영문으로 쳐보고 최신 글로 조건을 걸어 훑어보기도 한다. 그 뿐 아니라, 국내 커뮤니티 활동을 통해서 배울 점 많으신 분들을 만나면서, 소속된 조직 밖으로 시야를 넓히는 데에 큰 도움이 됐다.
오늘은 ‘프로덕트 데이터 분석 및 활용’ 에 대해서 가지고 있는 생각들을 구조화하여 풀어낼 예정이다.
임팩트 공식
우선 ‘프로덕트 데이터 분석 및 활용’ 에 대해서 왜 알아야 할까? 영어로는 Product Data Science 로 표현했다. 바꾸어 말해서 ‘프로덕트 개발에서의 데이터의 역할’ 으로 볼 수 있다. 이는 프로덕트 조직의 임팩트 공식에서 주요한 구성 요소로서 기능한다.
프로덕트 개발에서의 데이터의 역할을 잘 이해하고 활용하는 사람×데이터 기반 프로덕트 개발을 중시하는 문화=임팩트
공식의 구성 요소를 들여다 보자.
프로덕트 개발에서의 데이터의 역할을 잘 이해하고 활용하는 사람
먼저, 프로덕트 개발에서의 데이터의 역할을 잘 이해하고 활용하는 사람은 어떤 사람인가?
](/static/32e9175f194cf7c35d6e6bdf37ef3754/f1d1f/matrix.png)
상위 글에서 잘 정리해준 데이터 직무의 매트릭스를 참고해보자. Product Analyst, Product Data Scientist, Product Data Engineer 등의 직무들이 있다. 이런 사람들을 의미할까? 아니다. 사실 위 공식에 있어서 직무는 상관이 없다. 어차피 데이터는 누구나 활용할 수 있다.
프로덕트 개발에서 데이터를 통해 할 수 있는 일의 영역에 대해 명확히 인지하고 있는 사람, 더 나아가서는 노력을 통해 활용하고 문화를 바꿔나갈 힘이 있는 사람을 의미한다.
데이터 기반 프로덕트 개발을 중시하는 문화
앞서 정의한 구성 요소로 ‘잘 이해하는 것’ 에 비해, 이해한 것을 기반으로 실무에서 가치와 문화를 만드는 것은 훨씬 더 어렵다.
Bottom-up으로는 Cross-functional Team으로 작은 조직으로 일할 때, 교육과 협업을 통해 비교적으로 영향을 미치기 쉽다. 반대로 Top-down으로 리더십과 함께 업무 프로세스가 잡힐 수도 있다. 어느 방향이든 문화가 0일 경우, 사람이 노력해도 임팩트는 내기 어렵다.
데이터 기반 프로덕트 개발은 어떻게 정의할 수 있을까?
데이터 기반 프로덕트 개발은 인기가 많은 키워드이면서, 운영 중인 커뮤니티에서도 비전으로 삼고 있는 내용이다. 필자가 일을 하며 업무에서 정형화된 것들을 명시했다. 바꿔말하면 ‘프로덕트 개발에서 데이터가 활용될 수 있는 영역’에 대해서 정의한 내용이다.
프로덕트에 있어서의 출시 이벤트 전후로 데이터가 활용되어야 하는 영역들이 있고, 프로덕트 조직의 목표를 달성하기 위해 출시 이벤트와 별개로 꾸준히 데이터가 활용되어야 하는 영역이 있다.
[1] Extracting Opportunities : 유저 행동을 분석하여 프로덕트로 풀어낼 수 있는 기회를 발굴한다. 이 부분은 데이터를 통해서 할 수도 있고, 유저 인터뷰, 스토어 리뷰를 통해서도 할 수 있다. 결국 가설을 세우는 것인데, 정량과 정성의 힘이 합쳐질 때 특히 더 명확해진다. 잠재적인 기회 (Emergent Behaviors)를 발굴한다고 볼 수 있다 (Amplify 2020 사례).
- 유저 행동 분석 (User Behavior Analytics)
[2] De-risking : 프로덕트 개발은 많은 리소스를 필요로 한다. 리소스를 들이기 전, 프로덕트 개발에 있어서의 리스크를 줄여주기 위해 데이터가 힘을 보탤 수 있다. De-risking에 있어서는 데이터를 활용하지 않는 방법도 존재한다. 아래 매트릭스와 같이 상황에 맞게 활용하는 것이 좋다.
- 유저 행동 분석 (User Behavior Analytics)
- 실험 설계 (Experiment Design)
- 손익 계산 (Cost & Benefit Analysis)
- 효과 추산을 통한 우선순위 정렬 (Impact Projection & Prioritizing)
[3] Measuring : 프로덕트 개발은 잘 측정하면서 나아가는 것이 중요하다. 그를 위해 데이터를 측정하고, 수집하고, 분석을 하기 위한 도구와 환경을 갖추는 것은 기반이 되어야 한다. 실제로 시간이 정말 많이 드는 부분이기도 하다. 또한 무엇을 측정할 것인지가 명확해야 하기에 지표 정의가 개발 이전 선행되어야 한다. 출시 이후에는, 출시의 효과를 분석하기 위한 단계에서 인과관계를 추론하는 방식이 사용된다.
- 데이터 수집 (Data Instrumentation)
- 지표 정의 (Defining Metrics)
- 실험 결과 분석 (Experiment Result Analysis)
- 비실험 결과 분석 (Quasi-experiment Result Analysis)
[4] Connecting the Cycles : 프로덕트 조직은 목표 지표를 두고 개선하기 위해 작은 개발 사이클들을 반복하며 성장으로 나아간다. 진행되는 작은 개발 사이클들이 직접 통제가 가능한 활동들에 해당하며 'Output metric'에 영향을 끼치는 통제가능한 'Input metric'에 집중하도록 하는 것이다.
- 지표 위계 정립 (Defining Metric Relationships, Hierarchy)
- 지표 개발 (Metric Development)
출처: 데이터야놀자 2021 에 관련 내용을 잘 설명해두었다.
[5] Monitoring : 지표를 정의했다면, 지표에 맞는 적절한 오너를 두어 꾸준히 지켜 보아야 한다. 정립한 지표 위계에 맞게 대시보드를 구현하는 것, 지표의 트렌드를 해석하는 것, 그를 기반으로 실행 가능한 기회를 모색해야 한다.
- 제품 대시보드 (Product Dashboard)
- 지표 트렌드 및 변동 해석 (Interpreting the KPI)
- 실행 가능한 인사이트 도출 (Actionable Insights)
데이터 사이언스의 역할은 어디서 가장 잘 발휘될 수 있을까?
실무에 계신 분들은 다들 알고 계시겠지만, 위에서 언급한 업무에서의 많은 부분은 다수의 기업들이 자동화된 솔루션을 제공하고 있다. Modern Data Stack에서 더 자세히 확인할 수 있다. Product Analytics는 예시로 아래와 같은 유료 서비스, 오픈소스 서비스들이 있다.
- 유료: Amplitude, Mixpanel, SnowPlow ..
- 무료: Google Anaytics, Heap ..
데이터 활용은 자동화된 툴을 통해서 효율적으로, 조직 내에 전파될 수 있다. 솔루션 도입을 활용하거나, 사내 개발하는 것이 방법이다. 어떤 방식이든 궁극적으로는 자동화된 툴과 문화 전파를 통해서 조직 구성원 모두가 데이터 기반 의사결정을 할 수 있는 미래가 다가올 것이다 (McKinsey, The data-driven enterprise of 2025).
조직 내에 데이터 활용 전파되는 것 또한 데이터 조직으로서의 의무이다. 근데 업무로 프로덕트 데이터를 분석하는 사람들은 어떻게 밥벌이를 이어갈 것인가? 툴으로 대체될 수 있는 역할을 잘 하는 사람이라면, 장기적으로 경쟁력이 있을까? 현재 생각하고 있는 데이터 사이언스가 가장 발휘될 수 있는 영역은 아래와 같다.
- 유저 행동 분석 (User Behavior Analytics)
- 실험 결과 분석 (Experiment Result Analysis)
- 비실험 결과 분석 (Quasi-experiment Result Analysis)
- 지표 개발 (Metric Development)
- 그 외로 중요한 것, 분석 거버넌스 체계 수립 및 교육 (Data Governance)
예로 유저 행동 분석의 경우, 코호트 분석 및 세그멘테이션을 통해서 간단하게 진행될 수 있다. 하지만 데이터의 복잡도가 높아질수록 고도화된 기술에 대한 도입이 필요할 것이다. 따라서 새로운 기법들을 계속해서 배우고 적용해보는 시도가 필요하다고 믿는다. 예시로 아래와 같은 자료들을, 계속 발굴하고 배워야 한다.
- Behavioral Data Analysis with R and Python (2021)
- Product Analytics: Applied Data Science Techniques for Actionable Consumer Insights (2020)
- KDD2021과 같은 컨퍼런스들에서 소개되는 새로운 기법들
- (커리큘럼만 참고하는 것을 추천) Product DS Courses
해외 프로덕트 데이터 분석 직무의 진화
FAANG의 Product 영역 Data Scientist JD에서는 공통점들이 발견된다.
- 프로덕트 전략을 개발하는 데에 데이터를 활용되도록 하는 것
- 프로덕트의 성공을 측정하는 것
- 프로덕트 개발에 있어서의 레버를 정의하고 로드맵을 그려내는 것
Meta, Data Scientist in Product Analytics
Apple, Product Analysis Data Scientist
Netflix, Data Scientist in Causal Inference & Experimentation
그럼 Product Data Analyst VS Product Data Scientist 차이는 무엇일까?
페이스북은 데이터 분석가를 사이언티스트로 바꾸기 시작한 회사 중 하나다. 사실 이는 아주 자연스러운 과정이었다. 데이터 양이 증가하고 복잡한 데이터 문제가 생겨나자, 분석을 위해 더 많은 스킬과 훈련이 필요했기 때문이다. 페이스북 뿐만 아니라 애플이나 에어비엔비와 같은 회사도 분석/제품 데이터 사이언티스트(analytics/product data scientists)와 머신 러닝 데이터 사이언티스트의 구분을 더 분명하게 하고 있다.
일반적으로 흔히 FANG(Facebook, Amazon, Netflix, Google)이라고 부르는 대기업의 데이터 사이언티스트는 상급 분석가의 역할을 하고, 작은 회사에서의 데이터 사이언티스트는 머신 러닝 엔지니어의 역할을 한다. 물론 두 역할 모두 중요하고 필요한 작업이다.
국내에서도 데이터 양이 증가하고, 복잡한 문제가 생겨날수록 더 많은 기술에 대한 훈련이 필요할 것으로 믿고 있다. 즉, 자연스러운 진화 절차를 따를 것이다. 무엇보다 ‘프로덕트 데이터 분석가’ 라는 직무와, 그 직무 하에 정의된 업무로 자신의 영역을 한정하지 않아야 한다. 문제 해결을 위해 어떤 기술이든 공부해서 도입할 수 있는 마인드셋이 필요하고, 이를 기반으로 자연스럽게 진화해갈 수 있을 것이다.
마무리하며
이상 프로덕트 개발에서 데이터가 활용될 수 있는 영역을 살펴보고, 데이터 사이언스는 어떤 부분에서 더 발휘되어야 하며, 해외 직무 트렌드는 어떠한지 살펴보았다. 도입부의 임팩트 공식으로 돌아가보자.
프로덕트 개발에서의 데이터의 역할을 잘 이해하고 활용하는 사람×데이터 기반 프로덕트 개발을 중시하는 문화=임팩트
글을 통해 프로덕트 개발에서의 데이터의 역할에 대해서 살펴봤지만, 두번째 구성 요소인 데이터 기반 프로덕트 개발을 중시하는 문화는 특히 더 어려운 부분이다. 문화에 대해서도 이야기가 되는 장이 많이 마련이 되면 좋겠다. 그 장을 커뮤니티를 통해서 지식을 공유하고 풀어내고 싶다. 조직마다 상황이 다르기에 함께 경험을 공유하고 서로 참고할 수 있기를 소망한다.