데이터 분석이란 무엇이고 데이터 분석가란 무슨 일을 하는 사람일까요? 분석가의 일의 범주는 어디까지일까요? 데이터 기반 의사 결정을 위해서 데이터 분석가나 데이터 과학자가 필요하다는 말은 자주 들어보지만 정작 내가 하는 일은 이에 부합하는지 고민스럽거나 분석 이전에 해결해야할 과제들이 산적해있기 마련입니다.
안녕하세요. 저는 현재 경제학 박사과정 졸업 예정입니다. 정책과 관련된 연구 논문은 정책 입안자를 설득하는 역할을 한다면 분석가의 분석은 회사와 관련된 이해관계자의 액션을 취하도록 설득하는 역할을 한다고 생각합니다. 이번 포스팅에서는 <의사 결정에 근거가 되는 분석>, <그 분석을 위한 과제들>, <분석가의 포지셔닝>에 대해서 다루어보도록 하겠습니다. 다른 경험을 가진 분들의 이야기와 대조를 해보면서 생각해보시면 좋을듯합니다.
이 글은 저자의 블로그에서도 읽어보실 수 있습니다.
의사결정에 근거가 되는 분석은 무엇일까요?
가설을 세우고 가설과 데이터가 부합하는지 확인해봅니다. 병원에 가면 특정 증상이 나타났을 때 환자에게 가능한 질환의 후보군을 생각해볼 수 있는 것처럼 기초통계량을 통해서도 유저의 행동과 부합하는 가설들을 좁힐 수 있습니다. 예를 들어서 상품을 추천하는 알림을 보냈는데 구매가 일어나지 않아서 이를 개선하고자 한다고 합시다. 크게 두 가지 가설을 생각해볼 수 있습니다. <알람 메세지가 효과적이지 않아서 구매로 이어지지 않았다>, <앱 내의 기능 부족으로인해서 구매로 이어지지 않았다>. 이러한 가설과 관련해서 우선 앱에 재접속하는 비율을 확인해볼 수 있습니다. 만약, 알람을 보냈을 때 재접속하는 비율은 높았는데 재구매가 일어나지 않았다면 앱 기능 내에서의 문제입니다. 회원분들의 액션이 어디서 주로 멈추는지를 확인함으로써 이와 관련해서 구매 페이지로 이동시킬 새로운 기능을 생각해볼 수 있습니다. 이후 임상 실험을 통해서 약의 효과성이나 안정성을 테스트하는 것처럼 AB 테스팅을 통해서 추가된 기능의 효과를 검증합니다.
데이터 분석 관련해서 직관적으로 결과들을 이야기하듯이 (narrative) 설명하는 작업이 필요합니다. 과정에서 아무리 복잡한 내용이라도 대학교 졸업한 정도의 수준이면 이해할 수 있는 정도의 내용으로 전문 용어를 제외하고 설명하는 게 필요합니다. 경제학 박사의 경우에는 잡마켓에서는 대표논문이 매우 세세하게 연구하기 때문에 잡마켓 인터뷰에서는 본인 전공이 아닌 사람들도 이해하기 쉽도록 하라고 배웠습니다. 마찬가지로 분석가는 다양한 이해관계자들에게 설명할 수 있어야 합니다. 우리는 조직의 구체적 인 행동을 하도록 설득하고 싶으니까요. 앞의 상품 알람의 예시에서도 ‘AB 테스팅을 통해서 효과성을 검증한다’는 내용도 하나의 그룹에서는 기존의 기능을 그대로 두고 다른 집단에서는 새로운 기능 테스트를 했는데, 구매율이 더 높아졌다는 문장처럼 ‘AB 테스팅’이라는 누군가에게는 생소할 수 있는 용어 조차도 제외하고 설명할 수 있습니다. 물론 관련 전문 용어를 모두 아는 사람들에게는 설명하기보다는 전문 용어를 사용하는 것이 시간 상 효율적이지만 누구에게나 쉽게 풀어서 설명할 수 있는 역량은 갖추어야 질문이 들어왔을 때 설명을 함으로써 더 많은 사람에게 나의 분석 인사이트를 제공할 수 있습니다.
데이터 분석가의 과제는 무엇일까요?
데이터 분석을 하기 위해서는 “데이터”가 있어야 합니다. 의사결정에 필요한 분석을 위해서는 데이터가 우리 손에 잡혀야 합니다. 그래서 데이터 “추출”이 선행되어야 합니다. 데이터 마트나 데이터 웨어하우스가 구축되어 있지 않다면 존재하는 데이터 베이스에서 데이터를 추출하는 작업이 필요합니다. 또는 데이터가 수집되지 않고 있다면 어떤 데이터를 수집해야할 지에 대한 의사결정이 필요합니다. 그리고 데이터 수집과 추출을 위해 필요한 개발 리소스와 프로덕트 제작에 필요한 개발 리소스 중에서 무엇이 더 필요한지에 대한 고민도 필요합니다.
- 데이터가 존재하지 않는다면 데이터를 수집해야하는 이유를 설득해야 합니다.
- 데이터가 존재하지만 데이터 추출 과정이 어렵다면 이를 개선해야 합니다. 이 는 데이터 엔지니어링의 영역인데 관련자가 없다면 스스로 배워서 적용해봅니다.
- 데이터가 존재하고 추출도 원활하다면 어떠한 가설이 있고 이를 분석할 일이 남아 있습니다. 그리고 실험이 가능하다면 실험을 통해서 새로 도입하는 기능 등의 효과를 추정합니다. 이미 존재하는 데이터에서 인과적인 결론을 도출해야 한다면 인과추론의 기법을 사용합니다.
만약 웹사이트에 실험을 따로 진행하지 않고 분석도 진행되지 않고 있습니다. 구글 애널리틱스를 설치해 기본적인 분석을 진행하고, 구글 옵티마이즈를 설치해 웹사이트에서의 실험을 진행하고, 빅쿼리를 설치해서 실험에 따른 특정 지표를 확인할 수 있습니다. 이러한 기능들이 설치되어 있지 않다면 기능 도입으로 인해서 얻을 수 있는 효과와 이를 도입하기 위해 필요한 사안들을 설득하고 설명합니다.
커리어 패스의 유형은 어떤 것이 있을까요?
데이터 분석가의 포지션에 있더라도 본인의 회사 상황에 따라서 할 수 있는 업무가 달라지는 것 같습니다. 장기적으로는 본인이 원하는 포지션을 위해서 자신의 실력을 만들어가야하겠으나 단기적으로는 상황에 따라서 업무를 수행해야할 것으로 보입니다. 아래는 제가 생각해본 데이터 분석가의 포지셔닝입니다. 무자르듯이 나뉘는 구분은 아니고 이외에도 다양한 커리어 패스가 있겠으나 제가 다른 분들과 교류하고 링크딘 Job Description 을 읽으면서 생각해본 구분입니다.
데이터 분석가 + 데이터 엔지니어
- 상대적으로 규모가 작은 회사에서 필요해보입니다. 또는 초기 커리어를 스타트업으로 시작해야하는 경우에도요. 규모가 작고 데이터 추출에 시간이 걸릴수록 분석가가 해야하는 일은 데이터 추출의 효율화라고 생각됩니다.
데이터 분석가 + PM/PO
- PAP 에서 교류하는 분들 중에서 PM/PO 포지션에서 데이터 분석 관련 업무를 하는 분들도 자주 뵈었습니다. 데이터 분석가에서 PM/PO 커리어로 이동하는 경우도 종종 보이는 것 같습니다.
데이터 분석가 + 도메인 전문가
- 모빌리티라면 모빌리티, 커머스라면 커머스, 광고라면 광고 등 해당 산업에서의 업무경험을 통해 알게되는 직관이 많아집니다. 이는 실험에서 가설을 설정할 때 효용성을 가집니다. 실험에도 리소스가 들어가기 때문에 현재의 상황에서 어떠한 가설을 실험하는 것이 더 임팩트가 있는지에 대한 이해도가 높아집니다.
데이터 분석가 + 통계
- 간단하게는 AB 테스팅에서 필요한 최소의 샘플 숫자를 고려할 수 있습니다. 그리고 석사의 경우에는 논문을 읽는 능력이 향상됩니다. 더 나아가서는 Sequential AB 테스팅, Multi Armed Bandit 등의 여러 실험을 최적화해서 실험 기간을 단축하거나 리소스를 효율적으로 사용하는 방법도 생각해볼 수 있습니다. 근데 우선 관련 데이터 엔지니어링이 기반이 되어야할듯해보이네요.
데이터 분석가 + (석)박사과정
- 박사 과정부터는 회사마다 용어가 다를 수는 있지만 “Research Scientist” 에 가깝습니다. 물론 회사마다 요구하는 조건에 따라서 다르지만 박사과정에서 배운 전공 지식이나 전공 지식과 관련된 수량적 지식 또는 이를 바탕으로 새롭게 논문을 읽고 이를 프로덕트에 녹여내는 능력이 요구됩니다. 제가 익숙한 경제학을 예로 든다면, 메타 처럼 광고가 주를 이루는 경우에는 경매 이론 전문가를 채용하기도 하고, 로블록스에서는 다면시장, 메커니즘 디자인, 산업조직론, 거시경제학 정책 등을 채용하기도 합니다. 물론 경매 이론 관련 포지션이더라도 인과추론 관련 업무를 위해서 채용이 되는 경우도 있습니다. 이외에 아마존 이코노미스트 출신들의 경우에는 인과추론 관련 분석을 합니다. 프로덕트 분석가 에 가까운 역할을 이코노미스트가 하기도 합니다. 예를 들면 아마존 알렉사 팀에서는 고객 참여와 관련된 분석을 하기도 합니다.
- 추가로 수량적인 분석의 연구를 진행한 박사과정이라면 전공에 따라 차이는 있겠으나 논문을 읽는 능력이 향상됩니다.
- 물론 5년이라는 기간 동안의 기회비용에 대한 소득을 보전하기 위해서는 그만큼 회사의 규모가 크거나 대표나 팀장의 해당 도메인에 대한 필요성을 인지하고 있어야 합니다.
허슬하세요.
데이터 추출도 분석가의 일인가요? 만약 데이터 추출이 안 되어서 분석이 어려운 상황이라면 저는 그것부터 배우는 것이 분석가의 일이라고 생각합니다. 하나의 주제로 연구를 깊게 하는 박사의 경우에게도 데이터 수집과 관련된 업무들은 연구의 한 과정입니다. 이미 존재하는 데이터를 구하는 과정에서 일어나는 각종 행정적일 일들 또한 연구를 위해서 필요한 일이니까요. 리소스가 잘 되어 있고 정보가 원활한 곳이라면 더할나위없이 편하겠지만 해보면 뭐든 쉽게 되는 건 없는 것 같습니다. 저도 제 논문에 대한 데이터에 엑세스하기 위해서 미국에서 학교 변호사, 데이터를 제공하는 기관, 학과 교수님, 학과, 그리고 지도 교수님 사이를 조율하였습니다. 모든 이메일에 칼같이 바로 답장했음에도 데이터 관련 계약서를 작성하고 데이터에 접속하는 데까지 5개월 넘게 걸렸습니다. 연구의 퀄리티는 데이터를 분석한 논문으로 평가되더라도 그 과정에서 필요한 작업들은 존재합니다.
학계에서 어떤 데이터에 엑세스 해보았느냐에 따라서 연구자의 연구의 퀄리티가 달라지고 다른 사람들과 차별화된 나의 능력이 생기는 것처럼, 실무에서 분석가에게도 지금 엔지니어링 능력이 필요하다면 그 부분을 스스로 배우든 관련 인적자원이나 리소스를 끌어옴으로써 데이터 분석에 필요한 셋업을 완성하는 것 또한 자신의 가치를 상승시키는 방법이라고 생각합니다. ‘나는 이미 주어진 데이터 분석을 통해서 의사결정에 기여하는 일만 할거야’ 라는 환상적인 상황은 쉽게 오지 않습니다.
시장에서 수요로 하는 업무들 (엔지니어링 그것도 없으면 백엔드) 부터 시작해야 하지 않을까요. 회사에서 분석을 위해 현재 필요로 한 것이 무엇이고, 내가 원하는 레벨의 분석을 위해서 이 회사에서 필요한 셋업을 직접 하겠다는 마음의 작업이 필요합니다.
하나 더, 결국 설득하는 능력이 중요하다고 생각합니다. 이 회사에 이러한 기능이 왜 필요한지 기대되는 효과를 상세히 설명하는 능력이 필요합니다. 이러한 설명과 설득하는 능력은 현재의 회사에서 본인이 모든 역량을 다했으나 성장이 더 이상 어렵다면 다른 회사를 가는 과정에서 이력서나 면접 과정에서도 도움이 될 것입니다.
마무리하며
작년 NABE Tech Conference (경제학자들 중에서 테크 회사에 관심있는 사람들의 컨퍼런스) 에서 제가 온라인으로 정말 한 번 만나보고 싶어하는 사람들을 만나서 이야기를 나눌 기회가 있었습니다. 만나기 전에는 온갖 리소스와 함께 일하고 있겠지라고 생각했는데, 알고보니 대부분 그 위의 레벨의 의사결정권자들로부터 리소스를 받아오기 위해서 자신이 하고자하는 업무의 중요성을 어필하고 있었습니다.
우리 모두 허슬합시다. 화이팅