얕은 분석과 깊은 분석의 차이

분석가는 무슨 일을 하는가

최근에 사내의 데이터 분석가 분들과 데이터 분석가가 하는 일에 대해서 이야기를 나눴습니다. 데이터 분석가라고 하면 “분석”을 하는 사람이라고 인식하는데요. 평소에 데이터 분석가가 하는 일의 범주는 상당히 넓다고 느껴요. 다양한 일을 하는 것이 재미가 있고 팀에도 필요하다고 생각해요. 하지만 장기적으로 생각하면 일의 중심이 없다면 지속가능하지 않아요. 데이터 분석가가 분석 업무를 요청받고 있지만 사실 분석이라는 것이 무엇인지 명확하게 모르고 있다고 생각이 들었어요. 그래서 사내의 데이터 분석가가 한 자리에 모여서 분석이란 무엇인지 이야기하기 시작했어요.

분석에 대한 정의

우리가 안다고 생각한 것을 정의해보려고 시도할 때 사실은 잘 몰랐다는 것을 깨닫는 것 같아요. 다들 예상할 수 있다시피 모여서 처음 이야기를 시도할 때 긴 정적이 흘렀습니다. 개념을 정의한다는 일이 어렵다는 것을 깨달은거죠. 그래서 평소에 우리가 하는 일 중에 어떤 것이 분석이고 어떤 것이 아닌지를 분류해보기 시작했어요. 다음 예시로 한 번 생각해봤어요.

• “X라는 행동을 한 사람의 수를 알고 싶다”
• “실험 결과가 이렇게 나왔다. 어떻게 해석하고 의사결정 해야할까?”
• “뱃지를 달면 사용자들이 좋아할지 알고 싶다!”
• “지금 현재 우리 서비스가 얼마나 따듯한지 알고 싶다!”

예시를 통해 생각해보니 한 차원 더 들어가서 생각해야 하는 것 같았어요. 예를 들어, “X라는 행동을 한 사람의 수를 알고 싶다”라는 일을 한다고 가정할께요. 단순히 이 숫자만 구한다면, 분석이 아니라는 생각이 들어요. 하지만 “X라는 행동이 사용자에게 다시 돌아오게 만드는 원인일 가능성이 있다고 생각한다. 이 행동이 사용자에게 좋은 영향을 줬다면 N명 이상이 사용해야한다고 생각한다. 그래서 X라는 행동을 한 사람의 수를 보고자 한다.” 라고 하면 어떨까요? 이 경우는 분석같죠?

분석이냐 분석이 아니냐의 차이는 “무엇”을 하느냐가 아니라 “그것을 왜 하느냐” “어떤 맥락에서 하느냐”의 차이라는 생각이 들었어요. 단순히 숫자를 구하는 것은 분석이 아니지만 문제 의식과 가설의 존재 여부가 분석이 분석이 되도록 만든다고 생각하게 됐어요. 쉽게 말해서 “이걸 논문으로도 쓸 수 있을까?”라는 질문을 했을 때, 대답할 수 있다면 분석이지 않나라는 생각이 들었어요. 그래서 분석을 다음과 같이 정의해보고자 해요.

가설을 세우고 데이터를 통해 가설에 관한 유의미한 정보를 얻어내는 것

분석 관점에서 생각했을 때 가장 좋은 일하는 흐름은 다음과 같지 않을까 싶어요.

• 문제 의식 -> 질문 -> 가설 -> 답

하지만 대부분의 경우 문제의식에서 바로 답으로 가는 경우가 많아요. “성장이 정체된 것 같은데?” -> “데이터를 보니 이것 때문인 것 같은데?”와 같은 식으로요. 문제 의식이 질문으로 이어지고 이 질문을 가설로 만드는 것이 “문제 정의”라고 생각해요. 어떻게 보면 분석에서 가장 중요한 것은 문제 정의일지도 모르겠어요. 문제 정의가 잘 되지 않는다면 틀린 답을 얻을 가능성이 너무 높으니까요.

얕은 분석과 깊은 분석

데이터 분석가끼리 이야기하다보니 다른 팀원들과 차별화되는 가치는 “깊은 분석을 할 수 있다”라는 것 같았어요. 분석이라는 것을 정의했으니, 무엇이 깊은 분석인지 이야기가 가능하더라구요. 이 또한 쉽지 않아서, 한동안 정적이 흘렀어요. 이 시간을 견디는게 생각보다 어려웠어요. 그래서 또 다시 예시를 생각해보기 시작했어요.

이제는 분석이 무엇인지 정의를 했으니 분석의 관점에서 어떻게 문제에 접근하는지 예시로 생각해볼께요. 다음과 같은 예시는 분석가 이외에 PM 분들이 충분히 하실 수 있는 얕은 분석이라는 공감대가 생겼어요.

• “뱃지를 사용자들이 얼마나 좋아하는지 알고 싶다”
  • 문제 의식 : 뱃지를 사용자들이 얼마나 좋아하는지 모르고 있다.
  • 질문 : 뱃지를 사용자들이 얼마나 좋아할까?
  • 가설 : 뱃지를 사용자들이 좋아한다면, 뱃지를 한 번 얻은 사용자는 다른 뱃지도 얻기 위해 노력할 것이다. 그렇다면 자신이 얻은 뱃지 이외의 뱃지의 상세 정보를 많이 본다면 뱃지를 좋아한다고 볼 수 있다. 자신이 얻은 뱃지 이외의 뱃지의 상세 정보를 본 사용자 비율이 X% 이상이라면 뱃지를 사용자들이 좋아한다고 판단할 수 있을 것이다.

얕은 분석의 예시를 생각해봤으니, 좀 더 어려운 문제를 생각해보기로 했어요. 서비스를 만드시는 분들이라면 다음 예시가 친숙하실 거에요 (저는 이제 피하고 싶은 문제네요). 이 문제가 상당히 어렵다고 생각하는데 왜 어려운지를 우리가 이해할 수 있다면, 어떤 분석이 깊은 분석인지 정의할 수 있겠다라는 생각이 들었어요.

• “무엇을 해야 서비스를 성장시킬 수 있는지 알고 싶다”
  • 문제 의식 : 서비스가 성장하지 않는다.
  • 질문 : 무엇을 해야 서비스를 성장시킬 수 있는지 알고 싶다???
  • 가설 : ????

이 문제가 어려운 이유는 3가지입니다.

• 정형화되지 않고 않은 문제 :무엇을 해야 서비스를 성장시킬 수 있는지 알고 싶다는 질문 혹은 문제는 정형화되지 않았어요. 하지만 동시에 정형화하기 어려운 문제입니다. 가능성이 여러가지일 수 있고 관련한 가설이 수백가지가 될 수도 있어요. 엔지니어링에서 주로 사용하는 방법인 “divide & conquer” 전략이 필요할 수도 있어요.
• 정형화되지 않은 데이터 : 무엇을 해야 성장할 수 있을지 알고 싶다면 과거부터 현재까지, 수없이 다양한 행동 데이터를 탐험하고 봐야해요. 이 데이터들은 정형화되어있지 않아요. 데이터 분석가가 주로 보는 행동 데이터가 대표적인 예입니다. 단지 사용자들의 이벤트들이 모여있을 뿐이에요. 어떤 데이터를 어떻게 정형화해야 우리가 원하는 문제에 대한 답을 구할 수 있을까라는 고민이 필수적으로 선행되어야 해요.
• 기술적 난이도 : 단지 데이터가 많다는 이유만으로 기술적 난이도는 높을 수 있습니다. 다행히도 클라우드 시대에 빅쿼리 같은 툴을 사용한다면 많은 데이터를 효율적으로 조회할 수 있어요. 하지만 빅쿼리와 같은 플랫폼으로도 소화하기 쉽지 않을만큼 데이터가 큰 경우가 많아요. 그런 경우라면, 아무리 문제가 쉬워도 난이도가 상당히 높습니다. 또한 데이터가 다양하다면 그것도 어려움이 많습니다. 엔지니어링은 복잡도와의 싸움인데 데이터라는 대상이 복잡해지는 거니까요.

만약 문제가 정형화되어 있고 데이터 또한 잘 정형화되어 있으며 데이터 양이 적다면 “얕은 분석”이라고 할 수 있어요. 데이터 분석가가 아니더라도 누구나 할 수 있는 분석이라고 생각해요. 하지만 위 3개 중에 하나라도 충족되지 않는다면, 데이터 분석가가 (혹은 데이터 엔지니어가) 빛을 발해야 하는 “깊은 분석”이 된다고 생각하게 되더라구요.

깊은 분석을 얕은 분석으로 만들기

깊은 분석이 무엇인지 알게 되었고, 데이터 분석가는 이러한 깊은 분석을 잘 할 수 있어야 한다는 공감대를 형성했어요. 하지만 더 도전적인 상황이 있어요. 만약에 분석가가 10명이 있고 전사에 400명이 있다고 생각해봐요. 10명의 분석가가 10개씩 분석을 한다면 총 100개의 분석 결과물을 만들 수 있을 거에요. 하지만 400명이 2개씩 분석을 한다면 어떨까요? 800개의 분석 결과물이 만들어져요.

이 사고 흐름은 “임팩트” 중심의 사고입니다. 데이터 분석가는 분석을 하는 것을 넘어서서 전사에 임팩트를 낼 수 있다고 생각해요. 데이터 분석가가 분석을 통해 임팩트를 낼 수도 있지만, 좀 더 큰 임팩트는 모두가 분석을 할 수 있게 만드는 것이에요. 문제는 얕은 분석은 누구나 할 수 있지만, 깊은 분석은 누구나 할 수 없다는 것이에요. 하지만 깊은 분석은 앞으로도 계속 도전적인 분석으로 남아있어야만 할까요? 곰곰히 생각해보면, 그렇지 않을 수 있다는 생각을 하게 됩니다.

시간이 흘러 미래가 된다고 해도, 여전히 깊은 분석은 존재할거고 어렵지만 가치있는 발견을 하는 사람들이 존재할 거라고 믿어요. 하지만 현재 우리가 깊다라고 생각하는 분석의 대부분은 미래에 얕다라고 생각하게 되지 않을까해요. Computer라는 말은 원래 숫자 계산을 하는 사람을 의미했어요. 주어진 시간 내에 정확하게 복잡한 계산을 해야하기 때문에 이들의 전문성이 필요했어요. 하지만 우리가 알고 있는 Computer라는 것이 발명되고 퍼지면서 이제 Computer는 더이상 사람을 뜻하지 않아요. 어떻게 보면 다음이 가장 중요한 질문일 수도 있겠다 싶어요. 이 질문으로 글을 마무리 해볼께요!

“5년 뒤에도, 10년 뒤에도 우리가 잘 할 수 있고 이미 임팩트를 끼치고 있을 일이 무엇일까?”