데이터 직군으로서 회사를 다니다보면 데이터 직군이 아닌 분들에게 데이터 관련 질문을 받곤 해요. 최근에 함께 일하는 동료에게 받은 질문이 흥미롭고 생각해볼만 해서 공유해보려고 해요. 옆 팀의 엔지니어분이 스스로 지표와 분석을 하시다가 “근데 지표와 분석이 뭐가 다르지? 언제 지표를 본다고 할 수 있고 언제 분석을 한다고 할 수 있는거지? 둘 사이에 차이가 있긴 한건가?”라는 궁금증을 느껴서 찾아오셨어요. (이렇게 스스로 고민하고 찾아오는 분들이 고맙더라구요 ㅎㅎ)

그 자리에서 바로 답변을 드리긴 했지만, 퇴근하고 집에 돌아오는 길에 다시 생각해보니 쉽게 답할 수 있는 질문이 아니었던 것 같더라구요. 저도 매일 지표를 보고 분석을 하고 있지만 그 차이를 명확히 이해하지 못했다는 생각을 했어요. 지표와 분석에 대한 정의를 내리기 전에 ‘왜 지표와 분석의 차이를 궁금하게 되었을까?’라는 생각을 했어요. 무엇인가를 궁금해할 때는 배경이 있는 경우가 많더라구요. 그 배경을 이해해야 적절한 답을 내릴 수 있다고 생각했어요.

제가 경험한 바로는 많은 경우에 데이터 분석 직군이 아니라면 분석보다는 지표에 대해서 고민하는 경우가 많았어요. 프로덕트를 만드는 팀은 어떠한 목적을 위해 프로덕트를 만들고 목적을 달성했는지 그리고 어떤 가치를 얼만큼 만들었는지 궁금해하더라구요. 저희 회사는 OKR 이라는 조직 성과 관리 체계를 도입했기 때문에 더 많은 분들이 지표를 고민하는 것도 있구요. 지표가 프로덕트의 일부로서 아주 잘 정의되고 측정도 잘 되는 경우도 있긴 하지만 바닥부터 만들어가야 하는 경우가 많아요.

다음과 같은 이유로 지표와 분석의 차이를 궁금해하는 것 같아요.

• 지표로 측정할 대상이 명확하지 않다.
• 지표로 측정할 대상이 명확하지만 어떻게 측정해야할지 모르겠다.
• 지표와 분석라는 용어를 실제로 조직에서 혼용해서 사용한다.

지표로 측정할 대상이 명확하지 않다.

무엇을 측정할지 명확하게 정한 다음에 프로덕트를 만드는 경우도 많지만, 그렇지 않은 경우도 많은 것 같아요. 지표를 정해야만 프로덕트를 만들 수 있는 것도 아니고 (아이폰을 만들 때 지표를 정하진 않았을 것 같아요) 원래는 기능이었던 것이 프로덕트가 되는 경우도 많아요 (알림과 같은 경우가 그렇죠). 프로젝트가 아니라 프로덕트라면 어떠한 가치를 만들어냈는지를 알기 위해 지표를 만들려고 해요.

프로덕트의 기능적인 측면은 생각하기가 쉬워요. 자동차로 치면 “타고 이동한다”라는 것이 기능이겠죠. 하지만 프로덕트의 가치는 생각하기가 어려워요. 다양한 질문을 통해 프로덕트가 만들어내는 가치에 대해서 고민하고 답을 내려가야 하더라구요. 예를 들어 이런 질문이에요. “어떻게 되었을 때, 이 프로덕트가 성공했다고 볼 수 있을까?” “사용자가 이 프로덕트를 사용하면서 어떠한 변화를 체험했다. 그것이 무엇일까?”와 같은 질문은 프로덕트가 만들어내는 가치를 생각하게 도와줘요.

무엇을 측정할지에 대한 고민은 무엇을 중요하게 생각하는지에 대한 고민이고 무엇을 중요하게 생각하는지에 대한 고민은 사실 가치관과 관점에 대한 이야기에요. 가치관과 관점이 정해지지 않은 상황이라면, 현실에 대한 지식이 지표를 정할 때 도움이 될 거에요. 필요한 만큼의 지식이 이미 쌓여있다면, 분석에 대한 니즈를 느끼지는 않을 거에요. 하지만 많은 경우에 지식은 쌓여있지 않아서 찾아내야 해요. 따라서 지식을 얻고 싶다는 마음이 분석을 하고 싶다는 마음으로 이어지는 것 같아요. 이런 경우에 지표와 분석의 차이가 모호하게 느껴질 수 있어요.

지표로 측정할 대상이 명확하지만 어떻게 측정해야할지 모르겠다.

지표로 측정할 대상이 명확한 경우를 생각해볼께요. 측정하기 쉬운 지표도 있겠지만 (클릭 수) 측정하기 어려운 지표도 많아요 (사용자 만족도). 얼마나 사용하고 있는지는 보통 알기 쉽지만 가치는 보통 측정하기가 어려워요. 프로덕트 팀은 최대한 원하는 대상을 정확하게 측정하고 싶을 거에요. 하지만 어떻게 해야 원하는 대상을 정확하게 측정할 수 있을지를 모르는거죠.

측정하고자 하는 지표를 A라고 해볼께요. A를 직접적으로 측정할 수 있는 방법이 없을 때면 A와 관련된 B, C, D를 보려고 하는 니즈가 생길 거에요. B, C, D는 X, Y, Z라는 사용자 행동과 관련이 있다고 해볼께요. 그러면 A라는 것을 측정하기 위해 X, Y, Z를 파악해야하고 그 행동들을 적절한 형태로 B, C, D로 만들어야 해요. 그 다음에 B, C, D 사이의 관계를 파악해서 A라는 지표를 만들어낼 거에요. 이 과정이 고되고 힘들기 때문에 전문성 있는 사람이 필요하다는 생각을 해요.

원래 하려던 것은 “지표를 보는” 간단한 일이었는데, 사실 실제로 하는 일은 “수많은 사용자 행동과 지표들을 보는” 어려운 일이 된 것이죠. 이럴 때 떠올리는 대상이 “데이터 분석가”에요. 그리고 데이터 분석가는 데이터 분석을 하는 사람이죠. 그렇기 때문에 우리는 자연스럽게 지표를 보는 일과 분석을 하는 일을 겹쳐서 생각하게 되는 것 같아요.

지표와 분석이라는 용어를 실제로 조직에서 혼용해서 사용한다.

제가 지금 회사에 처음 들어왔을 때 쯤에 많은 분석을 했었는데, 그 때 들었던 이야기가 있었어요. 기존에도 회사는 사용자가 기능을 얼마나 쓰는지에 대한 간단한 지표를 보고 있었는데 그것도 분석인데 제가 하는 분석이 무엇이 다르냐는 질문이었어요. 처음에는 ‘왜 이런 질문을 하는 것일까?’라는 생각을 했어요. 하지만 시간이 지나고나니 왜 그런지 이해했어요.

보편적으로 대중이 “분석”이라는 단어를 사용할 때, 그 범주는 상당히 넓어요. “내가 궁금한 것을 숫자로 본다”라는 행동이 대중이 생각하는 분석에 가깝다고 느꼈어요. 그렇기 때문에 “중요하게 생각하는 것을 숫자로 본다”라는 지표라는 개념과 겹치게 되는거죠. 이렇게 대중의 인식이 생겨난 이유는 다양할 거에요. 영화 같은 곳에서 “분석”이라고 말할 때, 배우가 하는 행동이 숫자나 차트를 보고 있는 경우가 많아서일수도 있어요.

또한 데이터가 보편화되는 현대 사회에서는 누구나 데이터를 다룰 수 있게 되었어요. 만약 소수의 전문가 집단이 그 일을 할 때는 상대적으로 그 일에 대한 인식과 정의를 하나로 만들기 쉬울 거에요. 제가 일하는 회사에서는 거의 모든 분들이 데이터를 보고 직접 다루려고 노력해요. 따라서 각자가 생각하는 지표와 분석에 대한 개념과 정의가 달라지는 것이 어떻게 보면 자연스럽다고 느껴요.

지표와 분석의 정의

처음에 저에게 질문을 주신 엔지니어 분에게 했던 답변은 다음과 같았어요. “지표는 팀에서 중요하게 생각하는 것을 숫자로서 측정해서 올바른 방향으로 가고 있는지 확인하는 용도이고, 분석은 가설을 세워서 데이터로 그 가설을 확인해서 새로운 사실을 발견하는 행위에요.”

지표는 “무엇을 중요하게 생각하는지”에 대한 논의와 합의가 앞서서 이뤄져야 한다고 생각했어요. 분석은 “무엇을 알아내고 싶은지”에 대한 가설이 앞서서 만들어져야 한다고 생각했던거죠. 이 답변을 듣고 엔지니어 분이 이해했을까요? 사실 잘 이해하지 못했어요. 어떠한 개념에 대해 올바로 이해하려면 평소에 친숙했던 대상에 대한 비유로 설명하는 게 좋아요. 개인적으로는 분석은 과학계의 논문 같은 것이고 지표는 총 인용 수과 같은 것이라고 생각해요. 내가 잘 했는지를 확인할 수 있는 것이 지표이고 새로운 사실을 발견해나가는 과정이 분석인거죠.

우리는 왜 같은 정의를 공유해야할까?

한 편으로는 이런 생각이 들었어요. ‘왜 우리 모두가 한 개념에 대해 같은 정의를 공유해야 하는 것일까?’라는 생각이요. 아마도 인간은 서로 협력하는 존재이기 때문일 거에요. 서로 사용하는 언어가 다르다면 협력하기가 너무 어려울 거에요. 서로 사용하는 단어가 다르다면 오해가 생겨나고 그 오해는 조직을 하나로 만드는데 장애물이 돼요. 의사소통 비용과 하나의 조직으로서 움직이는데 있어서 같은 정의를 공유하는게 중요해요.

하지만 모든 것에 대해서 정의를 내리고 그것을 구성원이 정확하게 그 정의로만 이야기하고 일하는게 좋을까요? 창의성과 자율성이라는 측면에서는 꼭 좋지 않다는 생각이 들더라구요. 명확한 정의와 개념은 사고의 범위를 제한해요. 이렇게 제한된 사고는 곧 우리가 할 수 있는 일을 제한하는 결과로 이어져요. 결국은 하던 일만 하게 되고 새로운 방식으로 일하게 되는 경우는 줄어들게 될 거에요. 가장 효율적이고 정렬이 된 회사가 곧 최고의 제품을 만드는 회사는 아닐 거에요. 따라서 무엇인가에 대한 정의를 내릴 때면 그로 인해 발생할 역효과를 항상 생각하는 것이 좋다고 생각해요.

그래서 엔지니어 분에게 이런 식으로 말씀드렸어요. “물론 지표와 분석에 대해서 좀 더 명확하게 정의를 내리고 해당 경우에만 그 용어를 쓰도록 할 수도 있는데, 사실 두 개념이 겹치는 것은 어느정도 자연스러운 것 같고 그로 인해 혼란이 있는 것은 어느 정도 감수해야 하는 것 같아요. 이 혼란이 어느 정도인지 모르겠지만, 너무 크다고 생각이 된다면 말씀해주세요. 그러면 이 두 개념을 전사적으로 통일해서 사용하는 것을 고민해볼께요.” 그 엔지니어 분이 그 뒤로지표와 분석이라는 개념을 각각 어떤 경우에 사용하셨을지에 대해서는 여러분의 상상에 맡기면서 이 글을 마무리할께요.