Table Of Contents
이 글을 쓰게 된 이유
a/b 테스트 스터디를 두 달 가까이 해오면서 여러 지표 개념에 대해 알게 되었다.
OEC, Goal Metric, Driver Metric 등 알아야 할 지표는 많아졌고, 지표들 의미와 쓰임이 헷갈리기 시작했다.
헷갈리는 지표 개념을 글을 통해 정리를 해야겠다고 생각했으며, 나와 같은 어려움을 겪는 사람에게 도움이 되길 바라며 글을 썼다.
이 글이 지표를 설계하는 사람, 지표를 해석하는 사람 모두에게 도움이 될 것이라고 생각한다.
Metric 이란?
Metric이란 지표라는 뜻으로, 모든 수치는 다 metric이 될 수 있다.
Metric은 특정 현상 혹은 변화가 일어났을 때 Metric의 관찰함으로써 해당 현상의 핵심을 파악할 수 있도록 돕는다.
예를 들어 요즘 많은 사람들이 관심을 두고 지켜보는 Metric으로는 경제지표(소비자물가지수, 경제성장률)가 있지 않을까 싶다.
사람들은 소비자물가지수를 확인함으로써 물가가 높아지는 상황에 대응하고, 물가가 낮아지는 시점을 예측한다.
이렇듯 Metric은 사람들이 관심을 두는 상황을 직관적으로 나타내며, 상황에 대한 대응을 도울 수 있다.
OEC 란?
OEC 란 종합 평가 기준(OEC = Overall Evaluation Criterion)으로 실험 목표에 대한 정량적 측정이다.
OEC 는 하나의 핵심 성과 지표 (KPI = Key Performance Indicator)가 온라인 통제 실험의 결과를 평가하기에 불충분하다고 판단될 때 주로 쓰이게 된다.
(OEC 개념에 대한 적절한 예시를 찾지 못해 빵으로 예시를 들게 되었다.)
예를 들어 보자. 우리는 하나의 빵을 만들어야 한다. 빵을 만드는데 중요한 요소 순으로 재료, 굽는 시간, 포장이다.
우리는 빵이 잘 만들어졌는지 재료준비도(%), 적정 시간(%), 포장완성도(%)를 통해 평가한다.
이 중 하나의 지표만으로 빵이 잘 만들어졌는지를 평가할 수 있는가?
아마 각각의 지표가 적정 수준을 통과하는지 모두 확인해야 할 것이다.
이럴 때 “빵 완성도 = 재료준비도(%) + 적정 시간(%) + 포장완성도(%) “라는 지표를 만든다면 빵이 잘 만들어졌는지 쉽고 빠르게 평가할 수 있을 것이다.
이것이 “OEC 는 하나의 핵심 성과 지표 (KPI = Key Performance Indicator)가 온라인 통제 실험의 결과를 평가하기에 불충분하다고 판단될 때 주로 쓰이게 된다” 라는 말의 뜻이다.
각각의 지표인 재표준비도(%), 적정 시간(%), 포장완성도(%)로는 우리의 목표가 잘 달성되었는지 확인하기 불충분하기 때문에 각각의 지표를 적절히 합한 것이 OEC 인 것이다.
KPI 란?
KPI 란 핵심 성과 지표 (KPI = Key Performance Indicator)로 관련 이해 관계자에게 중요한 비즈니스 정보를 전달하는 지표이다.
말 그대로 성과가 잘 나오고 있는지를 제품팀, 마케팅팀, 엔지니어링팀, 리더팀 같은 사내 모든 팀에게 성과를 설명할 수 있는 지표가 KPI 이다.
(OEC 개념와 KPI 혼동 방지를 위한 빵 예시)
예를 들어 보자. 우리는 다시 빵을 만든다. 우리는 빵을 완벽하게 만들기 위해 “빵 완성도(= 재료준비도(%) + 적정 시간(%) + 포장완성도(%)” 라는 OEC를 갖고 있다.
여기서 KPI는 재료준비도(%), 적정 시간(%), 포장완성도(%) 이며, 각각의 KPI 는 아래와 같은 사항들을 고려하여 측정되었다.
- 재료준비도(%) = 밀가루량(%) + 소금량(%) + 계란량(%) + 베이킹 파우더량(%) …
- 적정시간(%) = 시간
- 포장완성도(%) = 포장지 상태(%) + 포장상태(%)
여기서 눈여겨 봐야할 것은 “KPI가 어떻게 측정 되었는가?”이다.
“재료준비도(%)”, “포장완성도(%)” 는 여러 측정값을 기반으로 하는 복합 메트릭이고, “적정 시간(%)” 은 하나의 측정값을 기반으로 하는 단일 메트릭이다.
즉, KPI 는 복합 메트릭일 수도, 단일 메트릭일 수도 있는 것이고, 복합 KPI 는 OEC가 될 수 있는 것이다.
OEC와 KPI가 헷갈릴 수 있다. KPI를 합한 것이 OEC 인 것이고, KPI는 복합 메트릭으로 정의될 수도, 단일 메트릭으로 정의될 수도 있는 것을 알아두어야 한다.
KPI의 실무 예시
KPI는 컨텍스트이므로 팀별, 상황별로 적절한 지표가 KPI가 될 수 있다.
- 디자인 팀에 발표할 때 중요한 KPI는 특정 클릭 유도 문안 요소(목표 달성 버튼, CTA = Call To Action)에 대한 평균 클릭률(CTR)일 수 있다.
- IT 책임자는 평균 페이지 속도, 평균 첫 페인트 시간 등과 같은 KPI에 더 관심을 가질 것이다.
- 마케팅 부서의 임원이나 CEO는 사용자당 평균 수익 (ARPU), 리드당 평균 비용 등을 KPI로 가질 수 있다.
Metric 의 분류 방법 : Goal, Driver, Guardrail
Goal, Driver, Guardrail 이란 메트릭의 구성, 구조를 논의할 때 일반적으로 사용되는 분류이다.
Goal, Driver, Guardrail 은 하나의 “개념”이므로 각각 하나의 지표로 특정 지을 수 없다.
Metric의 구조를 짤 때 일반적으로 사용되는 “분류”가 Goal, Driver, Guardrail 인 것 뿐이지, Goal 메트릭이라는 메트릭이 따로 있는 것은 아니다.
또 Metric이 분류될 때 Goal, Driver, Guardrail로만 분류되어야 하는 것은 아니다. 필요에 따라 다른 분류법도 있을 수 있다.
이러한 메트릭의 구성은 비즈니스를 수행함에 있어서 “Metric 간의 균형”을 맞추기 위해 존재하는 것이며, 메트릭은 상황과 필요에 따라 변화할 수 있다는 것을 알아야 한다.
말이 조금 어려운 것 같은데, 빵을 다시 예로 들자면 Goal 은 빵을 맛있게 만드는 것이고, Driver은 재료 완성도와 적정 굽는 시간이며, Guardrail은 재료의 유통기한을 지키는 것, 적정 굽는 시간을 초과하지 않는 것이다.
- Goal : 빵을 맛있게 만드는 것 (지표로 만들기 애매한 것이 특징)
- Driver : 재료 완성도(%), 적정 굽는 시간(%) (측정 가능한 지표)
- Guardrail : 유통기한(%), 적정 굽는 시간(%) (측정 가능한 지표)
빵을 맛있게 만들기 위해 Goal, Driver, Guardrail 분류의 지표를 사용하면, 균형을 맞추며 목표 달성이 가능할 것이다.
Goal, Driver, Guardrail 의 특징
각각의 메트릭은 아래와 같은 특징을 갖고 있어야 한다.
Goal : 궁극적인 성공을 가장 잘 포착하는 메트릭
Driver : 조직이 성공하는데 필요한 정신적 인과 모델, 성공 요인에 대한 가설 반영 (Goal 메트릭보다 빠르게 움직이고 더 민감한 경향이 있는 메트릭)
Guardrail : 두 가지 유형 존재, 올바른 균형과 성공을 위해 중요함
(1) 위반된 가정으로부터 보호하며 비즈니스를 보호하는 메트릭 (장기적 관점)(2) 실험 결과의 신뢰성 및 내부 유효성을 평가하는 메트릭 (단기적 관점)
Goal, Driver, Guardrail 이란?
Goal = Success Metric, True North Metric, North Star Metric, OKR Metric, Primary Metric
Goal Metric 이란 회사의 성공을 가장 잘 포착하는 메트릭으로, 일반적으로 매출로 생각하기 쉽다.
하지만 Goal Metric을 매출로만 생각하기엔 많은 Goal Metric은 많은 내용을 내포하고 있다.
Goal Metric 은 회사의 장기 비전을 반영하고, 사명과 연결되고. 대기업의 경우 CEO 신년사에 그 해의 중요한 목표 및 장기적 목표가 Goal Metric이 된다.
장기 비전, 사명, 목표는 지표화하기 쉬울까?
Goal Metric 은 조직의 ‘성공’에 대한 정의이며, 이를 지표화하기는 쉽지 않다.
예시로 페이스북의 사명은 커뮤니티를 형성하고 사람들을 더 가깝게 만들 수 있는 힘을 제공하는 것이었다.
이러한 사명을 지표화한다면 DAU, MAU 같은 지표를 생각할 수 있으나, 이는 단순히 일 방문자, 월 방문자 수만을 나타내기 때문에 변환이 완벽하지 않은 예시이다.
Driver = surrogate metric, in-direct / predictive metric
Driver Metric 이란 성공 요인에 대한 가설을 반영하는 지표이다.
즉, Driver Metric이란 “Goal Metric이 특정 요인들로 인해 달성될 것이다 “라는 가정이 있을 때, 특정 요인이 달성되었는지를 측정하는 지표인 것이다.
Driver Metric은 Goal Metric과 동일하게 회사의 성공을 위한 지표 역할을 한다.
Goal Metric이 회사의 목표를 반영한다면, Driver Metric은 회사의 목표를 이루기 위한 실험 결과를 반영하는 지표이다.
Goal Metric은 회사의 목표를 반영하기 때문에 장기 목표에 적절하고, Driver Metric은 실험 결과를 반영하기 때문에 단기 목표에 더 적절한 지표이다.
예를 들어, “매출 증대는 Retention이 높아짐으로 인해 가능할 것이다.”라는 가설에서 Driver Metric은 Retention이고 Goal Metric은 매출 증대일 수 있다.
Guardrail metric
Guardrail Metric 이란 새로운 실험 혹은 변화가 있을 때, 비즈니스에 가해지는 피해를 모니터링하고 심각한 피해를 방지하는 Metric이다.
Guardrail Metric는 두 가지 종류로 분류할 수 있다.
- Organizational Guardrail Metric
- Trustworthy-Related Metrics
1번 Organizational Guardrail Metric의 부정적인 수치는 조직의 비즈니스가 손실을 보고 있음을 나타낸다.
Organizational Guardrail Metric은 비즈니스의 측면에서 문제의 발생 여부를 모니터링한다.
Organizational Guardrail Metric의 예시로는 페이지 로딩 지연시간(Page Loading Latency), 페이지당 에러(Errors Per Page), 클라이언트 충돌(Client Crashes)이 있다.
페이지 로딩 지연시간이 몇 초만 늘어나도 고객에게 부정적인 경험을 주고 이것은 수익 손실로 이어진다.
2번 타입의 Trustworthy-Related Metrics의 부정적인 수치는 실험에 문제가 있음을 나타낸다.
Trustworthy-Related Metrics은 실험의 측면에서 실험의 신뢰성을 모니터링하고, 가설의 위반을 확인한다.
Trustworthy-Related Metrics의 예시로는 실험에 참여된 모수가 랜덤하게 분배되었는지 등이 될 수 있다.
모수가 다르게 분배된 경우에는 샘플 분배가 잘못되었단 뜻이고, 이럴 경우 T-Test나 Chi-squre test을 필요로 한다.
부록(Metric의 맥락, 좋은 Metric의 속성)
Metric의 맥락
Metric을 결정할 때는 Metric이 필요한 상황의 맥락이 중요하다
하나의 Metric이 각각 다른 경우에 쓰일 수 있다.
프론트엔드팀에서는 time to interactive(TTI)가 Driver Metric 일 수 있지만, 제품팀에서는 time to interactive(TTI)가 Guardrail 로 쓰일 수 있다.
프론트엔드팀과 프로덕트팀이 추구하는 바와 방향은 같으나, 추구하는 바를 이루기 위한 각자의 방식이 다르기 때문에 Metric의 혼용이 가능한 것이다.
좋은 Metric의 속성
좋은 Metric의 속성은 간단하고, 이해하기 쉬우며, 계산할 수 있어야 하고, 의논하기 편해야 한다.
Metric을 설명할 수 없다면, 그 Metric은 간단하지 않은 것이다.
Metric은 분명하고, 명확하고, 해석에 모호함이 없어야 한다.
또 Metric은 실행 가능해야 한다. 이 말은 즉, 좋은 Metric은 제품 변경에 따라 변경되어야 하며, 제품을 개선할 수 있는 방법에 대한 통찰력을 제공해야 한다는 뜻이다.
당연한 이야기지만 Metric은 조작되어서는 안 된다. 결과를 얻은 것 같이 보여지지만 비즈니스에 도움이 되지 않거나 성장에 도움이 되지 않는 인사이트만 제공하는 Metric이 조작된 Metric에 해당한다.
예시로 단기 수익이 있다. 가격을 올리면 단기적으로는 수익이 늘지만, 장기적으로 고객을 잃는 행위가 될 수 있다.
Metric 한 줄 정리
OEC : 하나의 KPI가 온라인 통제 실험의 결과를 평가하기에 불충분 하다고 판단될 때 쓰는 것, KPI 여러 개를 합친 것
KPI : 실험 혹은 성과를 나타내는 지표, OEC 보다 하위 개념
Goal Metric : 회사의 장기적 목표를 반영하는 지표, OEC 보다 상위 개념임, 하나의 프레임워크라고 봐도 무방
Driver Metric : 회사의 장기적 목표를 이루기 위해 실행한 “단기적 실험들의 결과를 반영하는 지표”, predictive metric으로 weekly conversion 등을 가질 수 있음
Guardrail Metric : 장기적으로는 회사 비즈니스의 손실을 줄이고, 단기적으로는 실험의 신뢰성을 보장하는 Metric
글을 마치며..
이렇게 다양한 지표의 개념에 대해 알아보았다. 다양한 지표를 학습하면서 많이도 헷갈렸던 것 같다.
지표가 헷갈리는 이유는 회사 규모별, 팀별, 목표별로 각기 다른 지표를 봐야 하기 때문이라고 생각한다.
그리고 같은 지표더라도 각각의 지표가 팀별로 다른 이름 혹은 다른 형태로 존재할 수 있기 때문에 학습하는 입장에서 더 헷갈리게 느껴지는 것 같다.
실제 회사에서는 일반적으로 회사의 방향과 목표를 알고 있는 상황이라면 학습할 때만큼 헷갈리진 않을 것 같다. 이 글이 누군가에게 도움이 되길 바라며 글을 마친다.