이 글은 데이터리안 웹사이트에서도 보실 수 있습니다. Taylor Brownlow 의 아티클(Dashboards are Dead)을 번역한 내용입니다. 글 마지막에 데이터리안 멤버 혜정님의 코멘트도 포함되어 있으니 끝까지 재미있게 읽어주세요. 번역에 대한 피드백이 있다면 이메일(minju@datarian.io) 로 보내주세요. 피드백은 언제나 환영합니다.

대시보드를 사용할 때 생기는 문제점 3가지

저는 규모가 큰 기술 제조 기업에서 커리어를 시작했습니다. 당시 그 회사는 첫번째 대시보드 툴을 구매했고 우리 팀은 지겨운 스프레드시트를 대신해 대시보드를 사용하기 위한 작업을 진행하고 있었습니다.

스프레드시트에서 대시보드로의 전환은 분석적인 성숙도 면에서 의미있는 한 걸음이었습니다. 대시보드의 정교한 디자인과 인터랙션은 데이터로의 진입 장벽을 극적으로 낮춰 주었습니다. 어느 날, 사무실에 들어가보니 배경과 직무에 상관없이 모든 직원들이 대시보드를 보고 있었습니다. 데이터 노동자들의 꿈 같은 상황이죠.

이렇게 좋기만 할 줄 알았으나… 현실은 달랐습니다. 곧 우리는 대시보드가 새로운 종류의 문제를 가지고 왔다는 것을 깨달았습니다.

1. 대시보드가 생기고, 대시보드가 생기고, 또 대시보드가 생깁니다

갑자기, 대시보드가 우후죽순 생겨났습니다. 엔지니어가 애드혹 분석*을 위한 데이터를 원한다고요? 대시보드를 만듭니다. 부사장님이 다음 주에 있을 발표에서 쓸 차트가 필요하다고요? 대시보드를 만듭니다. 그리고 그 대시보드들은 한번 보고 버려졌습니다. 우리 팀의 시간과 리소스, 동기부여까지도 다 잡아먹었습니다. 제가 만든 대시보드가 2008년의 마이스페이스 계정보다도 빨리 버려지는 것을 지켜보는 것은 굉장히 힘 빠지는 일이었어요.

*애드혹 분석(Ad-hoc Analysis): 특정 목적을 가지고 수행하는 일회성 분석

2. 필터 1,000개의 무덤

대시보드가 하나 배포되고 나면, 그 즉시 새로운 뷰, 필터, 영역, 페이지 등등을 보여달라는 요청이 넘쳐났습니다. 한 번은 67페이지 짜리 대시보드를 본 적도 있었어요. 대시보드가 모든 사람의 질문에 대답을 주지 않는다는 것은 명백했습니다. 대시보드 설계 단계에서의 실패였든, 사람들이 필요로 하는 답을 주는 방식에서의 실패였든 말이에요. 더 심각했던 건, 사람들이 그 많은 필터를 사용해서 뽑은 데이터를 다시 엑셀로 각자 가공하고 있었다는 점이었어요🤦‍♀️.

3. 제 대시보드 아닌데요?

모두가 대시보드를 보게 되면서 그 영향력은 미미해졌습니다. 사람들은 대시보드가 틀렸다고 말하면서 대놓고 무시하기 시작했어요. 많은 사람들은 대시보드에서 예상하지 못한 숫자를 보게 되면 자기 자리에 대한 위협을 느끼고 “잘못된 데이터” 탓을 했습니다. 우리에게는 심각한 신뢰 문제가 있었고 대시보드는 그 문제를 덜어주지 못했습니다. 데이터 팀에서는 다른 팀에 필요한 SQL 쿼리를 보낼 수 없었어요. 그들은 SQL 쿼리를 읽을 수 없었고, 쿼리가 담고 있는 말도 안 되게 복잡한 로직을 이해하는 것도 불가능했어요. 그리고 모든 팀이 각자 지표를 정의하고 있는 상황에서는 원본 데이터를 보낼 수도 없었습니다. 어쩌면 제가 과소평가했던 것 같네요… 우리의 신뢰 문제는 피 흘리는 거대한 상처와도 같았어요.

실제 사례: 존스 홉킨스 코로나 바이러스 대시보드

위에서 이야기한 내용을 증명하기 위해 코로나 바이러스 위기 동안 널리 인기있었던 존스 홉킨스 코로나 바이러스 대시보드(Johns Hopkins Coronavirus Dashboard)를 가지고 와봤습니다.

JHU Dashboard screenshot taken on April 7, 2020

존스 홉킨스 대시보드는 시각적으로 매력적입니다. 빨간색과 검정색이 현 사태의 심각성과 긴급성을 잘 나타냅니다. 우리 눈이 페이지를 따라가면서 숫자, 다양한 크기의 점, 계속해서 오른쪽 위로 뻗어나가고 있는 그래프를 마주하게 됩니다. 뭔가 심각하고 점점 나빠지고 있다는 느낌이 듭니다. 이 대시보드는 접근하기 쉽고 매력적인 방식으로 데이터를 보여줍니다. “우리 나라에서 오늘 얼마나 많은 신규 확진자가 나왔나?” 같은 몇 가지 주요 질문에 답을 주기도 합니다. 분명히 말하자면, 그냥 테이블을 보여주거나 다운로드 링크만 띄워둔 것보다 훨씬 낫습니다.

하지만 이런 표면적인 이야기를 넘어서 이 데이터로 액션을 할 수는 없습니다. 우리가 이 데이터를 특정 목적을 위해 사용하고 신뢰하려면 이 숫자에 대한 맥락이 필요합니다. 이 대시보드에는 맥락이 없습니다. (예를 들면, 언제부터 우리나라에서 사회적 거리두기가 시작되었는지?) 그리고 우리가 이 숫자를 신뢰하기 위해 필요한 맥락은 어떻게 얻었다고 해도, 대시보드 자체는 우리가 필요로 하는 분석을 할 수 있는 기능과 유연성이 부족합니다.

이 대시보드는 사람들이 데이터를 가지고 무언가 하게 만드는 데는 성공했지만, 데이터를 가지고 의미있는 무언가를 하게 하지는 못했습니다. 저도 한 회사에서 비슷한 일을 겪은 적 있었는데요. 더 많은 대시보드를 추가하고 그 대시보드들에 더 많은 필터를 추가하는 것으로 이 문제를 해결하려고 했습니다. 그리고 그 대시보드들이 필요하지 않다고 판단되면 폐기했습니다. 이 악순환은 데이터에 대한 심각한 불신과 팀 내 분열을 가져왔습니다.

@혜정 (데이터리안 데이터 분석가)

이 글의 모든 말에 공감이 되네요. 저는 데이터 분석을 하며 대시보드 만드는 걸 좋아하기도 하고, 소위 ‘데이터가 흐르는 조직’을 만들기 위해 대시보드를 잘 활용하면 좋겠다고 생각했어요. 그래서 ‘여러 대시보드’를 만들어보기도 하고, 한 대시보드에서 ‘여러 방식’으로 데이터를 볼 수 있게도 만들어 봤었어요.

하지만 본문에서 말하고 있는 것처럼, 우후죽순 생기는 데이터는 관리가 점차 어려워지고 어떤 대시보드가 있는지도 확인이 어렵더라고요. 한 대시보드 안에서 필터를 아무리 다양하게 만들어도 다른 방식으로 보고자 하는 필요도 계속 생기고요. 대시보드에서는 쿼리를 바로 볼 수 없고, 아무리 데이터의 기준을 적어놔도 실제 쿼리가 맞는지는 확신할 수 없는 경우도 많았는데, 이런 경우가 반복되며 대시보드의 데이터를 신뢰하기 어려운 경우도 있었습니다.

데이터리안을 공동 창업하고 나서는 직접 사업을 하다 보니 어떤 데이터를 봐야하는지, 그 데이터를 어떤 주기로 봐야 하는지도 더 확실히 파악이 되더라고요. 그래서 보다 지속가능한 방식으로 대시보드를 활용하기 위해 노력하고 있습니다. 데이터리안에서 대시보드를 어떻게 활용하는지는 다음에 따로 공개해보겠습니다 :)

Reference

1. Coronavirus COVID-19 Global Cases by the Center for Systems Science and Engineering (CSSE) at Johns Hopkins University (JHU) (2020), John’s Hopkins University