03 데이터 속에서 진실을 찾는 법
3.2 대시보드를 통해 정기적으로 확인하라
“WBR 같은 건 없나요?” “매출 데이터 같은 거 말씀이신가요?” “매출뿐만 아니라 유저 수, 가입자 수 같은 데이터를 모두 볼 수 있는 대시보드가 있나요?”
PO는 주기적으로 데이터를 확인해야 한다.
보고 싶을 때마다 데이터를 추출해서 보는 것은 비효율적이기 때문이다. 주기적으로 검토하는 데이터는 일별, 주별, 월별로 집계되어 주로 매일 일 회씩 자동 업데이트되어 화면에 노출되면 도움이 된다. 나는 이런 화면을 대시보드라고 부른다.
나와 친한 동갑내기 외국인인 비즈니스 애널리스트가 말했다. 그와 나는 상당히 오랜 기간 같은 프로덕트를 전담으로 맡으며 콤비처럼 데이터를 들여다봤다.
그는 PO가 확인해야 하는 데이터를 단기간에 추출하는 것에서 머무르지 않고, 적절하게 확인할 수 있도록 시각화하며, 매일 특정 시간에 자동 업데이트까지 하는 작업에 숙련되어 있었다.
한 번 만든 대시보드를 웹만해선 다시 수정하지 않아도 될 정도로, 혼신을 다해 만든 다음 자동화했다. 그래서 그는 궁극적으로 자신이 더 이상 필요하지 않게 만드는 게 자신의 임무라고 말한 것이다.
PO 입장에서는 이런 애널리스트와 함께 일하는 것 자체가 축복이다. 왜냐하면 원하는 시점에 프로덕트와 사업에 관한 최신 데이터를 늘 확인할 수 있어야 하기 때문이다.
완벽하게 시각화되어 있고, 과거 데이터를 자유자재로 일별, 주별, 월별, 그리고 연간 단위로 검토할 수 있으면 다양한 관점에서 분석할 수 있다.
나는 PO가 다음 두 가지 사항은 반드시 기본적으로 진행해야 한다고 믿는다.
이 두 가지를 하지 않을 경우, 프로덕트에 관한 데이터를 효율적으로 검토할 수 없다.
- 주요 대시보드 만들기
매일 수시로 확인해야만 하는 지표를 정하고, 그걸 볼 수 있는 대시보드를 생성하라.
앞서 설명한 대로 이건 PO 혼자서 하기엔 어렵기도 하고, 할 수 있어도 직접 만들어서는 안 된다고 생각한다.
데이터를 직접 추출하고 태블로 같은 툴로 시각화까지 할 수 있는 것은 뛰어난 능력이지만, 그건 PO의 주된 업무가 아니다.
PO는 추출된 데이터를 가지고 분석한 다음, 결정을 내리는 것에 자신의 자원을 투자해야 하기 때문이다.
매일 확인해야 하는 지표를 결정한 다음, 그것을 어떤 형태로 확인하고 싶은지 애널리스트와 협의하도록 한다.
일별로 확인해야 하는지, 아니면 주 또는 월 단위로 보여주면 되는지 알려준다. 그리고 세부 데이터를 어디까지 보고 싶은지 결정을 내려야 한다.
예를 들어보자. 앞서 설명한 영화관의 관람평 서비스와 관련된 지표를 확인한다면, 이런 것들을 기본적으로 추적할 듯싶다.
양(관람평 수)
- 일별
- 주별
- 월별
- 누적치
- 전주 대비 변화 %
- 전달 대비 변화 %
- 당월 합계(Month-to-Date, MTD)
이런 기본적인 데이터만 봐도 주기적인 트렌드를 확인할 수 있다.
각 항목별로 시각화를 통해 그래프를 만든다면, 보다 쉽게 파악이 된다.
그리고 좀 더 나아가 각 항목별로 세부사항을 정의하고 추가 데이터를 추적하면 된다.
- WBR 만들기
위와 같이 대시보드를 각기 다르게 만들 경우, 세분화된 데이터를 확인하는 데 유용하다.
하지만 PO가 개발팀이나 상사, 혹은 다른 유관 부서와 함께 프로덕트에 대한 트렌드나 특이사항을 공유하기에는 필요 이상으로 상세하다.
그래서 나는 별도의 대시보드나 문서를 만든다. 이것을 WBR라고 부른다.
‘주간 실적 분석(Weekly Business Review)‘이라고 부르는 문서를 만들고 매주 관계자들을 모아 30분에서 한 시간 정도 회의를 하면 모두에게 큰 도움이 된다.
목적은 프로덕트와 관련한 최근 변동사항, 그리고 현재 문제점을 파악하기 위한 것이다.
주로 회의가 소집되면 두 장 이하의 WBR 문서를 각각 몇 분 동안 훑어본 후, 특이사안에 대해 서로 질의응답을 한다.
이런 회의 목적은 최대한 신속하게 문제점을 공유하고, 그에 대한 대응 방안을 도출하는 것이다.
나는 WBR 문서에 다음과 같은 내용을 포함한다.
- 주요 요점(Key Call-Outs): 지난 WBR 회의 후에 일어난 주요 사안만 몇 가지 명시한다.
- 프로덕트 목표(Product Goals): 프로덕트를 통해 분기 또는 연간 달성하고자 하는 목표를 적는다. 구글 등에서 사용하는 OKR(Objectives & Key Results) 방식을 도입한 회사라면, 해당 분기의 OKR을 기입한다. 달성해야 하는 목표를 상기시키고, 그에 맞춰 대응 방안을 도출하기 위해 필요하다.
- 주요 지표(Key Metrics): 대시보드에서 넘쳐나는 데이터 중 꼭 중요한 것들만 선별한다. 일별 데이터는 보여주지 않고, 주별 데이터도 최근 3주치 정도만 보여준다. 월별 수치도 최근 2~3개월 것만 기재해도 무관하다. 한눈에 어느 영역에 문제가 있는지, 어느 부분이 잘되고 있는지 확인할 수 있을 정도면 된다.
이런 문서를 기반으로 회의 참석자들은 어디에 집중해야 하는지 파악할 수 있다.
만약 영화 관람평 수가 급증했다면, 그 이유를 물을 수 있다. 반대로 관람평 수가 현저히 줄었다면, 언제부터 왜 변화가 발생했는지 서로 논의할 수 있다. 그리고 다시 그 수치를 정상으로 올려놓기 위해서 어떤 노력을 해야 하는지 협의가 가능하다.
WBR 문서는 단순히 현재 상태를 보여주기 위한 것이 아니다. 만약 그렇게 한다면, 참석자들의 시간만 낭비하게 된다.
WBR 문서는 집중해서 파악해야 할 부분을 예리하게 짚어서 확인하고, 해결책을 도출할 수 있도록 도와주는 것이다.
정리하자면, PO는 수시로 데이터를 확인해야 한다. 이를 위해 데이터 전문가의 도움을 받아 적절한 대시보드를 만들어서 언제든지 현상을 파악하도록 하자.
그리고 WBR 문서를 별도로 만들어 개발자를 비롯한 모든 메이커들, 그리고 유관 부서원들과 문제점을 논의하도록 한다.
PO에게는 주기적으로 데이터를 볼 수 있는 환경이 주어져야 하며, 여건이 마련되지 않을 경우 PO가 책임지고 추진한다.
데이터를 효율적으로 축적하고 추출해서 분석까지 하는 것은 제대로 된 프로덕트를 만들기 위해 필수적인 요소이기 때문이다.