🐋 프로덕트 메이커가 데이터 제대로 보는 방법

데이터 분석가 Harry(@김한빈)의 도움으로 이 글을 작성합니다

유저가 우리 프로덕트를 사용하며 발생하는 데이터는 메이커에게 가장 소중한 자원이다. 특히 PMF를 찾는 여정에 있는 팀은 더더욱이 이 데이터에 집중해야 한다. 하지만 이러한 데이터를 모아도 어떻게 분석하는지 모르면 그 데이터는 하나도 쓸모가 없다.

8월의 마지막 날, 우리 팀의 데이터 분석가 Harry는 우리가 어떻게 데이터를 보아야 하고, 질문해야 하며, 이를 어떻게 결정 도구로 사용하는지에 대해 작은 강의를 열어 인사이트를 공유해주었다.

(마루 360 경치 최고다!)

강의 초반, Harry가 유의미한 인사이트를 도출하기 위해선 그 단어의 정의를 먼저 보아야 한다고 했다. 나는 이 글에서 내가 앞으로 프로덕트를 만들며 꼭 잊지 않았으면 하는 "유의미한 인사이트"에 대한 Harry의 정의를 기록하고, 공유하고자 한다.

🐋 의미있다.

우선 데이터의 인사이트는 의미가 있어야 한다. 어떤 인사이트가 의미 있다, 아니다 라고 판단할 수 있는 절대적 기준은 없지만 생각해볼 수 있는 질문을 몇 가지 제안할 수 있다.

1. 신뢰할 수 있는가? 우리의 데이터를 신뢰할 수 있어야 한다. 이는 즉 우리가 수집한 데이터에 오류 없다는 것을 확신한다는 것이다. 오류는 어디서든지 생길 수 있다. 화면 네이밍을 실수로 바꿔 갑자기 이벤트가 잡히지 않는 일(실제 경험해보았다)부터, 서버 통신이나 설계 오류 등으로 로그가 제대로 수신되지 않는 그 모든 경우의 수는 유의미한 데이터를 추출하는데 큰 장벽이 될 수 있다. 따라서 신뢰라는 키워드는 가장 당연하지만 중요한 키워드이다.
2. 목적에 부합하는가? 우리가 도출한 인사이트는 어떤 목적으로 분석된 것인지 확인해야 한다. 예를 들어, 결제페이지에서 초록 버튼이 파란 버튼보다 더 Conversion이 높았다는 인사이트를 보자. 우리의 목적이 유저의 Retention을 높이려고 한 것이라면 이 인사이트는 큰 도움이 되지 않는다. 하지만 결제율을 높이기 위함이었다면 의미를 갖게 된다.
3. 목표에 Align 되는가? 프로덕트가 발전하는 방향과 Align 되는지도 알아야 한다. 내가 속한 팀의 프로덕트는 같은 잠을 자도 더 잘 자게 도와주는 고농축 수면 앱이다. 우리 앱은 현재 바쁜 일상을 살아가는, 소위 말하는 갓생러들이 애용하고 있다. 하지만 우리의 목표는 "갓생러들의 수면 서비스"가 아니다. 우리의 목표는 "세계 최고의 수면 경험을 제공하는 수면 서비스"이다. 그래서 바쁜 사람들은 아침에 일어나는 것이 중요하기 때문에 아침에 깨워줄 알람이 필요하다는 인사이트 보다 최고의 수면 경험을 하기 위해 아침에 개운하게 일어날 수 있는 알람이 필요하다는 인사이트가 우리 팀에겐 더 의미가 있다.
4. 회사 비전에 얼마나 Impact가 있는가? 인사이트는 프로덕트 뿐만 아니라 회사의 비전과도 맞닿아 있어야 한다. 회사는 어떤 방향으로 성장하고 있고 이 인사이트의 Impact score는 얼마나 큰지 확인해볼 필요가 있다.

🐋 인사이트이다.

우리는 이러한 의미를 찾은 인사이트가 실제 프로덕트 메이커들이 사용할 수 있는 인사이트로 분류되기까지 또 신중한 판단을 거쳐야 한다. 그 판단에 도움이 될 수 있는 기준들을 생각해볼 수 있다.

1. 문제에서 기반했는가? 인사이트는 문제를 기반해야 한다. 자원이 매우 부족한 초기 팀에게는 더욱 필수적인 기준이다. 지금 우리의 프로덕트는 어떤 문제를 직면하고 있을까? 그 문제를 해결하는 인사이트가 프로덕트에 임팩트를 줄 수 있다. 예를 들어, 결제율이 떨어진다는 문제에 직면해 있다면 어떤 문제로 그러한지 로그를 들여다볼 필요가 있다는 것이다. 항상 시작은 "잘 정의한 문제"이고 그 다음이 솔루션, 즉 "인사이트"이다.
2. 당연하지 않은가? 상당수의 인사이트는 사실 당연하다. 예를 들어, 부자는 비싼 집에 산다는 인사이트를 도출했다고 하자. 부자가 비싼 집에 살 확률은 실제 굉장히 높고 우리는 이것을 쉽게 예측할 수 있다. 반대로 최근 우리 팀이 찾은 인사이트 중 "앱에서 CS를 제출하는 유저는 2주 후 Retention이 더 높다"라는 인사이트는 우리가 생각했던 것과 반대였다. 앱에 불만이 있어 오히려 빨리 떠날 것으로 생각했기 때문이다.
3. 당연하지만 인지하지 못하고 있었던가? 바로 위에서 언급한 인사이트가 여기에 적용된다. CS를 제출하는 유저들은 실제 더 잘 사용하고 싶어서 오류 사항을 우리에게 언급하는 불편함을 감수하고 하고 있었다. 그래서 인사이트를 분석할수록 조금은 당연한 것을 우리가 인지하지 못하고 있었다는 것을 알게 되었다.
4. 액션 플랜이 나오는가? 기획을 하는 사람으로서 사실 4번이 가장 중요하다고 생각한다. 인사이트는 So what?을 대답할 수 있어야 한다. 예를 들어 푸시 알림으로 Retention이 올라갔다고 해보자. 그럼 이 인사이트는 우리에게 무엇을 하라고 시키는 것일까? 더 자주 푸시를 날리라고 하는 걸까? 푸시 알림의 문구를 바꿔 테스트하라는 걸까? 아니면 푸시 알림 기능 자체로 실제 서비스에 좋은 영향을 끼친다는 것일까? 명확한 액션이 나오지 않는다. 반대로, 예를 들어 온보딩의 페이지 하나가 추가되어 유저의 Activation Rate이 떨어졌다고 해보자. 여기서 우리는 명확한 액션을 이야기할 수 있다. 온보딩의 페이지 하나를 제거하면 된다. 이렇게 액션이 빠르게 뒤따라야 한다.

유의미한 인사이트를 만들고 또 그 다음 플랜을 기획할 메이커의 관점에서 이러한 정의와 기준은 정말 큰 도움이 됐다. 내가 어떤 인사이트를 보아야 하고, 그것이 내게 어떤 의미를 갖는지도 단번에 파악할 수 있다.

이 글을 작성하며 또 한 번 깨달은 것이 있다. 실무에 다가갈수록 가장 기초의 것들을 다시 꺼내어 보아야 한다는 것이다. 실무의 세계는 복잡하고 어렵지만 그럴 수록 더 좋은 해결책을 만드는 것은 결국 그 기초에서 나온다. 결국 모든 정답은 정의(definition)와 같은 근본의 원리에 있다.

P.s. 이 글을 쓸 수 있게 멋진 강의를 진행해준 Harry(@김한빈) 너무 고맙습니다! Harry는 연세대학교 데이터사이언스랩의 회장이고, 여러 기업/팀들과 데이터 및 인공지능 프로젝트를 진행하고 있습니다. 재밌는 데이터 프로젝트에 관심 있으신 분들은 꼭 Harry에게 연락해보세요📬